CRISP-DM/Evaluation
Материал из MachineLearning.
м (→Определение слудующих шагов) |
м |
||
| Строка 5: | Строка 5: | ||
В конце данной фазы решение об использовании результатов анализа данных должно быть принято. | В конце данной фазы решение об использовании результатов анализа данных должно быть принято. | ||
| - | ==Оценить результаты== | + | ==Оценить результаты (Evaluate results)== |
На предыдущих шагах мы оценивали точность и обобщающую способность модели, на данном шаге необдимо оценить, | На предыдущих шагах мы оценивали точность и обобщающую способность модели, на данном шаге необдимо оценить, | ||
насколько построенная модель достигает поставленные бизнесом цели, и есть ли бизнес-причины, по которым у модели появляются существенные недостатки. | насколько построенная модель достигает поставленные бизнесом цели, и есть ли бизнес-причины, по которым у модели появляются существенные недостатки. | ||
| Строка 11: | Строка 11: | ||
Более того, необходимо также оценить результаты, не имеющие прямого отношения к исходным бизнес-целям. Эти результаты могут помочь в дальнейших исследованиях. | Более того, необходимо также оценить результаты, не имеющие прямого отношения к исходным бизнес-целям. Эти результаты могут помочь в дальнейших исследованиях. | ||
| - | ===Оценка результатов анализа данных с точки зрения бизнес-успеха=== | + | ===Оценка результатов анализа данных с точки зрения бизнес-успеха (Assessment of data mining results with respect to business success criteria)=== |
Кратко пересказать все основные результаты в терминах бизнес-целей и бизнес-результатов. | Кратко пересказать все основные результаты в терминах бизнес-целей и бизнес-результатов. | ||
Подвести итог: достигнуты ли исходные бизнес-цели или нет. | Подвести итог: достигнуты ли исходные бизнес-цели или нет. | ||
| - | ===Одобренные модели=== | + | ===Одобренные модели (Approved models)=== |
Список моделей, которые с точки зрения достижения бизнес-целей являются успешными. | Список моделей, которые с точки зрения достижения бизнес-целей являются успешными. | ||
| - | ==Процесс обзора== | + | ==Процесс обзора (Review process)== |
К этому моменту выход модели оказывается удовлетворительным и удовлетворяет нужды бизнеса. | К этому моменту выход модели оказывается удовлетворительным и удовлетворяет нужды бизнеса. | ||
Сейчас самое время произвести более глубокий обзор самого применения техник анализа данных для того чтобы определить, есть ли важные факторы или задачи, которые кто-то мог пропустить. | Сейчас самое время произвести более глубокий обзор самого применения техник анализа данных для того чтобы определить, есть ли важные факторы или задачи, которые кто-то мог пропустить. | ||
На этой стадии анализа данных процесс обзора превращается уже в процесс обзора качества. | На этой стадии анализа данных процесс обзора превращается уже в процесс обзора качества. | ||
| - | ===Обзор процесса=== | + | ===Обзор процесса (Review of process)=== |
Собрав воедино процесс обзора, даем советы относительно действий, которые были пропущены или должны быть повторены. | Собрав воедино процесс обзора, даем советы относительно действий, которые были пропущены или должны быть повторены. | ||
| - | ==Определение следующих шагов== | + | ==Определение следующих шагов (Determine next steps)== |
В соответствии с оценкой результатов и обзором всего процесса, на этой стадии принимается решение о дальнейшей работе. | В соответствии с оценкой результатов и обзором всего процесса, на этой стадии принимается решение о дальнейшей работе. | ||
Нужно принять решение, можно ли закончить проект и перевести его в стадию эксплуатации, или стоит провести дополнительные исследования, а может даже развернуть новый проект по анализу данных. Эта задача включает в себя анализ оставшихся ресурсов и бюджета, влияющего на принятие решения. | Нужно принять решение, можно ли закончить проект и перевести его в стадию эксплуатации, или стоит провести дополнительные исследования, а может даже развернуть новый проект по анализу данных. Эта задача включает в себя анализ оставшихся ресурсов и бюджета, влияющего на принятие решения. | ||
| - | ===Список возможных действий=== | + | ===Список возможных действий (List of possible actions)=== |
Составление списка возможных дальнейших действий вместе со всеми "за" и "против". | Составление списка возможных дальнейших действий вместе со всеми "за" и "против". | ||
| - | ===Принятие решения=== | + | ===Принятие решения (Decision)=== |
Описание логически обоснованного решения, что делать дальше. | Описание логически обоснованного решения, что делать дальше. | ||
Версия 14:06, 21 ноября 2012
На данном этапе проекта вы уже построили модель (или модели), которая имеет высокое качество с точки зрения анализа данных. Перед тем как приступить к окончательному внедрению модели, важно более тщательно оценить её и рассмотреть шаги, которые выполняются при построении, чтобы быть уверенным, что правильно достигнуты бизнес-цели. Ключевой задачей является определить, существуют ли какие-либо недостатки модели с точки зрения бизнеса, которые ранее не принимались во внимание. В конце данной фазы решение об использовании результатов анализа данных должно быть принято.
Содержание |
Оценить результаты (Evaluate results)
На предыдущих шагах мы оценивали точность и обобщающую способность модели, на данном шаге необдимо оценить, насколько построенная модель достигает поставленные бизнесом цели, и есть ли бизнес-причины, по которым у модели появляются существенные недостатки. Альтернативой может послужить проверка модели в боевом режиме на реальных данных, если время и бюджет позволяют провести такое тестирование. Более того, необходимо также оценить результаты, не имеющие прямого отношения к исходным бизнес-целям. Эти результаты могут помочь в дальнейших исследованиях.
Оценка результатов анализа данных с точки зрения бизнес-успеха (Assessment of data mining results with respect to business success criteria)
Кратко пересказать все основные результаты в терминах бизнес-целей и бизнес-результатов. Подвести итог: достигнуты ли исходные бизнес-цели или нет.
Одобренные модели (Approved models)
Список моделей, которые с точки зрения достижения бизнес-целей являются успешными.
Процесс обзора (Review process)
К этому моменту выход модели оказывается удовлетворительным и удовлетворяет нужды бизнеса. Сейчас самое время произвести более глубокий обзор самого применения техник анализа данных для того чтобы определить, есть ли важные факторы или задачи, которые кто-то мог пропустить. На этой стадии анализа данных процесс обзора превращается уже в процесс обзора качества.
Обзор процесса (Review of process)
Собрав воедино процесс обзора, даем советы относительно действий, которые были пропущены или должны быть повторены.
Определение следующих шагов (Determine next steps)
В соответствии с оценкой результатов и обзором всего процесса, на этой стадии принимается решение о дальнейшей работе. Нужно принять решение, можно ли закончить проект и перевести его в стадию эксплуатации, или стоит провести дополнительные исследования, а может даже развернуть новый проект по анализу данных. Эта задача включает в себя анализ оставшихся ресурсов и бюджета, влияющего на принятие решения.
Список возможных действий (List of possible actions)
Составление списка возможных дальнейших действий вместе со всеми "за" и "против".
Принятие решения (Decision)
Описание логически обоснованного решения, что делать дальше.
