CRISP-DM/Evaluation

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
м
м
 
(3 промежуточные версии не показаны)
Строка 5: Строка 5:
В конце данной фазы решение об использовании результатов анализа данных должно быть принято.
В конце данной фазы решение об использовании результатов анализа данных должно быть принято.
-
==Оценить результаты==
+
==Оценить результаты (Evaluate results)==
-
На предыдущих шагах мы оценивали точность и обобщающую способность модели, на данном шаге необдимо оценить,
+
На предыдущих шагах мы оценивали точность и обобщающую способность модели, на данном шаге необходимо оценить,
насколько построенная модель достигает поставленные бизнесом цели, и есть ли бизнес-причины, по которым у модели появляются существенные недостатки.
насколько построенная модель достигает поставленные бизнесом цели, и есть ли бизнес-причины, по которым у модели появляются существенные недостатки.
Альтернативой может послужить проверка модели в боевом режиме на реальных данных, если время и бюджет позволяют провести такое тестирование.
Альтернативой может послужить проверка модели в боевом режиме на реальных данных, если время и бюджет позволяют провести такое тестирование.
Более того, необходимо также оценить результаты, не имеющие прямого отношения к исходным бизнес-целям. Эти результаты могут помочь в дальнейших исследованиях.
Более того, необходимо также оценить результаты, не имеющие прямого отношения к исходным бизнес-целям. Эти результаты могут помочь в дальнейших исследованиях.
-
===Оценка результатов анализа данных с точки зрения бизнес-успеха===
+
===Оценка результатов анализа данных с точки зрения бизнес-успеха (Assessment of data mining results with respect to business success criteria)===
Кратко пересказать все основные результаты в терминах бизнес-целей и бизнес-результатов.
Кратко пересказать все основные результаты в терминах бизнес-целей и бизнес-результатов.
Подвести итог: достигнуты ли исходные бизнес-цели или нет.
Подвести итог: достигнуты ли исходные бизнес-цели или нет.
-
===Одобренные модели===
+
===Одобренные модели (Approved models)===
Список моделей, которые с точки зрения достижения бизнес-целей являются успешными.
Список моделей, которые с точки зрения достижения бизнес-целей являются успешными.
-
==Процесс обзора==
+
==Процесс ревью (Review process)==
К этому моменту выход модели оказывается удовлетворительным и удовлетворяет нужды бизнеса.
К этому моменту выход модели оказывается удовлетворительным и удовлетворяет нужды бизнеса.
Сейчас самое время произвести более глубокий обзор самого применения техник анализа данных для того чтобы определить, есть ли важные факторы или задачи, которые кто-то мог пропустить.
Сейчас самое время произвести более глубокий обзор самого применения техник анализа данных для того чтобы определить, есть ли важные факторы или задачи, которые кто-то мог пропустить.
На этой стадии анализа данных процесс обзора превращается уже в процесс обзора качества.
На этой стадии анализа данных процесс обзора превращается уже в процесс обзора качества.
-
===Обзор процесса===
+
===Ревью процесса (Review of process)===
Собрав воедино процесс обзора, даем советы относительно действий, которые были пропущены или должны быть повторены.
Собрав воедино процесс обзора, даем советы относительно действий, которые были пропущены или должны быть повторены.
-
==Определение слудующих шагов==
+
==Определить следующие шаги (Determine next steps)==
В соответствии с оценкой результатов и обзором всего процесса, на этой стадии принимается решение о дальнейшей работе.
В соответствии с оценкой результатов и обзором всего процесса, на этой стадии принимается решение о дальнейшей работе.
-
Нужно принять решение, можно ли закончить проект и перевести его в стадию эксплуатации, или стоит провести дополнительные исследования / развернуть новый проект по анализу данных. Эта задача включает в себя анализ оставшихся ресурсов и бюджета, влияющего на прнинятие решения.
+
Нужно принять решение, можно ли закончить проект и перевести его в стадию эксплуатации, или стоит провести дополнительные исследования, а может даже развернуть новый проект по анализу данных. Эта задача включает в себя анализ оставшихся ресурсов и бюджета, влияющего на принятие решения.
-
===Список возможных действий===
+
===Список возможных действий (List of possible actions)===
Составление списка возможных дальнейших действий вместе со всеми "за" и "против".
Составление списка возможных дальнейших действий вместе со всеми "за" и "против".
-
===Принятие решения===
+
 
 +
===Принятие решения (Decision)===
Описание логически обоснованного решения, что делать дальше.
Описание логически обоснованного решения, что делать дальше.

Текущая версия

На данном этапе проекта вы уже построили модель (или модели), которая имеет высокое качество с точки зрения анализа данных. Перед тем как приступить к окончательному внедрению модели, важно более тщательно оценить её и рассмотреть шаги, которые выполняются при построении, чтобы быть уверенным, что правильно достигнуты бизнес-цели. Ключевой задачей является определить, существуют ли какие-либо недостатки модели с точки зрения бизнеса, которые ранее не принимались во внимание. В конце данной фазы решение об использовании результатов анализа данных должно быть принято.

Содержание

Оценить результаты (Evaluate results)

На предыдущих шагах мы оценивали точность и обобщающую способность модели, на данном шаге необходимо оценить, насколько построенная модель достигает поставленные бизнесом цели, и есть ли бизнес-причины, по которым у модели появляются существенные недостатки. Альтернативой может послужить проверка модели в боевом режиме на реальных данных, если время и бюджет позволяют провести такое тестирование. Более того, необходимо также оценить результаты, не имеющие прямого отношения к исходным бизнес-целям. Эти результаты могут помочь в дальнейших исследованиях.

Оценка результатов анализа данных с точки зрения бизнес-успеха (Assessment of data mining results with respect to business success criteria)

Кратко пересказать все основные результаты в терминах бизнес-целей и бизнес-результатов. Подвести итог: достигнуты ли исходные бизнес-цели или нет.

Одобренные модели (Approved models)

Список моделей, которые с точки зрения достижения бизнес-целей являются успешными.

Процесс ревью (Review process)

К этому моменту выход модели оказывается удовлетворительным и удовлетворяет нужды бизнеса. Сейчас самое время произвести более глубокий обзор самого применения техник анализа данных для того чтобы определить, есть ли важные факторы или задачи, которые кто-то мог пропустить. На этой стадии анализа данных процесс обзора превращается уже в процесс обзора качества.

Ревью процесса (Review of process)

Собрав воедино процесс обзора, даем советы относительно действий, которые были пропущены или должны быть повторены.

Определить следующие шаги (Determine next steps)

В соответствии с оценкой результатов и обзором всего процесса, на этой стадии принимается решение о дальнейшей работе. Нужно принять решение, можно ли закончить проект и перевести его в стадию эксплуатации, или стоит провести дополнительные исследования, а может даже развернуть новый проект по анализу данных. Эта задача включает в себя анализ оставшихся ресурсов и бюджета, влияющего на принятие решения.

Список возможных действий (List of possible actions)

Составление списка возможных дальнейших действий вместе со всеми "за" и "против".

Принятие решения (Decision)

Описание логически обоснованного решения, что делать дальше.

Ссылки

Личные инструменты