Полигон алгоритмов/Подробный отчёт задача-алгоритм

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Управление графическими блокам)
Текущая версия (12:32, 2 сентября 2010) (править) (отменить)
(Верхний блок.)
 
(2 промежуточные версии не показаны)
Строка 7: Строка 7:
Сверху показана информация об отчёте:
Сверху показана информация об отчёте:
-
[[Изображение:HeadRep2.jpg|left|border|Верхний блок]]
+
[[Изображение:ReportProblemAlgCaption.png|left|border|Верхний блок]]
Строка 20: Строка 20:
-
[[Изображение:ChangingParRep.jpg|Блок управления внешними параметрами]]
+
[[Изображение:ReportProblemAlgTune.png|Блок управления внешними параметрами]]
Строка 28: Строка 28:
-
Быстрое управление видом отчётом:
+
Быстрое управление видом отчёта:
*Ссылка '''''Сравнить классы''''' позволяет быстро перейти к сравнению первых трёх (двух) классов.
*Ссылка '''''Сравнить классы''''' позволяет быстро перейти к сравнению первых трёх (двух) классов.
*Ссылка '''''Сравнить обучении и контроль''''' позволяет быстро перейти к сравнению обучающей и контрольной выборки для целевого класса (пока работает по нулевому классу).<br \>
*Ссылка '''''Сравнить обучении и контроль''''' позволяет быстро перейти к сравнению обучающей и контрольной выборки для целевого класса (пока работает по нулевому классу).<br \>
Строка 35: Строка 35:
Таким образом, пользователь одним кликом мышки может сразу перейти к нужному ему виду отчёта, что очень удобно.
Таким образом, пользователь одним кликом мышки может сразу перейти к нужному ему виду отчёта, что очень удобно.
-
== Подробный отчёт задача-алгоритм.==
 
-
Подробный отчёт состоит из следующих блоков:
+
* Ссылка '''''Отобразить/скрыть доверительный интервал''''' дает возможность отображения или сокрытия доверительного интервала как в таблице скалярных статистик, так и в графических блоках.
-
=== Скалярные блоки===
+
-
*'''Таблица скалярных статистик по всей выборке'''
+
 +
* Ссылка '''''Версия для печати''''' переводит внешний вид отчета к виду, оптимальному для печати (отсутствуют панели управления параметрами и&nbsp;т.&nbsp;п.)
-
[[Изображение:TableScalarAll.jpg|Таблица скалярных статистик по всей выборке]]
+
* Ссылка '''''Справка по отчету''''' перенаправляет пользователя на данную страницу
-
В данной таблице собраны все скалярные статистики, которые были вычислены на данной паре задача-алгоритм.
+
* Ссылка '''''Скачать результаты тестирования''''' позволяет получить результаты тестирования данного экземпляра алгоритма на данной задаче в виде [http://ru.wikipedia.org/wiki/CSV .csv-файла]. Формат файла описан [[Полигон алгоритмов/Формат результатов тестирования алгоритма на задаче|здесь]].
-
Статистики были получены отдельно на контрольной и на обучающей выборке, если такое возможно. Например, ''Переобученность'' не считается отдельно по обучению и контролю, так как она равна разнице между ошибкой на обучении и ошибкой на контроле.
+
 +
== Подробный отчёт задача-алгоритм.==
-
*'''Таблица скалярных статистик по классам'''
+
Подробный отчёт состоит из следующих блоков:
 +
=== Скалярный блок===
 +
[[Изображение:ReportProblemAlgScalarStatTable.png|Таблица скалярных статистик по классам]]
-
[[Изображение:TableScalar.jpg|Таблица скалярных статистик по всей выборке]]
+
В данной таблице собраны все скалярные статистики, которые были вычислены на данной паре задача-алгоритм. Каждый столбец содержит статистики, вычисленные отдельно по данному классу (либо суммарно по всем классам в первом столбце).
-
 
+
-
В данной таблице собраны все скалярные статистики, которые были вычислены на данной паре задача-алгоритм. Отличие от первой таблицы состоит в том, что скалярные статистики вычислены отдельно по классам.
+
 +
Статистики были получены отдельно на контрольной и на обучающей выборке, если такое возможно. Например, ''Переобученность'' не считается отдельно по обучению и контролю, так как она равна разнице между ошибкой на обучении и ошибкой на контроле.
=== Графические блоки===
=== Графические блоки===

Текущая версия

Инструкция по работе с подробным отчётом задача-алгоритм в системе «Полигон».

Данный отчёт позволяет оценить насколько хорошо данный алгоритм подходит для конкретной задачи.
Помимо скалярных статистик, здесь можно просмотреть графические статистики. Все статистики подсчитаны отдельно на обучении, контроле и и на полной выборке, если это возможно. Это даёт максимальные возможности для анализа работы алгоритма классификации на конкретной задаче.

Содержание

Верхний блок.

Сверху показана информация об отчёте:

Верхний блок



  • об отчёте: идентификационный номер, название, пользователь, дата создания.
  • о задаче: идентификационный номер, синоним (уникальное имя задачи в репозитории системы Полигон), название, автор, количество объектов, признаков, классов. Синоним является ссылкой на страницу, содержащую полную информацию о задаче.
  • об алгоритме: идентификационный номер, синоним (уникальное имя алгоритма в репозитории системы Полигон), название, автор, параметры алгоритма. Синоним является ссылкой на страницу, содержащую полную информацию об алгоритме, а ссылка Параметры показывает блок основных параметров алгоритма.


  • Ссылка Изменить параметры отчёта открывает блок управления внешними параметрами отчёта.


Блок управления внешними параметрами


Здесь имеется возможность изменять порядок блоков статистик, а так же включать и выключать блоки статистик.
Кроме этого можно включить режим отчёта, в котором графики будут рисоваться с доверительными интервалами.


Быстрое управление видом отчёта:

  • Ссылка Сравнить классы позволяет быстро перейти к сравнению первых трёх (двух) классов.
  • Ссылка Сравнить обучении и контроль позволяет быстро перейти к сравнению обучающей и контрольной выборки для целевого класса (пока работает по нулевому классу).

При нажатии на ссылку отчёт настраивается специальным образом для сравнения классов или для сравнения обучения и контроля на целевом классе. Таким образом, пользователь одним кликом мышки может сразу перейти к нужному ему виду отчёта, что очень удобно.


  • Ссылка Отобразить/скрыть доверительный интервал дает возможность отображения или сокрытия доверительного интервала как в таблице скалярных статистик, так и в графических блоках.
  • Ссылка Версия для печати переводит внешний вид отчета к виду, оптимальному для печати (отсутствуют панели управления параметрами и т. п.)
  • Ссылка Справка по отчету перенаправляет пользователя на данную страницу
  • Ссылка Скачать результаты тестирования позволяет получить результаты тестирования данного экземпляра алгоритма на данной задаче в виде .csv-файла. Формат файла описан здесь.

Подробный отчёт задача-алгоритм.

Подробный отчёт состоит из следующих блоков:

Скалярный блок

Таблица скалярных статистик по классам

В данной таблице собраны все скалярные статистики, которые были вычислены на данной паре задача-алгоритм. Каждый столбец содержит статистики, вычисленные отдельно по данному классу (либо суммарно по всем классам в первом столбце).

Статистики были получены отдельно на контрольной и на обучающей выборке, если такое возможно. Например, Переобученность не считается отдельно по обучению и контролю, так как она равна разнице между ошибкой на обучении и ошибкой на контроле.

Графические блоки

  • Разложение ошибки на смещение и вариацию


Разложение ошибки на смещение и вариацию


  • Карта ошибок


Карта ошибок


  • Рок-кривая


Рок-кривая


  • Распределение отступов


Распределение отступов


  • Кривая обучения


Кривая обучения


  • Кривая переобученности


Кривая переобученности


  • Распределение стандартной ошибки


Распределение стандартной ошибки


  • Распределение переобученности


Распределение переобученности



Управление графическими блоками

Для удобства пользователя было добавлено быстрое управление параметрами графических статистик.

  • Поле "Выборка":
    Поле выборка даёт возможность посмотреть на данную статистику отдельно на контроле, на обучении или на обучении и контроле вместе на совмещённом графике для этого нужно выбрать соответствующий пункт в выпадающем списке.


Варианты выборки


  • Поле "Класс":
    Поле класс даёт возможность посмотреть на данную статистику для определённого класса или на всех классах одновременно.

Внимание: классы нумеруются с нуля.


Варианты выбора классов


  • Кнопка Добавить ">>":
    Кнопка позволяет добавить график в блок данной статистики для проведения сравнительного анализа. Можно добавлять несколько графиков.
    График добавляется с теми же параметрами, что и первый, поэтому для сравнения следует изменить соответствующие настройки.


Кнопка Добавить ">>"


Например, нам надо сравнить нулевой и первый класс на обучающей выборке.
Мы нажимаем на кнопку добавить и настраиваем первый график: Класс 1, Обучение, и второй: Класс 0, Обучение.


Сравнение классов


Добавленные графики можно удалять с помощью кнопки удалить "X".


Сравнение классов


  • Кнопка "Свернуть":
    Каждый блок при необходимости можно свернуть нажав на кнопку Свернуть:


Сравнение классов

См. также

Личные инструменты