Полигон алгоритмов
Материал из MachineLearning.
Полигон алгоритмов — научный проект по созданию системы тестирования и сравнения алгоритмов классификации.
Назначение системы
Система «Полигон» предназначена для массового тестирования алгоритмов классификации на реальных задачах и представления результатов тестирования пользователю через web-интерфейс. Пользователь, тестирующий свой алгоритм на задачах системы, будет иметь возможность сравнить показатели качества работы своего алгоритма с аналогичными показателями других алгоритмов, тестировавшихся на выбранных задачах. Пользователями Системы являются специалисты по анализу данных, эксперты в различных предметных областях, разработчики алгоритмов, научные работники, учащиеся и преподаватели вузов.
Цели системы
Создать общедоступный инструмент для массового решения задач классификации и распознавания образов, возникающих в различных предметных областях. Обеспечить открытую технологию для пополнения библиотеки алгоритмов и базы задач. Реализовать в Системе современную методику тестирования, основанную на скользящем контроле и расширенном наборе показателей качества алгоритмов. Обеспечить пользователей удобным и гибким механизмом разграничения прав доступа к алгоритмам, исходным данным задач и результатам тестирования, с целью сохранения авторских прав и конфиденциальности. Одной из целей создания Системы является поднятие престижа российских научных школ в области машинного обучения и интеллектуального анализа данных.
Задачи системы
Система должна решать следующие задачи:
- Предоставлять удобный интерфейс для просмотра и анализа как агрегированных, так и детальных результатов тестирования алгоритмов на задачах.
- Предоставлять пользователям возможность добавлять алгоритмы.
- Предоставлять пользователям возможность добавлять задачи.
- Предоставлять пользователям (группам пользователей) возможность устанавливать права доступа к своим задачам, алгоритмам и результатам тестирования для других пользователей и групп.
- Обеспечить единую методологию тестирования алгоритмов, позволяющую сравнивать качество алгоритмов по объективным показателям. Обеспечить защиту от возможных фальсификаций результатов тестирования.