Математические методы распознавания образов (курс лекций, В.В.Китов)

Материал из MachineLearning.

Перейти к: навигация, поиск

Содержание

Курс посвящен алгоритмам машинного обучения (machine learning), которые сами настраиваются на известных данных, выделяя их характерную структуру и взаимосвязи между ними, для их прогнозирования, анализа, компактного описания и визуализации. Основной акцент курса сделан на задачах предсказания дискретных величин (классификация) и непрерывных величин (регрессия), хотя в курсе также рассматриваются смежные области - эффективное снижение размерности пространства, выделение наиболее значимых признаков для предсказания, методы оценивания и сравнения вероятностных распределений, рекомендательные системы и планирование экспериментов.

Лектор: Виктор Китов

Семинарист: Евгений Соколов

Курс читается студентам 3 курса кафедры «Математические методы прогнозирования» ВМиК МГУ, магистрам, зачисленным на эту кафедру, и не проходивших ранее аналогичных курсов, а также для всех желающих. На материал данного курса опираются последующие кафедральные курсы.

По изложению, рассматриваются математические основы методов, лежащие в их основе предположения о данных, взаимосвязи методов между собой и особенности их практического применения.

Курс сопровождается семинарами, раскрывающими дополнительные темы курса и отрабатывающими навыки практического применения рассматриваемых методов. Практическое использование методов машинного обучения в основном будет вестись с использованием языка python и соответствующих библиотек для научных вычислений.

От студентов требуются знания линейной алгебры, математического анализа, теории вероятностей, математической статистики и методов оптимизации. Практические задания должны выполняться с использованием языка Python и его научных библиотек.


Программа курса

Первый семестр

Введение в машинное обучение.

Презентация.

Метод ближайших центроидов и K ближайших соседей.

Презентация.

Другие метрические методы.

Презентация.

Сложность моделей. Подготовка данных.

Презентация.

Метрики близости.

Презентация.

Оптимизация метода K ближайших соседей.

Презентация.

Метод главных компонент.

Презентация.

Свойства симметричных матриц, положительно определенные матрицы, векторное дифференцирование.

Линейная регрессия.

Презентация.

Линейная классификация.

Презентация.

Метод опорных векторов.

Презентация. +вывод двойственной задачи SVM

Обобщения методов через ядра Мерсера.

Презентация. + двойственная задача для гребневой регрессии

Оценивание классификаторов.

Презентация.

Решающие деревья.

Презентация.

Ансамбли прогнозирующих алгоритмов. Смещение и дисперсия моделей.

Презентация.

Бустинг.

Презентация.

Усовершенствования бустинга.

Презентация.

Второй семестр

Теория выпуклых функций.

Презентация

Байесовское решающее правило. Предположение наивного Байеса. Генеративные и дискриминативные модели. Примеры генеративных моделей.

Презентация

Отбор признаков

Презентация

Многослойный персептрон

Презентация

Алгоритм обратного распространения ошибки

Презентация

Применение нейросетей для работы с изображениями

Презентация

Сингулярное разложение.

Презентация

Доказательство всех основных свойств.

Рекомендательные системы.

Презентация

EM-алгоритм

Презентация+вывод для смеси Гауссиан.

Тематическая модель PLSA

Презентация.

Ядерно-сглаженные оценки плотности.

Презентация

Кластеризация

Презентация

Обнаружение аномалий

Презентация

Стандартные распределения

Презентация

Смеси распределений

Презентация

Частичное обучение

Презентация.

Активное обучение

Презентация

Дополнительные материалы

Разделение смеси многомерных нормальных распределений

Рекомендуемые ресурсы по Python

Личные инструменты