Математические методы распознавания образов (курс лекций, В.В.Китов)

Материал из MachineLearning.

Перейти к: навигация, поиск

Содержание

Курс посвящен алгоритмам машинного обучения (machine learning), которые сами настраиваются на известных данных, выделяя их характерную структуру и взаимосвязи между ними, для их прогнозирования, анализа, компактного описания и визуализации. Основной акцент курса сделан на задачах предсказания дискретных величин (классификация) и непрерывных величин (регрессия), хотя в курсе также рассматриваются смежные области - эффективное снижение размерности пространства, выделение наиболее значимых признаков для предсказания, методы оценивания и сравнения вероятностных распределений, рекомендательные системы и планирование экспериментов.

Лектор: Виктор Китов

Семинарист: Евгений Соколов

Курс читается студентам 3 курса кафедры «Математические методы прогнозирования» ВМиК МГУ, магистрам, зачисленным на эту кафедру, и не проходивших ранее аналогичных курсов, а также для всех желающих. На материал данного курса опираются последующие кафедральные курсы.

По изложению, рассматриваются математические основы методов, лежащие в их основе предположения о данных, взаимосвязи методов между собой и особенности их практического применения.

Курс сопровождается семинарами, раскрывающими дополнительные темы курса и отрабатывающими навыки практического применения рассматриваемых методов. Практическое использование методов машинного обучения в основном будет вестись с использованием языка python и соответствующих библиотек для научных вычислений.

От студентов требуются знания линейной алгебры, математического анализа, теории вероятностей, математической статистики и методов оптимизации. Практические задания должны выполняться с использованием языка Python и его научных библиотек.


Программа курса

Первый семестр

Введение в машинное обучение.

Презентация.

Метод ближайших центроидов и K ближайших соседей.

Презентация.

Другие метрические методы.

Презентация.

Сложность моделей. Подготовка данных.

Презентация.

Метрики близости.

Презентация.

Оптимизация метода K ближайших соседей.

Презентация.

Метод главных компонент.

Презентация.

Свойства симметричных матриц, положительно определенные матрицы, векторное дифференцирование.

Линейная регрессия.

Презентация.

Линейная классификация.

Презентация.

Метод опорных векторов.

Презентация. +вывод двойственной задачи SVM

Обобщения методов через ядра Мерсера.

Презентация. + двойственная задача для гребневой регрессии

Оценивание классификаторов.

Презентация.

Решающие деревья.

Презентация.

Ансамбли прогнозирующих алгоритмов. Смещение и дисперсия моделей.

Презентация.

Бустинг.

Презентация.

Усовершенствования бустинга.

Презентация.

Второй семестр

Байесовское решающее правило. Предположение наивного Байеса. Генеративные и дискриминативные модели. Примеры генеративных моделей.

Презентация

Отбор признаков

Презентация

Сингулярное разложение.

Презентация

Доказательство всех основных свойств.

Многослойный персептрон

Презентация

Алгоритм обратного распространения ошибки

Презентация

Сверточные нейросети

Сверточные нейросети для изображений

Сверточные нейросети для текста

Векторные представления слов

Презентация

Реккурентные сети

Теория

Применения

Рекомендательные системы.

Презентация

Стандартные распределения

Презентация

Смеси распределений

Презентация

EM-алгоритм

Презентация

Разделение смеси многомерных нормальных распределений

Теория выпуклых функций.

Тематическая модель PLSA

Презентация

Вывод EM для PLSA

Ядерно-сглаженные оценки плотности.

Презентация

Кластеризация

Презентация

Обнаружение аномалий

Презентация

Нелинейное снижение размерности

Презентация

Частичное обучение

Презентация

Активное обучение

Презентация


Рекомендуемые ресурсы по Python

Личные инструменты