Математические методы распознавания образов (курс лекций, В.В.Китов)

Материал из MachineLearning.

Перейти к: навигация, поиск

Содержание

Курс посвящен алгоритмам машинного обучения (machine learning), которые сами настраиваются на известных данных, выделяя их характерную структуру и взаимосвязи между ними, для их прогнозирования, анализа, компактного описания и визуализации. Основной акцент курса сделан на задачах предсказания дискретных величин (классификация) и непрерывных величин (регрессия), хотя в курсе также рассматриваются смежные области - эффективное снижение размерности пространства, выделение наиболее значимых признаков для предсказания, методы оценивания и сравнения вероятностных распределений, рекомендательные системы и планирование экспериментов.

Лектор: Виктор Китов

Семинарист: Евгений Соколов

Курс читается студентам 3 курса кафедры «Математические методы прогнозирования» ВМиК МГУ, магистрам, зачисленным на эту кафедру, и не проходивших ранее аналогичных курсов, а также для всех желающих. На материал данного курса опираются последующие кафедральные курсы.

По изложению, рассматриваются математические основы методов, лежащие в их основе предположения о данных, взаимосвязи методов между собой и особенности их практического применения.

Курс сопровождается семинарами, раскрывающими дополнительные темы курса и отрабатывающими навыки практического применения рассматриваемых методов. Практическое использование методов машинного обучения в основном будет вестись с использованием языка python и соответствующих библиотек для научных вычислений.

От студентов требуются знания линейной алгебры, математического анализа, теории вероятностей, математической статистики и методов оптимизации. Практические задания должны выполняться с использованием языка Python и его научных библиотек.


Программа курса

Первый семестр

Введение в машинное обучение.

Презентация.

Метод ближайших центроидов и K ближайших соседей.

Презентация.

Другие метрические методы.

Презентация. -метод Парзеновского окна

Сложность моделей. Подготовка данных.

Презентация.

Метрики близости.

Презентация.

Оптимизация метода K ближайших соседей.

Презентация.

Метод главных компонент.

+ вывод решения

Презентация.

Свойства симметричных матриц, положительно определенные матрицы, векторное дифференцирование.

Линейная регрессия.

Презентация.

Линейная классификация.

Презентация.

Оценивание классификаторов.

Презентация. +классификатор выпуклой оболочки ROC кривых.

Метод опорных векторов.

+вывод двойственной задачи SVM +support vector regression

Презентация.

Обобщения методов через ядра Мерсера.

+ двойственная задача для гребневой регрессии

Презентация.

Решающие деревья.

Презентация. (до критериев информативности включительно)


Ансамбли прогнозирующих алгоритмов.

Презентация.

Бустинг.

Скачать презентацию.

xgBoost.

Скачать презентацию.

Статья со всеми деталями

Отбор признаков

Презентация.

(рассмотрены до взаимной информации)

Второй семестр

Байесовское решающее правило. Генеративные и дискриминативные модели.

Презентация.

Смещение и дисперсия моделей. Статистическая теория переобучения.

Презентация.

Свойства выпуклых функций. Неравенство Йенсена.

Расстояние Кульбака-Лейблера, его неотрицательность.

Скачать презентацию.

EM-алгоритм.

Скачать презентацию

Смеси распределений, их оценивание через EM-алгоритм

Скачать презентацию 1

Скачать презентацию 2

Тематическое моделирование

Скачать презентацию

Кластеризация

Скачать презентацию

Отбор признаков для кластеризации

Скачать презентацию

Оценка качества кластеризации

Скачать презентацию

Нейросети

Скачать презентацию

Рекомендательные системы.

Скачать презентацию

Нелинейное снижение размерности

Скачать презентацию

Личные инструменты