Математические методы распознавания образов (курс лекций, В.В.Китов)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Второй семестр)
(Экзамен (летняя экзаменационная сессия))
(26 промежуточных версий не показаны.)
Строка 3: Строка 3:
Курс посвящен алгоритмам машинного обучения (machine learning), которые сами настраиваются на известных данных, выделяя их характерную структуру и взаимосвязи между ними, для их компактного описания, визуализации и последующего предсказания новых аналогичных данных. Основной акцент курса сделан на задачах предсказания дискретных величин (классификация) и непрерывных величин (регрессия), хотя в курсе также рассматриваются смежные области - эффективное снижение размерности пространства, выделение наиболее значимых признаков для предсказания, методы оценивания и сравнения вероятностных распределений, рекомендательные системы и планирование экспериментов.
Курс посвящен алгоритмам машинного обучения (machine learning), которые сами настраиваются на известных данных, выделяя их характерную структуру и взаимосвязи между ними, для их компактного описания, визуализации и последующего предсказания новых аналогичных данных. Основной акцент курса сделан на задачах предсказания дискретных величин (классификация) и непрерывных величин (регрессия), хотя в курсе также рассматриваются смежные области - эффективное снижение размерности пространства, выделение наиболее значимых признаков для предсказания, методы оценивания и сравнения вероятностных распределений, рекомендательные системы и планирование экспериментов.
 +
 +
Лектор: [[Участник:Victor Kitov|Виктор Китов]]
 +
 +
Семинарист: [[Участник:EvgSokolov|Евгений Соколов]]
Курс читается студентам 3 курса кафедры «Математические методы прогнозирования» ВМиК МГУ, магистрам, зачисленным на эту кафедру, и не проходивших ранее аналогичных курсов, а также для всех желающих. На материал данного курса опираются последующие кафедральные курсы.
Курс читается студентам 3 курса кафедры «Математические методы прогнозирования» ВМиК МГУ, магистрам, зачисленным на эту кафедру, и не проходивших ранее аналогичных курсов, а также для всех желающих. На материал данного курса опираются последующие кафедральные курсы.
Строка 15: Строка 19:
* Анонимные отзывы и комментарии по лекциям [https://docs.google.com/forms/d/e/1FAIpQLSeeWRdRVQ82GPyu0FIW5RlWV9NwyWPWSlNBDrMHAHvsfln3aA/viewform можно оставлять здесь.]
* Анонимные отзывы и комментарии по лекциям [https://docs.google.com/forms/d/e/1FAIpQLSeeWRdRVQ82GPyu0FIW5RlWV9NwyWPWSlNBDrMHAHvsfln3aA/viewform можно оставлять здесь.]
 +
 +
=Экзамен (летняя экзаменационная сессия)=
 +
 +
Пройдет 26 июня (понедельник) в 9-00 в ауд. 523.
 +
 +
[[Media:2017_MMRO_Preliminary_exam_questions.pdf‎|Финальная версия билетов]]
=Экзамен (зимняя экзаменационная сессия)=
=Экзамен (зимняя экзаменационная сессия)=
Строка 101: Строка 111:
[[Media:Kitov-ML-eng-14-Boosting.pdf‎‎‎ | Скачать презентацию]].
[[Media:Kitov-ML-eng-14-Boosting.pdf‎‎‎ | Скачать презентацию]].
-
===Бустинг-продолжение. xgBoost.===
+
===xgBoost.===
 +
[[Media:Kitov-ML-eng-15-xgBoost.pdf‎‎‎ | Скачать презентацию]].
 +
 
 +
[http://www.kdd.org/kdd2016/papers/files/rfp0697-chenAemb.pdf Статья со всеми деталями]
 +
 
 +
===Методы отбора признаков.===
 +
[[Media:Kitov-ML-eng-16-Feature_selection.pdf‎ | Скачать презентацию]].
===Свойства выпуклых функций. Неравенство Йенсена. ===
===Свойства выпуклых функций. Неравенство Йенсена. ===
Расстояние Кульбака-Лейблера, его неотрицательность.
Расстояние Кульбака-Лейблера, его неотрицательность.
 +
 +
[[Media:Kitov-ML-eng-17-Convexity_theory.pdf | Скачать презентацию]].
===EM-алгоритм.===
===EM-алгоритм.===
 +
[[Media:Kitov-ML-eng-18-EM_algorithm.pdf‎ | Скачать презентацию]]
-
===Применения EM-алгоритма===
+
===Смеси распределений, их оценивание через EM-алгоритм===
-
Смеси гауссианов и скрытая марковская модель.
+
-
===Нейросети - архитектура.===
+
[[Media:Kitov-ML-eng-19-Mixtures,_EM.pdf‎ ‎ | Скачать презентацию 1]]
-
===Нейросети - оценивание.===
+
[[Media:Kitov-ML-eng-20-Gaussian_mixtures_EM_derivation.pdf‎ | Скачать презентацию 2]]
-
===Кластеризация.===
+
===Тематическое моделирование===
 +
[[Media:Kitov-ML-eng-21-Topic_modelling.pdf | Скачать презентацию]]
-
===Методы отбора признаков.===
+
===Кластеризация===
 +
[[Media:Kitov-ML-eng-22-Clustering.pdf‎ | Скачать презентацию]]
 +
 
 +
===Отбор признаков для кластеризации===
 +
[[Media:Kitov-ML-eng-22-Feature_selection_for_clustering.pdf‎ | Скачать презентацию]]
-
===Нелинейные методы снижения размерности. Снижение размерности с учителем.===
+
===Оценка качества кластеризации===
 +
[[Media:Kitov-ML-eng-22-Clustering_evaluation.pdf‎ | Скачать презентацию]]
-
===Частичное обучение (semi-supervised learning).===
+
===Нейросети===
 +
[[Media:Kitov-ML-eng-23-Neural_networks.pdf | Скачать презентацию]]
===Рекомендательные системы.===
===Рекомендательные системы.===
 +
[[Media:Kitov-ML-eng-24-Recommender_systems.pdf | Скачать презентацию]]
-
===Активное обучение.===
+
===Нелинейное снижение размерности===
 +
[[Media:Kitov-ML-eng-25-Nonlinear_dimensionality_reduction.pdf‎‎ | Скачать презентацию]]

Версия 12:10, 25 июня 2017

Содержание

Курс посвящен алгоритмам машинного обучения (machine learning), которые сами настраиваются на известных данных, выделяя их характерную структуру и взаимосвязи между ними, для их компактного описания, визуализации и последующего предсказания новых аналогичных данных. Основной акцент курса сделан на задачах предсказания дискретных величин (классификация) и непрерывных величин (регрессия), хотя в курсе также рассматриваются смежные области - эффективное снижение размерности пространства, выделение наиболее значимых признаков для предсказания, методы оценивания и сравнения вероятностных распределений, рекомендательные системы и планирование экспериментов.

Лектор: Виктор Китов

Семинарист: Евгений Соколов

Курс читается студентам 3 курса кафедры «Математические методы прогнозирования» ВМиК МГУ, магистрам, зачисленным на эту кафедру, и не проходивших ранее аналогичных курсов, а также для всех желающих. На материал данного курса опираются последующие кафедральные курсы.

По изложению, рассматриваются математические основы методов, лежащие в их основе предположения о данных, взаимосвязи методов между собой и особенности их практического применения.

Курс сопровождается семинарами, раскрывающими дополнительные темы курса и отрабатывающими навыки практического применения рассматриваемых методов. Практическое использование методов машинного обучения в основном будет вестись с использованием языка python и соответствующих библиотек для научных вычислений.

От студентов требуются знания линейной алгебры, математического анализа и теории вероятностей. Знание математической статистики, методов оптимизации и какого-либо языка программирования желательно, но не обязательно.

Экзамен (летняя экзаменационная сессия)

Пройдет 26 июня (понедельник) в 9-00 в ауд. 523.

Финальная версия билетов

Экзамен (зимняя экзаменационная сессия)

Пройдет 15 января (воскресенье) в 9-00 в ауд. 510.

Билеты


Программа курса

Первый семестр

Основные понятия и примеры прикладных задач.

Скачать презентацию (eng).

Скачать презентацию (рус)

Метрические методы регрессии и классификации.

Скачать презентацию (KNN базовый, eng)

Скачать презентацию (Оптимизация KNN, eng)

Скачать презентацию (рус)

Линейные методы снижения размерности.

+ вывод решения для задачи линейной регрессии методом наименьших квадратов. L1 и L2 регуляризация, вывод решения регрессии с L2 регуляризацией. Свойства существования и единственности решений.

Скачать презентацию (eng)

Сингулярное разложение.

Скачать презентацию (eng).

+разреженное кодирование, доказательство существования SVD разложения и доказательство оптимальности (по норме Фробениуса) приближения матрицы сокращенным SVD разложением.

Методы решающих деревьев.

Скачать презентацию (eng)

+семинар: Random Forest

Оценивание моделей.

Скачать презентацию (eng)

+ROC кривая для случайного классификатора.

Классификация линейными методами.

Скачать презентацию (eng)

Метод опорных векторов.

Скачать презентацию (eng).

Обобщение методов через ядра.

Скачать презентацию (eng).

Байесовская теория классификации.

Скачать презентацию (eng)

+доказательство, что Байесовское правило минимальной ошибки действительно приводит к минимизации вероятности неправильной классификации.

+ предположение наивного Байеса.

+ модель Бернулли

+ Мультиномиальная модель

+ особенности работы с текстами (лемматизация, биграммы, извлечение коллокаций)

Ядерное сглаживание для оценки плотности.

Скачать презентацию (eng).

Задачи регрессии.

Скачать презентацию (eng).

Второй семестр

Ансамбли алгоритмов

Скачать презентацию.

Бустинг.

Скачать презентацию.

xgBoost.

Скачать презентацию.

Статья со всеми деталями

Методы отбора признаков.

Скачать презентацию.

Свойства выпуклых функций. Неравенство Йенсена.

Расстояние Кульбака-Лейблера, его неотрицательность.

Скачать презентацию.

EM-алгоритм.

Скачать презентацию

Смеси распределений, их оценивание через EM-алгоритм

Скачать презентацию 1

Скачать презентацию 2

Тематическое моделирование

Скачать презентацию

Кластеризация

Скачать презентацию

Отбор признаков для кластеризации

Скачать презентацию

Оценка качества кластеризации

Скачать презентацию

Нейросети

Скачать презентацию

Рекомендательные системы.

Скачать презентацию

Нелинейное снижение размерности

Скачать презентацию

Личные инструменты