Математические методы распознавания образов (курс лекций, В.В.Китов)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Второй семестр)
(46 промежуточных версий не показаны.)
Строка 15: Строка 15:
* Анонимные отзывы и комментарии по лекциям [https://docs.google.com/forms/d/e/1FAIpQLSeeWRdRVQ82GPyu0FIW5RlWV9NwyWPWSlNBDrMHAHvsfln3aA/viewform можно оставлять здесь.]
* Анонимные отзывы и комментарии по лекциям [https://docs.google.com/forms/d/e/1FAIpQLSeeWRdRVQ82GPyu0FIW5RlWV9NwyWPWSlNBDrMHAHvsfln3aA/viewform можно оставлять здесь.]
 +
 +
=Экзамен (зимняя экзаменационная сессия)=
 +
 +
Пройдет 15 января (воскресенье) в 9-00 в ауд. 510.
 +
 +
[[Media:Kitov-ML-exam-autumn_2017.pdf‎|Билеты]]
 +
=Программа курса=
=Программа курса=
Строка 22: Строка 29:
===Основные понятия и примеры прикладных задач.===
===Основные понятия и примеры прикладных задач.===
-
[[Media:Kitov-ML-eng-01-Introduction_to_machine_learning.pdf‎|Скачать презентацию (eng)]]
+
[[Media:Kitov-ML-eng-01-Introduction_to_machine_learning.pdf‎|Скачать презентацию (eng)]].
[[Media:Kitov-ML-rus-01-Introduction.pdf‎|Скачать презентацию (рус)]]
[[Media:Kitov-ML-rus-01-Introduction.pdf‎|Скачать презентацию (рус)]]
 +
 +
===Метрические методы регрессии и классификации.===
 +
 +
[[Media:Kitov-ML-eng-02-K-NN.pdf‎|Скачать презентацию (KNN базовый, eng)]]
 +
 +
[[Media:Kitov-ML-eng-02-K-NN_optimization.pdf‎|Скачать презентацию (Оптимизация KNN, eng)]]
 +
 +
[[Media:Kitov-ML-rus-02-K-NN.pdf‎|Скачать презентацию (рус)]]
===Линейные методы снижения размерности.===
===Линейные методы снижения размерности.===
 +
 +
+ вывод решения для задачи линейной регрессии методом наименьших квадратов. L1 и L2 регуляризация, вывод решения регрессии с L2 регуляризацией. Свойства существования и единственности решений.
 +
 +
[[Media:Kitov-ML-eng-03-PCA.pdf‎|Скачать презентацию (eng)]]
===Сингулярное разложение.===
===Сингулярное разложение.===
-
===Метрические методы регрессии и классификации.===
+
[[Media:Kitov-ML-eng-04-Singular_value_decomposition.pdf‎ | Скачать презентацию (eng)]].
 +
 
 +
+разреженное кодирование, доказательство существования SVD разложения и доказательство оптимальности (по норме Фробениуса) приближения матрицы сокращенным SVD разложением.
===Методы решающих деревьев.===
===Методы решающих деревьев.===
 +
 +
[[Media:Kitov-ML-eng-05-Decision_trees.pdf‎‎ | Скачать презентацию (eng)]]
 +
 +
+семинар: Random Forest
===Оценивание моделей.===
===Оценивание моделей.===
 +
 +
[[Media:Kitov-ML-eng-06-Classifier_evaluation.pdf‎ | Скачать презентацию (eng)]]
 +
 +
+ROC кривая для случайного классификатора.
===Классификация линейными методами.===
===Классификация линейными методами.===
 +
[[Media:Kitov-ML-eng-07-Linear_methods_of_classification.pdf‎ | Скачать презентацию (eng)]]
-
===Линейная и нелинейная регрессия.===
+
===Метод опорных векторов.===
 +
[[Media:Kitov-ML-eng-08-Support_vector_machines.pdf | Скачать презентацию (eng)]].
===Обобщение методов через ядра.===
===Обобщение методов через ядра.===
 +
[[Media:Kitov-ML-eng-09-Kernel_methods.pdf‎‎ | Скачать презентацию (eng)]].
===Байесовская теория классификации.===
===Байесовская теория классификации.===
 +
[[Media:Kitov-ML-eng-10-Bayes_decision_rule.pdf‎‎‎ | Скачать презентацию (eng)]]
-
===Методы работы с пропущенными данными. Метод наивного Байеса.===
+
+доказательство, что Байесовское правило минимальной ошибки действительно приводит к минимизации вероятности неправильной классификации.
-
===Моделирование смесью распределений. ===
+
+ предположение наивного Байеса.
 +
 
 +
+ модель Бернулли
 +
 
 +
+ Мультиномиальная модель
 +
 
 +
+ особенности работы с текстами (лемматизация, биграммы, извлечение коллокаций)
===Ядерное сглаживание для оценки плотности.===
===Ядерное сглаживание для оценки плотности.===
 +
[[Media:Kitov-ML-eng-11-Kernel_density_estimation.pdf‎‎ | Скачать презентацию (eng)]].
-
===Кластеризация.===
+
===Задачи регрессии.===
 +
[[Media:Kitov-ML-eng-12-Regression.pdf‎‎‎ | Скачать презентацию (eng)]].
==Второй семестр==
==Второй семестр==
-
===Ансамбли алгоритмов.===
+
===Ансамбли алгоритмов===
 +
[[Media:Kitov-ML-eng-13-Ensemble_methods.pdf‎‎‎ | Скачать презентацию]].
===Бустинг.===
===Бустинг.===
 +
[[Media:Kitov-ML-eng-14-Boosting.pdf‎‎‎ | Скачать презентацию]].
-
===Нейросети.===
+
===Бустинг-продолжение. xgBoost.===
 +
 
 +
===Свойства выпуклых функций. Неравенство Йенсена. ===
 +
Расстояние Кульбака-Лейблера, его неотрицательность.
 +
 
 +
===EM-алгоритм.===
 +
 
 +
===Применения EM-алгоритма===
 +
Смеси гауссианов и скрытая марковская модель.
 +
 
 +
===Нейросети - архитектура.===
 +
 
 +
===Нейросети - оценивание.===
 +
 
 +
===Кластеризация.===
===Методы отбора признаков.===
===Методы отбора признаков.===
-
===Нелинейные методы снижения размерности.===
+
===Нелинейные методы снижения размерности. Снижение размерности с учителем.===
===Частичное обучение (semi-supervised learning).===
===Частичное обучение (semi-supervised learning).===
-
 
-
===Активное обучение.===
 
===Рекомендательные системы.===
===Рекомендательные системы.===
 +
 +
===Активное обучение.===

Версия 18:56, 21 февраля 2017

Содержание

Курс посвящен алгоритмам машинного обучения (machine learning), которые сами настраиваются на известных данных, выделяя их характерную структуру и взаимосвязи между ними, для их компактного описания, визуализации и последующего предсказания новых аналогичных данных. Основной акцент курса сделан на задачах предсказания дискретных величин (классификация) и непрерывных величин (регрессия), хотя в курсе также рассматриваются смежные области - эффективное снижение размерности пространства, выделение наиболее значимых признаков для предсказания, методы оценивания и сравнения вероятностных распределений, рекомендательные системы и планирование экспериментов.

Курс читается студентам 3 курса кафедры «Математические методы прогнозирования» ВМиК МГУ, магистрам, зачисленным на эту кафедру, и не проходивших ранее аналогичных курсов, а также для всех желающих. На материал данного курса опираются последующие кафедральные курсы.

По изложению, рассматриваются математические основы методов, лежащие в их основе предположения о данных, взаимосвязи методов между собой и особенности их практического применения.

Курс сопровождается семинарами, раскрывающими дополнительные темы курса и отрабатывающими навыки практического применения рассматриваемых методов. Практическое использование методов машинного обучения в основном будет вестись с использованием языка python и соответствующих библиотек для научных вычислений.

От студентов требуются знания линейной алгебры, математического анализа и теории вероятностей. Знание математической статистики, методов оптимизации и какого-либо языка программирования желательно, но не обязательно.

Экзамен (зимняя экзаменационная сессия)

Пройдет 15 января (воскресенье) в 9-00 в ауд. 510.

Билеты


Программа курса

Первый семестр

Основные понятия и примеры прикладных задач.

Скачать презентацию (eng).

Скачать презентацию (рус)

Метрические методы регрессии и классификации.

Скачать презентацию (KNN базовый, eng)

Скачать презентацию (Оптимизация KNN, eng)

Скачать презентацию (рус)

Линейные методы снижения размерности.

+ вывод решения для задачи линейной регрессии методом наименьших квадратов. L1 и L2 регуляризация, вывод решения регрессии с L2 регуляризацией. Свойства существования и единственности решений.

Скачать презентацию (eng)

Сингулярное разложение.

Скачать презентацию (eng).

+разреженное кодирование, доказательство существования SVD разложения и доказательство оптимальности (по норме Фробениуса) приближения матрицы сокращенным SVD разложением.

Методы решающих деревьев.

Скачать презентацию (eng)

+семинар: Random Forest

Оценивание моделей.

Скачать презентацию (eng)

+ROC кривая для случайного классификатора.

Классификация линейными методами.

Скачать презентацию (eng)

Метод опорных векторов.

Скачать презентацию (eng).

Обобщение методов через ядра.

Скачать презентацию (eng).

Байесовская теория классификации.

Скачать презентацию (eng)

+доказательство, что Байесовское правило минимальной ошибки действительно приводит к минимизации вероятности неправильной классификации.

+ предположение наивного Байеса.

+ модель Бернулли

+ Мультиномиальная модель

+ особенности работы с текстами (лемматизация, биграммы, извлечение коллокаций)

Ядерное сглаживание для оценки плотности.

Скачать презентацию (eng).

Задачи регрессии.

Скачать презентацию (eng).

Второй семестр

Ансамбли алгоритмов

Скачать презентацию.

Бустинг.

Скачать презентацию.

Бустинг-продолжение. xgBoost.

Свойства выпуклых функций. Неравенство Йенсена.

Расстояние Кульбака-Лейблера, его неотрицательность.

EM-алгоритм.

Применения EM-алгоритма

Смеси гауссианов и скрытая марковская модель.

Нейросети - архитектура.

Нейросети - оценивание.

Кластеризация.

Методы отбора признаков.

Нелинейные методы снижения размерности. Снижение размерности с учителем.

Частичное обучение (semi-supervised learning).

Рекомендательные системы.

Активное обучение.

Личные инструменты