Математические методы распознавания образов (курс лекций, В.В.Китов)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Первый семестр)
(17 промежуточных версий не показаны.)
Строка 2: Строка 2:
{{TOCright}}
{{TOCright}}
-
Курс посвящен алгоритмам машинного обучения (machine learning), которые сами настраиваются на известных данных, выделяя их характерную структуру и взаимосвязи между ними, для их компактного описания, визуализации и последующего предсказания новых аналогичных данных. Основной акцент курса сделан на задачах предсказания дискретных величин (классификация) и непрерывных величин (регрессия), хотя в курсе также рассматриваются смежные области - эффективное снижение размерности пространства, выделение наиболее значимых признаков для предсказания, методы оценивания и сравнения вероятностных распределений, рекомендательные системы и планирование экспериментов.
+
Курс посвящен алгоритмам машинного обучения (machine learning), которые сами настраиваются на известных данных, выделяя их характерную структуру и взаимосвязи между ними, для их прогнозирования, анализа, компактного описания и визуализации. Основной акцент курса сделан на задачах предсказания дискретных величин (классификация) и непрерывных величин (регрессия), хотя в курсе также рассматриваются смежные области - эффективное снижение размерности пространства, выделение наиболее значимых признаков для предсказания, методы оценивания и сравнения вероятностных распределений, рекомендательные системы и планирование экспериментов.
Лектор: [[Участник:Victor Kitov|Виктор Китов]]
Лектор: [[Участник:Victor Kitov|Виктор Китов]]
Строка 14: Строка 14:
Курс сопровождается [[Машинное обучение (семинары, ВМК МГУ)|семинарами]], раскрывающими дополнительные темы курса и отрабатывающими навыки практического применения рассматриваемых методов. Практическое использование методов машинного обучения в основном будет вестись с использованием языка python и соответствующих библиотек для научных вычислений.
Курс сопровождается [[Машинное обучение (семинары, ВМК МГУ)|семинарами]], раскрывающими дополнительные темы курса и отрабатывающими навыки практического применения рассматриваемых методов. Практическое использование методов машинного обучения в основном будет вестись с использованием языка python и соответствующих библиотек для научных вычислений.
-
От студентов требуются знания линейной алгебры, математического анализа и теории вероятностей. Знание математической статистики, методов оптимизации и какого-либо языка программирования желательно, но не обязательно.
+
От студентов требуются знания линейной алгебры, математического анализа, теории вероятностей, математической статистики и методов оптимизации. Практические задания должны выполняться с использованием языка Python и его научных библиотек.
* Курс во многом пересекается с [[Машинное обучение (курс лекций, К.В.Воронцов)|курсом К.В.Воронцова по машинному обучению]], с которым также рекомендуется ознакомиться.
* Курс во многом пересекается с [[Машинное обучение (курс лекций, К.В.Воронцов)|курсом К.В.Воронцова по машинному обучению]], с которым также рекомендуется ознакомиться.
* Анонимные отзывы и комментарии по лекциям [https://docs.google.com/forms/d/e/1FAIpQLSeeWRdRVQ82GPyu0FIW5RlWV9NwyWPWSlNBDrMHAHvsfln3aA/viewform можно оставлять здесь.]
* Анонимные отзывы и комментарии по лекциям [https://docs.google.com/forms/d/e/1FAIpQLSeeWRdRVQ82GPyu0FIW5RlWV9NwyWPWSlNBDrMHAHvsfln3aA/viewform можно оставлять здесь.]
-
 
-
=Экзамен (зимняя экзаменационная сессия)=
 
-
 
-
Пройдет 15 января (воскресенье) в 9-00 в ауд. 510.
 
-
 
-
[[Media:Kitov-ML-exam-autumn_2017.pdf‎|Билеты]]
 
Строка 31: Строка 25:
==Первый семестр==
==Первый семестр==
-
===Основные понятия и примеры прикладных задач.===
+
===Введение в машинное обучение.===
 +
[https://yadi.sk/i/E49X115_3MzQ9d Презентация].
-
[[Media:Kitov-ML-eng-01-Introduction_to_machine_learning.pdf‎|Скачать презентацию (eng)]].
+
===Метод ближайших центроидов и K ближайших соседей.===
 +
[https://yadi.sk/i/kba2MR_S3MzRk7 Презентация].
-
[[Media:Kitov-ML-rus-01-Introduction.pdf‎|Скачать презентацию (рус)]]
+
===Другие метрические методы.===
 +
[https://yadi.sk/i/sufau1_m3MzRpS Презентация].
 +
-метод Парзеновского окна
-
===Метрические методы регрессии и классификации.===
+
===Сложность моделей. Подготовка данных.===
 +
[https://yadi.sk/i/K4g9GqRP3MzRyv Презентация].
-
[[Media:Kitov-ML-eng-02-K-NN.pdf‎|Скачать презентацию (KNN базовый, eng)]]
+
===Метрики близости.===
 +
[https://yadi.sk/i/SaFcrAl_3NHrvB Презентация].
-
[[Media:Kitov-ML-eng-02-K-NN_optimization.pdf‎|Скачать презентацию (Оптимизация KNN, eng)]]
+
===Оптимизация метода K ближайших соседей.===
 +
[https://yadi.sk/i/WfCaxudg3MzRtH Презентация].
-
[[Media:Kitov-ML-rus-02-K-NN.pdf‎|Скачать презентацию (рус)]]
+
===Метод главных компонент.===
 +
+ вывод решения
-
===Линейные методы снижения размерности.===
+
[https://yadi.sk/i/wMzOw5EK3MzSGC Презентация].
-
+ вывод решения для задачи линейной регрессии методом наименьших квадратов. L1 и L2 регуляризация, вывод решения регрессии с L2 регуляризацией. Свойства существования и единственности решений.
+
[https://yadi.sk/i/k84Lfe9F3MzSDD Свойства симметричных матриц, положительно определенные матрицы, векторное дифференцирование.]
-
[[Media:Kitov-ML-eng-03-PCA.pdf‎|Скачать презентацию (eng)]]
+
===Линейная регрессия.===
 +
[https://yadi.sk/i/z0t1ss403MzSKn Презентация].
-
===Сингулярное разложение.===
+
===Линейная классификация.===
 +
[https://yadi.sk/i/vK_gVUPP3MzSWr Презентация].
-
[[Media:Kitov-ML-eng-04-Singular_value_decomposition.pdf‎ | Скачать презентацию (eng)]].
+
Рассмотрены: бинарный классификатор, GD, SGD, ф-ции потерь, misclassification rate.
-
+разреженное кодирование, доказательство существования SVD разложения и доказательство оптимальности (по норме Фробениуса) приближения матрицы сокращенным SVD разложением.
+
----
-
===Методы решающих деревьев.===
+
===Оценивание классификаторов.===
-
 
+
[https://yadi.sk/i/ElwK1dNt3MzSaz Презентация].
-
[[Media:Kitov-ML-eng-05-Decision_trees.pdf‎‎ | Скачать презентацию (eng)]]
+
-
 
+
-
+семинар: Random Forest
+
-
 
+
-
===Оценивание моделей.===
+
-
 
+
-
[[Media:Kitov-ML-eng-06-Classifier_evaluation.pdf‎ | Скачать презентацию (eng)]]
+
-
 
+
-
+ROC кривая для случайного классификатора.
+
-
 
+
-
===Классификация линейными методами.===
+
-
[[Media:Kitov-ML-eng-07-Linear_methods_of_classification.pdf‎ | Скачать презентацию (eng)]]
+
===Метод опорных векторов.===
===Метод опорных векторов.===
-
[[Media:Kitov-ML-eng-08-Support_vector_machines.pdf | Скачать презентацию (eng)]].
+
+ вывод двойственной задачи
-
===Обобщение методов через ядра.===
+
[https://yadi.sk/i/SgULlBt83MzSf3 Презентация].
-
[[Media:Kitov-ML-eng-09-Kernel_methods.pdf‎‎ | Скачать презентацию (eng)]].
+
-
===Байесовская теория классификации.===
+
===Обобщения методов через ядра Мерсера.===
-
[[Media:Kitov-ML-eng-10-Bayes_decision_rule.pdf‎‎‎ | Скачать презентацию (eng)]]
+
+ двойственная задача для гребневой регрессии
-
+доказательство, что Байесовское правило минимальной ошибки действительно приводит к минимизации вероятности неправильной классификации.
+
[https://yadi.sk/i/i2_1Kp5s3MzSuC Презентация].
-
+ предположение наивного Байеса.
+
===Отбор признаков===
 +
[https://yadi.sk/i/Vz1QD-GB3MzT3e Презентация].
-
+ модель Бернулли
+
===Байесовское решающее правило. Генеративные и дискриминативные модели.===
 +
[https://yadi.sk/i/2ouj6b8S3MzT66 Презентация].
-
+ Мультиномиальная модель
+
===Смещение и дисперсия моделей. Статистическая теория переобучения.===
 +
[https://yadi.sk/i/7etNZyEY3MzT9L Презентация].
-
+ особенности работы с текстами (лемматизация, биграммы, извлечение коллокаций)
+
===Решающие деревья.===
 +
[https://yadi.sk/i/O_ZKNN2J3MzTBf Презентация].
-
===Ядерное сглаживание для оценки плотности.===
+
===Ансамбли прогнозирующих алгоритмов.===
-
[[Media:Kitov-ML-eng-11-Kernel_density_estimation.pdf‎‎ | Скачать презентацию (eng)]].
+
[https://yadi.sk/i/omYktp5J3MzTEZ Презентация].
-
 
+
-
===Задачи регрессии.===
+
-
[[Media:Kitov-ML-eng-12-Regression.pdf‎‎‎ | Скачать презентацию (eng)]].
+
==Второй семестр==
==Второй семестр==
-
 
-
===Ансамбли алгоритмов===
 
-
[[Media:Kitov-ML-eng-13-Ensemble_methods.pdf‎‎‎ | Скачать презентацию]].
 
===Бустинг.===
===Бустинг.===
Строка 135: Строка 124:
===Отбор признаков для кластеризации===
===Отбор признаков для кластеризации===
[[Media:Kitov-ML-eng-22-Feature_selection_for_clustering.pdf‎ | Скачать презентацию]]
[[Media:Kitov-ML-eng-22-Feature_selection_for_clustering.pdf‎ | Скачать презентацию]]
 +
 +
===Оценка качества кластеризации===
 +
[[Media:Kitov-ML-eng-22-Clustering_evaluation.pdf‎ | Скачать презентацию]]
===Нейросети===
===Нейросети===
Строка 140: Строка 132:
===Рекомендательные системы.===
===Рекомендательные системы.===
-
+отбор признаков для кластеризации
+
[[Media:Kitov-ML-eng-24-Recommender_systems.pdf | Скачать презентацию]]
-
+алгоритм обратного распространения ошибки +dropout
+
 
 +
===Нелинейное снижение размерности===
 +
[[Media:Kitov-ML-eng-25-Nonlinear_dimensionality_reduction.pdf‎‎ | Скачать презентацию]]

Версия 15:11, 19 октября 2017

Содержание

Курс посвящен алгоритмам машинного обучения (machine learning), которые сами настраиваются на известных данных, выделяя их характерную структуру и взаимосвязи между ними, для их прогнозирования, анализа, компактного описания и визуализации. Основной акцент курса сделан на задачах предсказания дискретных величин (классификация) и непрерывных величин (регрессия), хотя в курсе также рассматриваются смежные области - эффективное снижение размерности пространства, выделение наиболее значимых признаков для предсказания, методы оценивания и сравнения вероятностных распределений, рекомендательные системы и планирование экспериментов.

Лектор: Виктор Китов

Семинарист: Евгений Соколов

Курс читается студентам 3 курса кафедры «Математические методы прогнозирования» ВМиК МГУ, магистрам, зачисленным на эту кафедру, и не проходивших ранее аналогичных курсов, а также для всех желающих. На материал данного курса опираются последующие кафедральные курсы.

По изложению, рассматриваются математические основы методов, лежащие в их основе предположения о данных, взаимосвязи методов между собой и особенности их практического применения.

Курс сопровождается семинарами, раскрывающими дополнительные темы курса и отрабатывающими навыки практического применения рассматриваемых методов. Практическое использование методов машинного обучения в основном будет вестись с использованием языка python и соответствующих библиотек для научных вычислений.

От студентов требуются знания линейной алгебры, математического анализа, теории вероятностей, математической статистики и методов оптимизации. Практические задания должны выполняться с использованием языка Python и его научных библиотек.


Программа курса

Первый семестр

Введение в машинное обучение.

Презентация.

Метод ближайших центроидов и K ближайших соседей.

Презентация.

Другие метрические методы.

Презентация. -метод Парзеновского окна

Сложность моделей. Подготовка данных.

Презентация.

Метрики близости.

Презентация.

Оптимизация метода K ближайших соседей.

Презентация.

Метод главных компонент.

+ вывод решения

Презентация.

Свойства симметричных матриц, положительно определенные матрицы, векторное дифференцирование.

Линейная регрессия.

Презентация.

Линейная классификация.

Презентация.

Рассмотрены: бинарный классификатор, GD, SGD, ф-ции потерь, misclassification rate.


Оценивание классификаторов.

Презентация.

Метод опорных векторов.

+ вывод двойственной задачи

Презентация.

Обобщения методов через ядра Мерсера.

+ двойственная задача для гребневой регрессии

Презентация.

Отбор признаков

Презентация.

Байесовское решающее правило. Генеративные и дискриминативные модели.

Презентация.

Смещение и дисперсия моделей. Статистическая теория переобучения.

Презентация.

Решающие деревья.

Презентация.

Ансамбли прогнозирующих алгоритмов.

Презентация.

Второй семестр

Бустинг.

Скачать презентацию.

xgBoost.

Скачать презентацию.

Статья со всеми деталями

Методы отбора признаков.

Скачать презентацию.

Свойства выпуклых функций. Неравенство Йенсена.

Расстояние Кульбака-Лейблера, его неотрицательность.

Скачать презентацию.

EM-алгоритм.

Скачать презентацию

Смеси распределений, их оценивание через EM-алгоритм

Скачать презентацию 1

Скачать презентацию 2

Тематическое моделирование

Скачать презентацию

Кластеризация

Скачать презентацию

Отбор признаков для кластеризации

Скачать презентацию

Оценка качества кластеризации

Скачать презентацию

Нейросети

Скачать презентацию

Рекомендательные системы.

Скачать презентацию

Нелинейное снижение размерности

Скачать презентацию

Личные инструменты