Математические методы распознавания образов (курс лекций, В.В.Китов)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
Строка 25: Строка 25:
==Первый семестр==
==Первый семестр==
-
===Основные понятия и примеры прикладных задач.===
+
==Введение в машинное обучение.===
 +
[https://yadi.sk/i/E49X115_3MzQ9d Презентация].
-
[[Media:Kitov-ML-eng-01-Introduction_to_machine_learning.pdf‎|Скачать презентацию (eng)]].
+
===Метод ближайших центроидов и K ближайших соседей.===
 +
[https://yadi.sk/i/kba2MR_S3MzRk7 Презентация].
-
[[Media:Kitov-ML-rus-01-Introduction.pdf‎|Скачать презентацию (рус)]]
+
===Другие метрические методы.===
 +
[https://yadi.sk/i/sufau1_m3MzRpS Презентация].
-
===Метрические методы регрессии и классификации.===
+
===Оптимизация метода K ближайших соседей.===
 +
[https://yadi.sk/i/WfCaxudg3MzRtH Презентация].
-
[[Media:Kitov-ML-eng-02-K-NN.pdf‎|Скачать презентацию (KNN базовый, eng)]]
+
==Сложность моделей. Подготовка данных.===
 +
[https://yadi.sk/i/K4g9GqRP3MzRyv Презентация].
-
[[Media:Kitov-ML-eng-02-K-NN_optimization.pdf‎|Скачать презентацию (Оптимизация KNN, eng)]]
+
===Метрики близости.===
 +
[https://yadi.sk/i/UAUPA_9q3MzS4E Презентация].
-
[[Media:Kitov-ML-rus-02-K-NN.pdf‎|Скачать презентацию (рус)]]
+
===Метод главных компонент.===
 +
+ вывод решения
-
===Линейные методы снижения размерности.===
+
[https://yadi.sk/i/wMzOw5EK3MzSGC Презентация].
-
+ вывод решения для задачи линейной регрессии методом наименьших квадратов. L1 и L2 регуляризация, вывод решения регрессии с L2 регуляризацией. Свойства существования и единственности решений.
+
[https://yadi.sk/i/k84Lfe9F3MzSDD Свойства симметричных матриц, положительно определенные матрицы, векторное дифференцирование.]
-
[[Media:Kitov-ML-eng-03-PCA.pdf‎|Скачать презентацию (eng)]]
+
===Линейная регрессия.===
 +
[https://yadi.sk/i/z0t1ss403MzSKn Презентация].
-
===Сингулярное разложение.===
+
===Линейная классификация.===
 +
[https://yadi.sk/i/vK_gVUPP3MzSWr Презентация].
-
[[Media:Kitov-ML-eng-04-Singular_value_decomposition.pdf‎ | Скачать презентацию (eng)]].
+
===Оценивание классификаторов.===
-
 
+
[https://yadi.sk/i/ElwK1dNt3MzSaz Презентация].
-
+разреженное кодирование, доказательство существования SVD разложения и доказательство оптимальности (по норме Фробениуса) приближения матрицы сокращенным SVD разложением.
+
-
 
+
-
===Методы решающих деревьев.===
+
-
 
+
-
[[Media:Kitov-ML-eng-05-Decision_trees.pdf‎‎ | Скачать презентацию (eng)]]
+
-
 
+
-
+семинар: Random Forest
+
-
 
+
-
===Оценивание моделей.===
+
-
 
+
-
[[Media:Kitov-ML-eng-06-Classifier_evaluation.pdf‎ | Скачать презентацию (eng)]]
+
-
 
+
-
+ROC кривая для случайного классификатора.
+
-
 
+
-
===Классификация линейными методами.===
+
-
[[Media:Kitov-ML-eng-07-Linear_methods_of_classification.pdf‎ | Скачать презентацию (eng)]]
+
===Метод опорных векторов.===
===Метод опорных векторов.===
-
[[Media:Kitov-ML-eng-08-Support_vector_machines.pdf | Скачать презентацию (eng)]].
+
+ вывод двойственной задачи
-
===Обобщение методов через ядра.===
+
[https://yadi.sk/i/SgULlBt83MzSf3 Презентация].
-
[[Media:Kitov-ML-eng-09-Kernel_methods.pdf‎‎ | Скачать презентацию (eng)]].
+
-
===Байесовская теория классификации.===
+
===Обобщения методов через ядра Мерсера.pdf.===
-
[[Media:Kitov-ML-eng-10-Bayes_decision_rule.pdf‎‎‎ | Скачать презентацию (eng)]]
+
+ двойственная задача для гребневой регрессии
-
+доказательство, что Байесовское правило минимальной ошибки действительно приводит к минимизации вероятности неправильной классификации.
+
[https://yadi.sk/i/i2_1Kp5s3MzSuC Презентация].
-
+ предположение наивного Байеса.
+
===Отбор признаков===
 +
[https://yadi.sk/i/Vz1QD-GB3MzT3e Презентация].
-
+ модель Бернулли
+
===Бйесовское решающее правило. Генеративные и дискриминативные модели.===
 +
[https://yadi.sk/i/2ouj6b8S3MzT66 Презентация].
-
+ Мультиномиальная модель
+
===Смещение и дисперсия моделей. Статистическая теория переобучения.===
 +
[https://yadi.sk/i/7etNZyEY3MzT9L Презентация].
-
+ особенности работы с текстами (лемматизация, биграммы, извлечение коллокаций)
+
===Решающие деревья.===
 +
[https://yadi.sk/i/O_ZKNN2J3MzTBf Презентация].
-
===Ядерное сглаживание для оценки плотности.===
+
===Ансамбли прогнозирующих алгоритмов.===
-
[[Media:Kitov-ML-eng-11-Kernel_density_estimation.pdf‎‎ | Скачать презентацию (eng)]].
+
[https://yadi.sk/i/omYktp5J3MzTEZ Презентация].
-
 
+
-
===Задачи регрессии.===
+
-
[[Media:Kitov-ML-eng-12-Regression.pdf‎‎‎ | Скачать презентацию (eng)]].
+
==Второй семестр==
==Второй семестр==
-
 
-
===Ансамбли алгоритмов===
 
-
[[Media:Kitov-ML-eng-13-Ensemble_methods.pdf‎‎‎ | Скачать презентацию]].
 
===Бустинг.===
===Бустинг.===

Версия 16:14, 18 сентября 2017

Содержание

Курс посвящен алгоритмам машинного обучения (machine learning), которые сами настраиваются на известных данных, выделяя их характерную структуру и взаимосвязи между ними, для их прогнозирования, анализа, компактного описания и визуализации. Основной акцент курса сделан на задачах предсказания дискретных величин (классификация) и непрерывных величин (регрессия), хотя в курсе также рассматриваются смежные области - эффективное снижение размерности пространства, выделение наиболее значимых признаков для предсказания, методы оценивания и сравнения вероятностных распределений, рекомендательные системы и планирование экспериментов.

Лектор: Виктор Китов

Семинарист: Евгений Соколов

Курс читается студентам 3 курса кафедры «Математические методы прогнозирования» ВМиК МГУ, магистрам, зачисленным на эту кафедру, и не проходивших ранее аналогичных курсов, а также для всех желающих. На материал данного курса опираются последующие кафедральные курсы.

По изложению, рассматриваются математические основы методов, лежащие в их основе предположения о данных, взаимосвязи методов между собой и особенности их практического применения.

Курс сопровождается семинарами, раскрывающими дополнительные темы курса и отрабатывающими навыки практического применения рассматриваемых методов. Практическое использование методов машинного обучения в основном будет вестись с использованием языка python и соответствующих библиотек для научных вычислений.

От студентов требуются знания линейной алгебры, математического анализа, теории вероятностей, математической статистики и методов оптимизации. Практические задания должны выполняться с использованием языка Python и его научных библиотек.


Программа курса

Первый семестр

Введение в машинное обучение.=

Презентация.

Метод ближайших центроидов и K ближайших соседей.

Презентация.

Другие метрические методы.

Презентация.

Оптимизация метода K ближайших соседей.

Презентация.

Сложность моделей. Подготовка данных.=

Презентация.

Метрики близости.

Презентация.

Метод главных компонент.

+ вывод решения

Презентация.

Свойства симметричных матриц, положительно определенные матрицы, векторное дифференцирование.

Линейная регрессия.

Презентация.

Линейная классификация.

Презентация.

Оценивание классификаторов.

Презентация.

Метод опорных векторов.

+ вывод двойственной задачи

Презентация.

Обобщения методов через ядра Мерсера.pdf.

+ двойственная задача для гребневой регрессии

Презентация.

Отбор признаков

Презентация.

Бйесовское решающее правило. Генеративные и дискриминативные модели.

Презентация.

Смещение и дисперсия моделей. Статистическая теория переобучения.

Презентация.

Решающие деревья.

Презентация.

Ансамбли прогнозирующих алгоритмов.

Презентация.

Второй семестр

Бустинг.

Скачать презентацию.

xgBoost.

Скачать презентацию.

Статья со всеми деталями

Методы отбора признаков.

Скачать презентацию.

Свойства выпуклых функций. Неравенство Йенсена.

Расстояние Кульбака-Лейблера, его неотрицательность.

Скачать презентацию.

EM-алгоритм.

Скачать презентацию

Смеси распределений, их оценивание через EM-алгоритм

Скачать презентацию 1

Скачать презентацию 2

Тематическое моделирование

Скачать презентацию

Кластеризация

Скачать презентацию

Отбор признаков для кластеризации

Скачать презентацию

Оценка качества кластеризации

Скачать презентацию

Нейросети

Скачать презентацию

Рекомендательные системы.

Скачать презентацию

Нелинейное снижение размерности

Скачать презентацию

Личные инструменты