Машинное обучение (курс лекций, К.В.Воронцов)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Кластеризация и частичное обучение)
Строка 46: Строка 46:
== Основные понятия и примеры прикладных задач ==
== Основные понятия и примеры прикладных задач ==
Презентация: [[Media:Voron-ML-Intro-slides.pdf|(PDF, 1,4 МБ)]] {{важно|— обновление 05.09.2020}}.
Презентация: [[Media:Voron-ML-Intro-slides.pdf|(PDF, 1,4 МБ)]] {{важно|— обновление 05.09.2020}}.
-
Видеозапись: [https://youtu.be/xccjt6lOoow?list=PLk4h7dmY2eYHHTyfLyrl7HmP-H3mMAW08 Лекция] [https://youtu.be/bJVI5AIback?list=PLk4h7dmY2eYHHTyfLyrl7HmP-H3mMAW08 Семинар]
+
Видеозапись: [https://youtu.be/xccjt6lOoow Лекция] [https://youtu.be/bJVI5AIback Семинар]
* Постановка задач обучения по прецедентам. Объекты и признаки. Типы шкал: бинарные, номинальные, порядковые, количественные.
* Постановка задач обучения по прецедентам. Объекты и признаки. Типы шкал: бинарные, номинальные, порядковые, количественные.
* Типы задач: [[классификация]], [[регрессия]], [[прогнозирование]], [[ранжирование]].
* Типы задач: [[классификация]], [[регрессия]], [[прогнозирование]], [[ранжирование]].
Строка 58: Строка 58:
== Линейный классификатор и стохастический градиент ==
== Линейный классификатор и стохастический градиент ==
Презентация: [[Media:Voron-ML-Lin-SG.pdf|(PDF, 1,1 МБ)]] {{важно|— обновление 12.09.2020}}.
Презентация: [[Media:Voron-ML-Lin-SG.pdf|(PDF, 1,1 МБ)]] {{важно|— обновление 12.09.2020}}.
-
Видеозапись: [https://youtu.be/thrPR77K-os?list=PLk4h7dmY2eYHHTyfLyrl7HmP-H3mMAW08 Лекция] [https://youtu.be/-4pPz5kX4XQ?list=PLk4h7dmY2eYHHTyfLyrl7HmP-H3mMAW08 Семинар]
+
Видеозапись: [https://youtu.be/thrPR77K-os Лекция] [https://youtu.be/-4pPz5kX4XQ Семинар]
* [[Линейный классификатор]], модель МакКаллока-Питтса, непрерывные аппроксимации пороговой функции потерь.
* [[Линейный классификатор]], модель МакКаллока-Питтса, непрерывные аппроксимации пороговой функции потерь.
* [[Метод стохастического градиента]] SG.
* [[Метод стохастического градиента]] SG.
Строка 79: Строка 79:
== Нейронные сети: градиентные методы оптимизации ==
== Нейронные сети: градиентные методы оптимизации ==
Презентация: [[Media:Voron-ML-ANN-slides.pdf|(PDF, 1,4 МБ)]] {{важно|— обновление 19.09.2020}}.
Презентация: [[Media:Voron-ML-ANN-slides.pdf|(PDF, 1,4 МБ)]] {{важно|— обновление 19.09.2020}}.
-
Видеозапись: [https://youtu.be/Wwv-orQPMDg?list=PLk4h7dmY2eYHHTyfLyrl7HmP-H3mMAW08 Лекция] [https://youtu.be/6AyE5bzFWQs?list=PLk4h7dmY2eYHHTyfLyrl7HmP-H3mMAW08 Семинар]
+
Видеозапись: [https://youtu.be/Wwv-orQPMDg Лекция] [https://youtu.be/6AyE5bzFWQs Семинар]
* Биологический нейрон, [[модель МакКаллока-Питтса]] как [[линейный классификатор]]. Функции активации.
* Биологический нейрон, [[модель МакКаллока-Питтса]] как [[линейный классификатор]]. Функции активации.
* Проблема полноты. [[Задача исключающего или]]. Полнота двухслойных сетей в пространстве булевых функций.
* Проблема полноты. [[Задача исключающего или]]. Полнота двухслойных сетей в пространстве булевых функций.
Строка 93: Строка 93:
== Метрические методы классификации и регрессии ==
== Метрические методы классификации и регрессии ==
Презентация: [[Media:Voron-ML-Metric-slides.pdf|(PDF, 3,2 МБ)]] {{важно|— обновление 05.03.2020}}.
Презентация: [[Media:Voron-ML-Metric-slides.pdf|(PDF, 3,2 МБ)]] {{важно|— обновление 05.03.2020}}.
-
Видеозапись: [https://youtu.be/GyOxB2itxnc?list=PLk4h7dmY2eYHHTyfLyrl7HmP-H3mMAW08 Лекция] [https://youtu.be/BlPOOpFhhQE?list=PLk4h7dmY2eYHHTyfLyrl7HmP-H3mMAW08 Семинар]
+
Видеозапись: [https://youtu.be/GyOxB2itxnc Лекция] [https://youtu.be/BlPOOpFhhQE Семинар]
* Гипотезы компактности и непрерывности.
* Гипотезы компактности и непрерывности.
* Обобщённый [[метрический классификатор]].
* Обобщённый [[метрический классификатор]].
Строка 114: Строка 114:
== Метод опорных векторов ==
== Метод опорных векторов ==
Презентация: [[Media:Voron-ML-Lin-SVM.pdf|(PDF, 1,1 МБ)]] {{важно|— обновление 24.03.2020}}.
Презентация: [[Media:Voron-ML-Lin-SVM.pdf|(PDF, 1,1 МБ)]] {{важно|— обновление 24.03.2020}}.
-
Видеозапись: [https://youtu.be/6O4f_sIVffk?list=PLk4h7dmY2eYHHTyfLyrl7HmP-H3mMAW08 Лекция] [https://youtu.be/Y--tUWQ5JaY?list=PLk4h7dmY2eYHHTyfLyrl7HmP-H3mMAW08 Семинар]
+
Видеозапись: [https://youtu.be/6O4f_sIVffk Лекция] [https://youtu.be/Y--tUWQ5JaY Семинар]
* Оптимальная разделяющая гиперплоскость. Понятие [[зазор]]а между классами (margin).
* Оптимальная разделяющая гиперплоскость. Понятие [[зазор]]а между классами (margin).
* Случаи линейной разделимости и отсутствия линейной разделимости. Связь с минимизацией регуляризованного эмпирического риска. Кусочно-линейная функция потерь.
* Случаи линейной разделимости и отсутствия линейной разделимости. Связь с минимизацией регуляризованного эмпирического риска. Кусочно-линейная функция потерь.
Строка 131: Строка 131:
== Многомерная линейная регрессия ==
== Многомерная линейная регрессия ==
Презентация: [[Media:Voron-ML-regression-slides.pdf|(PDF, 1,2 MБ)]] {{важно|— обновление 10.10.2020}}.
Презентация: [[Media:Voron-ML-regression-slides.pdf|(PDF, 1,2 MБ)]] {{важно|— обновление 10.10.2020}}.
-
Видеозапись: [https://youtu.be/tCE_vnPoU44?list=PLk4h7dmY2eYHHTyfLyrl7HmP-H3mMAW08 Лекция] [https://youtu.be/t5imStVGC7Y?list=PLk4h7dmY2eYHHTyfLyrl7HmP-H3mMAW08 Семинар]
+
Видеозапись: [https://youtu.be/tCE_vnPoU44 Лекция] [https://youtu.be/t5imStVGC7Y Семинар]
* Задача регрессии, [[многомерная линейная регрессия]].
* Задача регрессии, [[многомерная линейная регрессия]].
* [[Метод наименьших квадратов]], его вероятностный смысл и геометрический смысл.
* [[Метод наименьших квадратов]], его вероятностный смысл и геометрический смысл.
Строка 150: Строка 150:
== Нелинейная регрессия ==
== Нелинейная регрессия ==
Презентация: [[Media:Voron-ML-regress-non-slides.pdf|(PDF, 0,7 MБ)]] {{важно|— обновление 17.10.2020}}.
Презентация: [[Media:Voron-ML-regress-non-slides.pdf|(PDF, 0,7 MБ)]] {{важно|— обновление 17.10.2020}}.
-
Видеозапись: [https://youtu.be/A_jzq0Lpgt0?list=PLk4h7dmY2eYHHTyfLyrl7HmP-H3mMAW08 Лекция] [https://youtu.be/WhQT3J1PJfI?list=PLk4h7dmY2eYHHTyfLyrl7HmP-H3mMAW08 Семинар]
+
Видеозапись: [https://youtu.be/A_jzq0Lpgt0 Лекция] [https://youtu.be/WhQT3J1PJfI Семинар]
* [[Метод Ньютона-Рафсона]], [[метод Ньютона-Гаусса]].
* [[Метод Ньютона-Рафсона]], [[метод Ньютона-Гаусса]].
* Обобщённая аддитивная модель (GAM): [[метод настройки с возвращениями]] (backfitting) Хасти-Тибширани.
* Обобщённая аддитивная модель (GAM): [[метод настройки с возвращениями]] (backfitting) Хасти-Тибширани.
Строка 164: Строка 164:
Текст лекций: [[Media:Voron-ML-Modeling.pdf|(PDF,&nbsp;330&nbsp;КБ)]].<br/>
Текст лекций: [[Media:Voron-ML-Modeling.pdf|(PDF,&nbsp;330&nbsp;КБ)]].<br/>
Презентация: [[Media:Voron-ML-Quality-slides.pdf|(PDF,&nbsp;1,5&nbsp;МБ)]] {{важно|— обновление 25.10.2020}}.
Презентация: [[Media:Voron-ML-Quality-slides.pdf|(PDF,&nbsp;1,5&nbsp;МБ)]] {{важно|— обновление 25.10.2020}}.
-
Видеозапись: [https://youtu.be/uT_H0SFIwbE?list=PLk4h7dmY2eYHHTyfLyrl7HmP-H3mMAW08 Лекция] [https://youtu.be/fdb_cmG6hl8?list=PLk4h7dmY2eYHHTyfLyrl7HmP-H3mMAW08 Семинар]
+
Видеозапись: [https://youtu.be/uT_H0SFIwbE Лекция] [https://youtu.be/fdb_cmG6hl8 Семинар]
* Критерии качества классификации: чувствительность и специфичность, ROC-кривая и AUC, точность и полнота, AUC-PR.
* Критерии качества классификации: чувствительность и специфичность, ROC-кривая и AUC, точность и полнота, AUC-PR.
* Внутренние и [[внешние критерии]]. Эмпирические и аналитические критерии.
* Внутренние и [[внешние критерии]]. Эмпирические и аналитические критерии.
Строка 188: Строка 188:
Текст лекций: [[Media:Voron-ML-Logic.pdf|(PDF,&nbsp;625&nbsp;КБ)]].<br/>
Текст лекций: [[Media:Voron-ML-Logic.pdf|(PDF,&nbsp;625&nbsp;КБ)]].<br/>
Презентация: [[Media:Voron-ML-Logic-slides.pdf|(PDF,&nbsp;1.8&nbsp;МБ)]] {{важно| — обновление 20.10.2020}}.
Презентация: [[Media:Voron-ML-Logic-slides.pdf|(PDF,&nbsp;1.8&nbsp;МБ)]] {{важно| — обновление 20.10.2020}}.
-
Видеозапись: [https://youtu.be/OP2rsn478Fk?list=PLk4h7dmY2eYHHTyfLyrl7HmP-H3mMAW08 Лекция] [https://youtu.be/Ap55F1IoTfk?list=PLk4h7dmY2eYHHTyfLyrl7HmP-H3mMAW08 Семинар]
+
Видеозапись: [https://youtu.be/OP2rsn478Fk Лекция] [https://youtu.be/Ap55F1IoTfk Семинар]
* Понятие [[логическая закономерность|логической закономерности]].
* Понятие [[логическая закономерность|логической закономерности]].
* Параметрические семейства закономерностей: конъюнкции пороговых правил, синдромные правила, шары, гиперплоскости.
* Параметрические семейства закономерностей: конъюнкции пороговых правил, синдромные правила, шары, гиперплоскости.
Строка 208: Строка 208:
== Поиск ассоциативных правил ==
== Поиск ассоциативных правил ==
Презентация: [[Media:Voron-ML-AssocRules-slides.pdf|(PDF,&nbsp;1.3&nbsp;МБ)]] {{важно| — обновление 7.11.2020}}.
Презентация: [[Media:Voron-ML-AssocRules-slides.pdf|(PDF,&nbsp;1.3&nbsp;МБ)]] {{важно| — обновление 7.11.2020}}.
-
Видеозапись: [https://youtu.be/jKl2jFQVh94?list=PLk4h7dmY2eYHHTyfLyrl7HmP-H3mMAW08 Лекция] [https://youtu.be/WmJKfCl9P7Y?list=PLk4h7dmY2eYHHTyfLyrl7HmP-H3mMAW08 Семинар]
+
Видеозапись: [https://youtu.be/jKl2jFQVh94 Лекция] [https://youtu.be/WmJKfCl9P7Y Семинар]
* Понятие [[Ассоциативное правило|ассоциативного правила]] и его связь с понятием логической закономерности.
* Понятие [[Ассоциативное правило|ассоциативного правила]] и его связь с понятием логической закономерности.
* Примеры прикладных задач: [[анализ рыночных корзин]], выделение терминов и тематики текстов.
* Примеры прикладных задач: [[анализ рыночных корзин]], выделение терминов и тематики текстов.
Строка 218: Строка 218:
Текст лекций: [[Media:Voron-ML-Compositions.pdf|(PDF,&nbsp;1&nbsp;MБ)]].<br/>
Текст лекций: [[Media:Voron-ML-Compositions.pdf|(PDF,&nbsp;1&nbsp;MБ)]].<br/>
Презентация: [[Media:Voron-ML-Compositions1-slides.pdf|(PDF,&nbsp;1.0&nbsp;МБ)]] {{важно|— обновление 14.11.2020}}.
Презентация: [[Media:Voron-ML-Compositions1-slides.pdf|(PDF,&nbsp;1.0&nbsp;МБ)]] {{важно|— обновление 14.11.2020}}.
-
Видеозапись: [https://youtu.be/-wa43XNJfVI?list=PLk4h7dmY2eYHHTyfLyrl7HmP-H3mMAW08 Лекция] [https://youtu.be/ZS82juA9098?list=PLk4h7dmY2eYHHTyfLyrl7HmP-H3mMAW08 Семинар]
+
Видеозапись: [https://youtu.be/-wa43XNJfVI Лекция] [https://youtu.be/ZS82juA9098 Семинар]
* Основные понятия: [[базовый алгоритм]], [[корректирующая операция]].
* Основные понятия: [[базовый алгоритм]], [[корректирующая операция]].
* [[Простое голосование]] (комитет большинства).
* [[Простое голосование]] (комитет большинства).
Строка 232: Строка 232:
== Продвинутые методы ансамблирования ==
== Продвинутые методы ансамблирования ==
Презентация: [[Media:Voron-ML-Compositions-slides2.pdf|(PDF,&nbsp;1.2&nbsp;МБ)]] {{важно|— обновление 22.11.2020}}.
Презентация: [[Media:Voron-ML-Compositions-slides2.pdf|(PDF,&nbsp;1.2&nbsp;МБ)]] {{важно|— обновление 22.11.2020}}.
-
Видеозапись: [https://youtu.be/KRURAkRMo4k?list=PLk4h7dmY2eYHHTyfLyrl7HmP-H3mMAW08 Лекция] [https://youtu.be/JaxB8PdbeUw?list=PLk4h7dmY2eYHHTyfLyrl7HmP-H3mMAW08 Семинар]
+
Видеозапись: [https://youtu.be/KRURAkRMo4k Лекция] [https://youtu.be/JaxB8PdbeUw Семинар]
* Виды ансамблей. Теоретические обоснования. Анализ смещения и разброса для простого голосования.
* Виды ансамблей. Теоретические обоснования. Анализ смещения и разброса для простого голосования.
* [[Градиентный бустинг]]. Стохастический градиентный бустинг.
* [[Градиентный бустинг]]. Стохастический градиентный бустинг.
Строка 273: Строка 273:
== Оценивание плотности и байесовская классификация ==
== Оценивание плотности и байесовская классификация ==
Презентация: [[Media:Voron-ML-BTC-EM-slides.pdf|(PDF,&nbsp;1,6&nbsp;МБ)]] {{важно|— обновление 6.12.2020}}.
Презентация: [[Media:Voron-ML-BTC-EM-slides.pdf|(PDF,&nbsp;1,6&nbsp;МБ)]] {{важно|— обновление 6.12.2020}}.
-
Видеозапись: [https://youtu.be/hv3a_XOKUXk?list=PLk4h7dmY2eYHHTyfLyrl7HmP-H3mMAW08 Лекция] [https://youtu.be/M8A0Wu5iPwQ?list=PLk4h7dmY2eYHHTyfLyrl7HmP-H3mMAW08 Семинар]
+
Видеозапись: [https://youtu.be/hv3a_XOKUXk Лекция] [https://youtu.be/M8A0Wu5iPwQ Семинар]
* Параметрическое оценивание плотности. [[Многомерное нормальное распределение]], геометрическая интерпретация. Выборочные оценки параметров многомерного нормального распределения. Проблемы [[мультиколлинеарность|мультиколлинеарности]] и [[переобучение|переобучения]]. [[Регуляризация]] ковариационной матрицы.
* Параметрическое оценивание плотности. [[Многомерное нормальное распределение]], геометрическая интерпретация. Выборочные оценки параметров многомерного нормального распределения. Проблемы [[мультиколлинеарность|мультиколлинеарности]] и [[переобучение|переобучения]]. [[Регуляризация]] ковариационной матрицы.
* Непараметрическое оценивание плотности. [[Ядерная оценка плотности Парзена-Розенблатта]]. Одномерный и многомерный случаи.
* Непараметрическое оценивание плотности. [[Ядерная оценка плотности Парзена-Розенблатта]]. Одномерный и многомерный случаи.
Строка 297: Строка 297:
== Кластеризация и частичное обучение ==
== Кластеризация и частичное обучение ==
Презентация: [[Media:Voron-ML-Clustering-SSL-slides.pdf|(PDF,&nbsp;1,6&nbsp;МБ)]] {{важно|— обновление 5.12.2020}}.
Презентация: [[Media:Voron-ML-Clustering-SSL-slides.pdf|(PDF,&nbsp;1,6&nbsp;МБ)]] {{важно|— обновление 5.12.2020}}.
-
Видеозапись: [https://youtu.be/VxedxFC5d2I?list=PLk4h7dmY2eYHHTyfLyrl7HmP-H3mMAW08 Лекция] [https://youtu.be/pobOLM1MVfc?list=PLk4h7dmY2eYHHTyfLyrl7HmP-H3mMAW08 Семинар]
+
Видеозапись: [https://youtu.be/VxedxFC5d2I Лекция] [https://youtu.be/pobOLM1MVfc Семинар]
* Постановка задачи [[кластеризация|кластеризации]]. Примеры прикладных задач. Типы кластерных структур.
* Постановка задачи [[кластеризация|кластеризации]]. Примеры прикладных задач. Типы кластерных структур.
* Постановка задачи Semisupervised Learning, примеры приложений.
* Постановка задачи Semisupervised Learning, примеры приложений.

Версия 16:42, 21 января 2021

Содержание

Теория обучения машин (machine learning, машинное обучение) находится на стыке прикладной статистики, численных методов оптимизации, дискретного анализа, и за последние 60 лет оформилась в самостоятельную математическую дисциплину. Методы машинного обучения составляют основу ещё более молодой дисциплины — интеллектуального анализа данных (data mining).

В курсе рассматриваются основные задачи обучения по прецедентам: классификация, кластеризация, регрессия, понижение размерности. Изучаются методы их решения, как классические, так и новые, созданные за последние 10–15 лет. Упор делается на глубокое понимание математических основ, взаимосвязей, достоинств и ограничений рассматриваемых методов. Теоремы в основном приводятся без доказательств.

Все методы излагаются по единой схеме:

  • исходные идеи и эвристики;
  • их формализация и математическая теория;
  • описание алгоритма в виде слабо формализованного псевдокода;
  • анализ достоинств, недостатков и границ применимости;
  • пути устранения недостатков;
  • сравнение и взаимосвязи с другими методами.
  • примеры прикладных задач.

Данный курс расширяет и углубляет набор тем, рекомендованный международным стандартом ACM/IEEE Computing Curricula 2001 по дисциплине «Машинное обучение и нейронные сети» (machine learning and neural networks) в разделе «Интеллектуальные системы» (intelligent systems).

Курс читается

От студентов требуются знания курсов линейной алгебры, математического анализа, теории вероятностей. Знание математической статистики, методов оптимизации и языка программирования Python желательно, но не обязательно.

Курсивом выделен дополнительный материал, который может разбираться на семинарах.

Замечания для студентов

Семестр 1. Математические основы машинного обучения

Текст лекций: (PDF, 3 МБ) — обновление 4.10.2011.

Основные понятия и примеры прикладных задач

Презентация: (PDF, 1,4 МБ) — обновление 05.09.2020. Видеозапись: Лекция Семинар

Линейный классификатор и стохастический градиент

Презентация: (PDF, 1,1 МБ) — обновление 12.09.2020. Видеозапись: Лекция Семинар

Нейронные сети: градиентные методы оптимизации

Презентация: (PDF, 1,4 МБ) — обновление 19.09.2020. Видеозапись: Лекция Семинар

Метрические методы классификации и регрессии

Презентация: (PDF, 3,2 МБ) — обновление 05.03.2020. Видеозапись: Лекция Семинар

Метод опорных векторов

Презентация: (PDF, 1,1 МБ) — обновление 24.03.2020. Видеозапись: Лекция Семинар

  • Оптимальная разделяющая гиперплоскость. Понятие зазора между классами (margin).
  • Случаи линейной разделимости и отсутствия линейной разделимости. Связь с минимизацией регуляризованного эмпирического риска. Кусочно-линейная функция потерь.
  • Задача квадратичного программирования и двойственная задача. Понятие опорных векторов.
  • Рекомендации по выбору константы C.
  • Функция ядра (kernel functions), спрямляющее пространство, теорема Мерсера.
  • Способы конструктивного построения ядер. Примеры ядер.
  • SVM-регрессия.
  • Регуляризации для отбора признаков: LASSO SVM, Elastic Net SVM, SFM, RFM.
  • Метод релевантных векторов RVM

Многомерная линейная регрессия

Презентация: (PDF, 1,2 MБ) — обновление 10.10.2020. Видеозапись: Лекция Семинар

Нелинейная регрессия

Презентация: (PDF, 0,7 MБ) — обновление 17.10.2020. Видеозапись: Лекция Семинар

Критерии выбора моделей и методы отбора признаков

Текст лекций: (PDF, 330 КБ).
Презентация: (PDF, 1,5 МБ) — обновление 25.10.2020. Видеозапись: Лекция Семинар

Логические методы классификации

Текст лекций: (PDF, 625 КБ).
Презентация: (PDF, 1.8 МБ) — обновление 20.10.2020. Видеозапись: Лекция Семинар

Факультатив

  • Асимптотическая эквивалентность статистического и энтропийного критерия информативности.

Поиск ассоциативных правил

Презентация: (PDF, 1.3 МБ) — обновление 7.11.2020. Видеозапись: Лекция Семинар

  • Понятие ассоциативного правила и его связь с понятием логической закономерности.
  • Примеры прикладных задач: анализ рыночных корзин, выделение терминов и тематики текстов.
  • Алгоритм APriori. Два этапа: поиск частых наборов и рекурсивное порождение ассоциативных правил. Недостатки и пути усовершенствования алгоритма APriori.
  • Алгоритм FP-growth. Понятия FP-дерева и условного FP-дерева. Два этапа поиска частых наборов в FP-growth: построение FP-дерева и рекурсивное порождение частых наборов.
  • Общее представление о динамических и иерархических методах поиска ассоциативных правил.

Линейные ансамбли

Текст лекций: (PDF, 1 MБ).
Презентация: (PDF, 1.0 МБ) — обновление 14.11.2020. Видеозапись: Лекция Семинар

Продвинутые методы ансамблирования

Презентация: (PDF, 1.2 МБ) — обновление 22.11.2020. Видеозапись: Лекция Семинар

Оценивание плотности и байесовская классификация

Презентация: (PDF, 1,6 МБ) — обновление 6.12.2020. Видеозапись: Лекция Семинар

Кластеризация и частичное обучение

Презентация: (PDF, 1,6 МБ) — обновление 5.12.2020. Видеозапись: Лекция Семинар

  • Постановка задачи кластеризации. Примеры прикладных задач. Типы кластерных структур.
  • Постановка задачи Semisupervised Learning, примеры приложений.
  • Оптимизационные постановки задач кластеризации и частичного обучения.
  • Алгоритм k-средних и ЕМ-алгоритм для разделения гауссовской смеси.
  • Алгоритм DBSCAN.
  • Агломеративная кластеризация, Алгоритм Ланса-Вильямса и его частные случаи.
  • Алгоритм построения дендрограммы. Определение числа кластеров.
  • Свойства сжатия/растяжения и монотонности.
  • Простые эвристические методы частичного обучения: self-training, co-training, co-learning.
  • Трансдуктивный метод опорных векторов TSVM.
  • Алгоритм Expectation-Regularization на основе многоклассовой регуляризированной логистической регрессии.

Семестр 2. Прикладные модели машинного обучения

Нейронные сети глубокого обучения

Презентация: (PDF, 3,9 МБ) — обновление 05.01.2021.

  • Свёрточные нейронные сети (CNN) для изображений. Свёрточный нейрон. Pooling нейрон. Выборка размеченных изображений ImageNet.
  • Свёрточные сети для сигналов, текстов, графов, игр.
  • Рекуррентные нейронные сети (RNN). Обучение рекуррентных сетей: Backpropagation Through Time (BPTT).
  • Сети долгой кратковременной памяти (Long short-term memory, LSTM).
  • Рекуррентная сеть Gated Recurrent Unit (GRU).
  • Векторные представления дискретных данных.
  • Перенос обучения (transfer learning).
  • Самообучение (self-supervised learning).
  • Генеративные состязательные сети (GAN, generative adversarial net).

Нейронные сети с обучением без учителя

Презентация: (PDF, 2,3 МБ) — обновление 03.10.2020.

Векторные представления текстов и графов

Презентация: (PDF, 1,3 МБ) — обновление 14.10.2020.

  • Векторные представления текста. Гипотеза дистрибутивной семантики.
  • Модели word2vec, FastText.
  • Векторные представления графов.
  • Многомерное шкалирование.
  • Модели случайных блужданий DeepWalk, node2vec.
  • Обобщённый автокодировщик на графах GraphEDM.
  • Векторные представления гиперграфов.
  • Тематические модели транзакционных данных. EM-алгоритм для тематической модели гиперграфа.
  • Примеры транзакционных моделей на гиперграфах.

Модели внимания и трансформеры

Презентация: (PDF, 1,1 МБ) — обновление 7.11.2020.

  • Задачи обработки последовательностей.
  • Рекуррентная сеть с моделью внимания. Разновидности моделей внимания.
  • Критерии обучения и оценивание качества (предобучение).
  • Прикладные задачи: машинный перевод, аннотирование изображений (эквивалентность MHSA и CNN).
  • Модели внимания на графах.
  • Трансформеры для текстов, изображений, графов.

Тематическое моделирование

Презентация: (PDF, 7.1 МБ), Семинар: (PDF, 3.8 МБ) — обновление 15.11.2020.

Обучение ранжированию

Презентация: (PDF, 0,8 МБ) — обновление 3.11.2020.

  • Постановка задачи обучения ранжированию. Примеры.
  • Поточечные методы Ранговая регрессия. Ранговая классификация, OC-SVM.
  • Попарные методы: RankingSVM, RankNet, LambdaRank.
  • Списочные методы.
  • Признаки в задаче ранжирования поисковой выдачи: текстовые, ссылочные, кликовые. TF-IDF, Okapi BM25, PageRank.
  • Критерии качества ранжирования: Precision, MAP, AUC, DCG, NDCG, pFound.
  • Глубокая структурированная семантическая модель DSSM (Deep Structured Semantic Model).

Рекомендательные системы

Презентация: (PDF, 0.8 МБ) — обновление 11.11.2020.

  • Задачи коллаборативной фильтрации, транзакционные данные.
  • Корреляционные методы user-based, item-based. Задача восстановления пропущенных значений. Меры сходства.
  • Разреженная линейная модель (Sparse LInear Method, SLIM).
  • Латентные методы на основе матричных разложений. Метод главных компонент для разреженных данных (LFM, Latent Factor Model). Метод стохастического градиента.
  • Неотрицательные матричные разложения NNMF. Метод чередующихся наименьших квадратов ALS. Вероятностный латентный семантический анализ PLSA.
  • Модель с учётом неявной информации (implicit feedback).
  • Автокодировщики для коллаборативной фильтрации.
  • Учёт дополнительных признаковых данных в матричных разложениях и автокодировщиках.
  • Линейная и квадратичная регрессионные модели, libFM.
  • Гиперграфовая транзакционная тематическая модель для учёта дополнительных данных.
  • Измерение качества рекомендаций. Меры разнообразия (diversity), новизны (novelty), покрытия (coverage), догадливости (serendipity).

Прогнозирование временных рядов

Презентация: (PDF, 0,9 MБ) — обновление 14.12.2019.

Инкрементное и онлайновое обучение

Презентация: (PDF, 0,9 MБ) — обновление 02.12.2020.

  • Задачи инкрементного и онлайнового обучения. Оценивание инкрементного обучения. Кривые обучения.
  • Ленивое обучение (метрические и непараметрические методы). Онлайновый отбор эталонных объектов.
  • Онлайновый наивный байесовский классификатор.
  • Онлайновый градиентный спуск OGD. Алгоритм Perceptron. Алгоритм Passive-Aggressive.
  • Рекуррентный метод наименьших квадратов RLS.
  • Инкрементные решающие деревья ID5R.
  • Онлайновое обучение ансамбля. Алгоритм Hedge, его свойства и интерпретация в задаче портфельного инвестирования.
  • Онлайновое глубокое обучение. Алгоритм Hedge BackProp.
  • Онлайновое обучение новым классам. Проблема катастрофического забывания. Алгоритм iCaRL.

Обучение с подкреплением

Презентация: (PDF, 1.9 МБ) — обновление 18.11.2020.

  • Задача о многоруком бандите. Жадные и эпсилон-жадные стратегии. Метод UCB (upper confidence bound).
  • Адаптивные стратегии на основе скользящих средних. Метод сравнения с подкреплением. Метод преследования.
  • Постановка задачи в случае, когда агент влияет на среду. Ценность состояния среды. Ценность действия.
  • Жадные стратегии максимизации ценности. Уравнения оптимальности Беллмана.
  • Метод SARSA. Метод Q-обучения. Типизация методов на on-policy и off-policy.
  • Глубокое Q-обучение нейронной сети DQN на примере обучения играм Atari.
  • Градиентная оптимизация стратегии (policy gradient). Связь с максимизацией log-правдоподобия.
  • Постановка задачи при моделировании среды. Типизация методов на model-free и model-based.
  • Контекстный многорукий бандит. Линейная регрессионная модель с верхней доверительной оценкой LinUCB.
  • Оценивание новой стратегии по большим историческим данным, сформированным при старых стратегиях.

Активное обучение

Презентация: (PDF, 1.2 МБ) — обновление 24.11.2020.

  • Постановка задачи машинного обучения. Основные стратегии: отбор объектов из выборки и из потока, синтез объектов. Приложения активного обучения.
  • Почему активное обучение быстрее пассивного. Оценивание качества активного обучения. Кривые обучения.
  • Сэмплирование по неуверенности.
  • Сэмплирование по несогласию в комитете. Сокращение пространства решений.
  • Сэмплирование по ожидаемому изменению модели.
  • Сэмплирование по ожидаемому сокращению ошибки.
  • Синтез объектов методами безградиентной оптимизации. Метод Нелдера-Мида.
  • Синтез объектов по критерию сокращения дисперсии.
  • Взвешивание по плотности.
  • Введение изучающих действий в стратегию активного обучении. Алгоритмы ε-active и EG-active.
  • Использование активного обучения в краудсорсинге. Согласование оценок аннотаторов. Назначение заданий аннотаторам.

Заключительная лекция

Презентация: (PDF, 2.0 МБ) — обновление 14.12.2019.

Обзор курса. Оптимизационные задачи машинного обучения.

См. также

Литература

  1. Hastie T., Tibshirani R., Friedman J. The Elements of Statistical Learning. Springer, 2014. — 739 p.
  2. Bishop C. M. Pattern Recognition and Machine Learning. — Springer, 2006. — 738 p.
  3. Мерков А. Б. Распознавание образов. Введение в методы статистического обучения. 2011. 256 с.
  4. Мерков А. Б. Распознавание образов. Построение и обучение вероятностных моделей. 2014. 238 с.
  5. Коэльо Л.П., Ричарт В. Построение систем машинного обучения на языке Python. 2016. 302 с.

Список подстраниц

Машинное обучение (курс лекций, К.В.Воронцов)/2009Машинное обучение (курс лекций, К.В.Воронцов)/ToDoМашинное обучение (курс лекций, К.В.Воронцов)/Вопросы
Машинное обучение (курс лекций, К.В.Воронцов)/Семестровый курсМашинное обучение (курс лекций, К.В.Воронцов)/Форма отчета
Личные инструменты