Машинное обучение (курс лекций, К.В.Воронцов)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Рекомендательные системы)
Строка 300: Строка 300:
Презентация: [[Media:Voron-ML-Clustering-SSL-slides.pdf|(PDF, 1,6 МБ)]] {{важно|— обновление 5.12.2020}}.
Презентация: [[Media:Voron-ML-Clustering-SSL-slides.pdf|(PDF, 1,6 МБ)]] {{важно|— обновление 5.12.2020}}.
Видеозапись: [https://youtu.be/VxedxFC5d2I Лекция] [https://youtu.be/pobOLM1MVfc Семинар]
Видеозапись: [https://youtu.be/VxedxFC5d2I Лекция] [https://youtu.be/pobOLM1MVfc Семинар]
 +
* Постановка задачи [[кластеризация|кластеризации]]. Примеры прикладных задач. Типы кластерных структур.
* Постановка задачи [[кластеризация|кластеризации]]. Примеры прикладных задач. Типы кластерных структур.
* Постановка задачи Semisupervised Learning, примеры приложений.
* Постановка задачи Semisupervised Learning, примеры приложений.
Строка 327: Строка 328:
== Нейронные сети глубокого обучения ==
== Нейронные сети глубокого обучения ==
Презентация: [[Media:Voron-ML-DeepLearning-slides.pdf|(PDF, 3,9 МБ)]] {{важно|— обновление 19.02.2021}}.
Презентация: [[Media:Voron-ML-DeepLearning-slides.pdf|(PDF, 3,9 МБ)]] {{важно|— обновление 19.02.2021}}.
 +
Видеозапись: [https://youtu.be/x3TKdZi7Mo4 Лекция] [https://youtu.be/_zhKsIze8QU Семинар]
* Обоснования глубоких нейронных сетей: выразительные возможности, скорость сходимости при избыточной параметризации.
* Обоснования глубоких нейронных сетей: выразительные возможности, скорость сходимости при избыточной параметризации.
Строка 338: Строка 340:
== Нейронные сети с обучением без учителя ==
== Нейронные сети с обучением без учителя ==
Презентация: [[Media:Voron-ML-ANN-Unsupervised-slides.pdf|(PDF, 2,7 МБ)]] {{важно|— обновление 19.02.2021}}.
Презентация: [[Media:Voron-ML-ANN-Unsupervised-slides.pdf|(PDF, 2,7 МБ)]] {{важно|— обновление 19.02.2021}}.
 +
Видеозапись: [https://youtu.be/wfbe2yaXAkI Лекция] [https://youtu.be/wCX-8AiYYzk Семинар]
* [[Нейронная сеть Кохонена]]. [[Конкурентное обучение]], стратегии WTA и WTM.
* [[Нейронная сеть Кохонена]]. [[Конкурентное обучение]], стратегии WTA и WTM.
Строка 352: Строка 355:
== Векторные представления текстов и графов ==
== Векторные представления текстов и графов ==
Презентация: [[Media:Voron-ML-Embeddings-slides.pdf|(PDF, 1,0 МБ)]] {{важно|— обновление 19.02.2021}}.
Презентация: [[Media:Voron-ML-Embeddings-slides.pdf|(PDF, 1,0 МБ)]] {{важно|— обновление 19.02.2021}}.
 +
Видеозапись: [https://youtu.be/QJK8PRfKD2g Лекция] [https://youtu.be/NtS9Dp4XhGE Семинар]
* Векторные представления текста. Гипотеза дистрибутивной семантики.
* Векторные представления текста. Гипотеза дистрибутивной семантики.
Строка 366: Строка 370:
== Модели внимания и трансформеры ==
== Модели внимания и трансформеры ==
Презентация: [[Media:Voron-ML-Attention-slides.pdf|(PDF, 1,1 МБ)]] {{важно|— обновление 02.03.2021}}.
Презентация: [[Media:Voron-ML-Attention-slides.pdf|(PDF, 1,1 МБ)]] {{важно|— обновление 02.03.2021}}.
 +
Видеозапись: [https://youtu.be/KhMweP00S44 Лекция] [https://youtu.be/GfUadGOcwtc Семинар]
 +
* Задачи обработки и преобразования последовательностей (sequence to sequence).
* Задачи обработки и преобразования последовательностей (sequence to sequence).
* Рекуррентная сеть с моделью внимания.
* Рекуррентная сеть с моделью внимания.
Строка 384: Строка 390:
--->
--->
Презентация: [[Media:Voron-ML-TopicModeling-slides.pdf|(PDF, 6.3 МБ)]] {{важно| — обновление 05.03.2021}}.
Презентация: [[Media:Voron-ML-TopicModeling-slides.pdf|(PDF, 6.3 МБ)]] {{важно| — обновление 05.03.2021}}.
 +
Видеозапись: [https://youtu.be/Eqm8-YqUzAc Лекция] [https://youtu.be/xxwMuxM4AEg Семинар]
 +
* Задача [[тематическое моделирование|тематического моделирования]] коллекции текстовых документов. [[Метод максимума правдоподобия]].
* Задача [[тематическое моделирование|тематического моделирования]] коллекции текстовых документов. [[Метод максимума правдоподобия]].
* Лемма о максимизации гладкой функции на симплексах (применение условий Каруша–Куна–Таккера).
* Лемма о максимизации гладкой функции на симплексах (применение условий Каруша–Куна–Таккера).
Строка 397: Строка 405:
== Обучение ранжированию ==
== Обучение ранжированию ==
Презентация: [[Media:Voron-ML-Ranking-slides.pdf|(PDF, 0,8 МБ)]] {{важно|— обновление 11.04.2021}}.
Презентация: [[Media:Voron-ML-Ranking-slides.pdf|(PDF, 0,8 МБ)]] {{важно|— обновление 11.04.2021}}.
 +
Видеозапись: [https://youtu.be/kQ5PeshAO1w Лекция] [https://youtu.be/cN5WoTRJYtY Семинар]
 +
* Постановка задачи [[Обучение ранжированию|обучения ранжированию]]. Примеры.
* Постановка задачи [[Обучение ранжированию|обучения ранжированию]]. Примеры.
* Поточечные методы Ранговая регрессия. Ранговая классификация, OC-SVM.
* Поточечные методы Ранговая регрессия. Ранговая классификация, OC-SVM.
Строка 407: Строка 417:
== Рекомендательные системы ==
== Рекомендательные системы ==
Презентация: [[Media:Voron-ML-CF.pdf|(PDF, 0.8 МБ)]] {{важно| — обновление 11.04.2021}}.
Презентация: [[Media:Voron-ML-CF.pdf|(PDF, 0.8 МБ)]] {{важно| — обновление 11.04.2021}}.
 +
Видеозапись: [https://youtu.be/FW5UdtMwlpw Лекция] [https://youtu.be/Rge1_Bnr8JI Семинар]
 +
* Задачи [[коллаборативная фильтрация|коллаборативной фильтрации]], [[транзакционные данные]].
* Задачи [[коллаборативная фильтрация|коллаборативной фильтрации]], [[транзакционные данные]].
* Корреляционные методы user-based, item-based. Задача восстановления пропущенных значений. Меры сходства.
* Корреляционные методы user-based, item-based. Задача восстановления пропущенных значений. Меры сходства.
Строка 421: Строка 433:
== Адаптивные методы прогнозирования ==
== Адаптивные методы прогнозирования ==
Презентация: [[Media:Voron-ML-forecasting-slides.pdf|(PDF, 0,9 MБ)]] {{важно|— обновление 14.12.2019}}.
Презентация: [[Media:Voron-ML-forecasting-slides.pdf|(PDF, 0,9 MБ)]] {{важно|— обновление 14.12.2019}}.
 +
Видеозапись: [https://youtu.be/HyWm8FKzyPw Лекция] [https://youtu.be/hxKdtWVqEhg Семинар]
 +
* Задача прогнозирования временных рядов. Примеры приложений.
* Задача прогнозирования временных рядов. Примеры приложений.
* [[Экспоненциальное сглаживание|Экспоненциальное скользящее среднее]]. [[Модель Хольта]]. [[Модель Тейла-Вейджа]]. [[Модель Хольта-Уинтерса]].
* [[Экспоненциальное сглаживание|Экспоненциальное скользящее среднее]]. [[Модель Хольта]]. [[Модель Тейла-Вейджа]]. [[Модель Хольта-Уинтерса]].
Строка 430: Строка 444:
== Инкрементное и онлайновое обучение ==
== Инкрементное и онлайновое обучение ==
Презентация: [[Media:Voron-ML-incremental-slides.pdf|(PDF, 0,9 MБ)]] {{важно|— обновление 02.12.2020}}.
Презентация: [[Media:Voron-ML-incremental-slides.pdf|(PDF, 0,9 MБ)]] {{важно|— обновление 02.12.2020}}.
 +
Видеозапись: [ Лекция] [ Семинар]
 +
* Задачи инкрементного и онлайнового обучения. Оценивание инкрементного обучения. Кривые обучения.
* Задачи инкрементного и онлайнового обучения. Оценивание инкрементного обучения. Кривые обучения.
* Ленивое обучение (метрические и непараметрические методы). Онлайновый отбор эталонных объектов.
* Ленивое обучение (метрические и непараметрические методы). Онлайновый отбор эталонных объектов.
Строка 442: Строка 458:
== Обучение с подкреплением ==
== Обучение с подкреплением ==
Презентация: [[Media:Voron-ML-RL-slides.pdf|(PDF, 1.9 МБ)]] {{важно| — обновление 18.11.2020}}.
Презентация: [[Media:Voron-ML-RL-slides.pdf|(PDF, 1.9 МБ)]] {{важно| — обновление 18.11.2020}}.
 +
* Задача о многоруком бандите. Жадные и эпсилон-жадные стратегии. Метод UCB (upper confidence bound).
* Задача о многоруком бандите. Жадные и эпсилон-жадные стратегии. Метод UCB (upper confidence bound).
* Адаптивные стратегии на основе скользящих средних. Метод сравнения с подкреплением. Метод преследования.
* Адаптивные стратегии на основе скользящих средних. Метод сравнения с подкреплением. Метод преследования.
Строка 457: Строка 474:
== Активное обучение ==
== Активное обучение ==
Презентация: [[Media:Voron-ML-AL-slides.pdf|(PDF, 1.2 МБ)]] {{важно| — обновление 24.11.2020}}.
Презентация: [[Media:Voron-ML-AL-slides.pdf|(PDF, 1.2 МБ)]] {{важно| — обновление 24.11.2020}}.
 +
* Постановка задачи машинного обучения. Основные стратегии: отбор объектов из выборки и из потока, синтез объектов. Приложения активного обучения.
* Постановка задачи машинного обучения. Основные стратегии: отбор объектов из выборки и из потока, синтез объектов. Приложения активного обучения.
* Почему активное обучение быстрее пассивного. Оценивание качества активного обучения. Кривые обучения.
* Почему активное обучение быстрее пассивного. Оценивание качества активного обучения. Кривые обучения.

Версия 00:41, 11 апреля 2021

Содержание

Теория обучения машин (machine learning, машинное обучение) находится на стыке прикладной статистики, численных методов оптимизации, дискретного анализа, и за последние 60 лет оформилась в самостоятельную математическую дисциплину. Методы машинного обучения составляют основу ещё более молодой дисциплины — интеллектуального анализа данных (data mining).

В курсе рассматриваются основные задачи обучения по прецедентам: классификация, кластеризация, регрессия, понижение размерности. Изучаются методы их решения, как классические, так и новые, созданные за последние 10–15 лет. Упор делается на глубокое понимание математических основ, взаимосвязей, достоинств и ограничений рассматриваемых методов. Теоремы в основном приводятся без доказательств.

Все методы излагаются по единой схеме:

  • исходные идеи и эвристики;
  • их формализация и математическая теория;
  • описание алгоритма в виде слабо формализованного псевдокода;
  • анализ достоинств, недостатков и границ применимости;
  • пути устранения недостатков;
  • сравнение и взаимосвязи с другими методами.
  • примеры прикладных задач.

Данный курс расширяет и углубляет набор тем, рекомендованный международным стандартом ACM/IEEE Computing Curricula 2001 по дисциплине «Машинное обучение и нейронные сети» (machine learning and neural networks) в разделе «Интеллектуальные системы» (intelligent systems).

Курс читается

От студентов требуются знания курсов линейной алгебры, математического анализа, теории вероятностей. Знание математической статистики, методов оптимизации и языка программирования Python желательно, но не обязательно.

Курсивом выделен дополнительный материал, который может разбираться на семинарах.

Замечания для студентов

Семестр 1. Математические основы машинного обучения

Текст лекций: (PDF, 3 МБ) — обновление 4.10.2011.

Основные понятия и примеры прикладных задач

Презентация: (PDF, 1,4 МБ) — обновление 05.09.2020. Видеозапись: Лекция Семинар

Линейный классификатор и стохастический градиент

Презентация: (PDF, 1,1 МБ) — обновление 12.09.2020. Видеозапись: Лекция Семинар

Нейронные сети: градиентные методы оптимизации

Презентация: (PDF, 1,4 МБ) — обновление 19.09.2020. Видеозапись: Лекция Семинар

Метрические методы классификации и регрессии

Презентация: (PDF, 3,2 МБ) — обновление 04.03.2021. Видеозапись: Лекция Семинар

Метод опорных векторов

Презентация: (PDF, 1,1 МБ) — обновление 24.03.2020. Видеозапись: Лекция Семинар

  • Оптимальная разделяющая гиперплоскость. Понятие зазора между классами (margin).
  • Случаи линейной разделимости и отсутствия линейной разделимости. Связь с минимизацией регуляризованного эмпирического риска. Кусочно-линейная функция потерь.
  • Задача квадратичного программирования и двойственная задача. Понятие опорных векторов.
  • Рекомендации по выбору константы C.
  • Функция ядра (kernel functions), спрямляющее пространство, теорема Мерсера.
  • Способы конструктивного построения ядер. Примеры ядер.
  • SVM-регрессия.
  • Регуляризации для отбора признаков: LASSO SVM, Elastic Net SVM, SFM, RFM.
  • Метод релевантных векторов RVM

Многомерная линейная регрессия

Презентация: (PDF, 1,2 MБ) — обновление 10.10.2020. Видеозапись: Лекция Семинар

Нелинейная регрессия

Презентация: (PDF, 0,7 MБ) — обновление 17.10.2020. Видеозапись: Лекция Семинар

Критерии выбора моделей и методы отбора признаков

Текст лекций: (PDF, 330 КБ).
Презентация: (PDF, 1,5 МБ) — обновление 25.10.2020. Видеозапись: Лекция Семинар

Логические методы классификации

Текст лекций: (PDF, 625 КБ).
Презентация: (PDF, 1.8 МБ) — обновление 20.10.2020. Видеозапись: Лекция Семинар

Факультатив

  • Асимптотическая эквивалентность статистического и энтропийного критерия информативности.

Поиск ассоциативных правил

Презентация: (PDF, 1.3 МБ) — обновление 7.11.2020. Видеозапись: Лекция Семинар

  • Понятие ассоциативного правила и его связь с понятием логической закономерности.
  • Примеры прикладных задач: анализ рыночных корзин, выделение терминов и тематики текстов.
  • Алгоритм APriori. Два этапа: поиск частых наборов и рекурсивное порождение ассоциативных правил. Недостатки и пути усовершенствования алгоритма APriori.
  • Алгоритм FP-growth. Понятия FP-дерева и условного FP-дерева. Два этапа поиска частых наборов в FP-growth: построение FP-дерева и рекурсивное порождение частых наборов.
  • Общее представление о динамических и иерархических методах поиска ассоциативных правил.

Линейные ансамбли

Текст лекций: (PDF, 1 MБ).
Презентация: (PDF, 1.0 МБ) — обновление 14.11.2020. Видеозапись: Лекция Семинар

Продвинутые методы ансамблирования

Презентация: (PDF, 1.2 МБ) — обновление 22.11.2020. Видеозапись: Лекция Семинар

Оценивание плотности и байесовская классификация

Презентация: (PDF, 1,6 МБ) — обновление 6.12.2020. Видеозапись: Лекция Семинар

Кластеризация и частичное обучение

Презентация: (PDF, 1,6 МБ) — обновление 5.12.2020. Видеозапись: Лекция Семинар

  • Постановка задачи кластеризации. Примеры прикладных задач. Типы кластерных структур.
  • Постановка задачи Semisupervised Learning, примеры приложений.
  • Оптимизационные постановки задач кластеризации и частичного обучения.
  • Алгоритм k-средних и ЕМ-алгоритм для разделения гауссовской смеси.
  • Алгоритм DBSCAN.
  • Агломеративная кластеризация, Алгоритм Ланса-Вильямса и его частные случаи.
  • Алгоритм построения дендрограммы. Определение числа кластеров.
  • Свойства сжатия/растяжения и монотонности.
  • Простые эвристические методы частичного обучения: self-training, co-training, co-learning.
  • Трансдуктивный метод опорных векторов TSVM.
  • Алгоритм Expectation-Regularization на основе многоклассовой регуляризированной логистической регрессии.

Семестр 2. Прикладные модели машинного обучения

Нейронные сети глубокого обучения

Презентация: (PDF, 3,9 МБ) — обновление 19.02.2021. Видеозапись: Лекция Семинар

  • Обоснования глубоких нейронных сетей: выразительные возможности, скорость сходимости при избыточной параметризации.
  • Свёрточные нейронные сети (CNN) для изображений. Свёрточный нейрон. Pooling нейрон. Выборка размеченных изображений ImageNet.
  • ResNet: остаточная нейронная сеть (residual NN). Сквозные связи между слоями (skip connection).
  • Свёрточные сети для сигналов, текстов, графов, игр.
  • Рекуррентные нейронные сети (RNN). Обучение рекуррентных сетей: Backpropagation Through Time (BPTT).
  • Сети долгой кратковременной памяти (Long short-term memory, LSTM).
  • Рекуррентные сети Gated Recurrent Unit (GRU) и Simple Recurrent Unit (SRU).

Нейронные сети с обучением без учителя

Презентация: (PDF, 2,7 МБ) — обновление 19.02.2021. Видеозапись: Лекция Семинар

  • Нейронная сеть Кохонена. Конкурентное обучение, стратегии WTA и WTM.
  • Самоорганизующаяся карта Кохонена. Применение для визуального анализа данных. Искусство интерпретации карт Кохонена.
  • Автокодировщик. Линейный AE, SAE, DAE, CAE, RAE, VAE, AE для классификации, многослойный AE.
  • Пред-обучение нейронных сетей (pre-training).
  • Перенос обучения (transfer learning).
  • Многозадачное обучение (multi-task learning).
  • Самостоятельное обучение (self-supervised learning).
  • Дистилляция моделей или суррогатное моделирование.
  • Обучение с использованием привилегированной информации (learning using priveleged information, LUPI).
  • Генеративные состязательные сети (generative adversarial net, GAN).

Векторные представления текстов и графов

Презентация: (PDF, 1,0 МБ) — обновление 19.02.2021. Видеозапись: Лекция Семинар

  • Векторные представления текста. Гипотеза дистрибутивной семантики.
  • Модели CBOW и SGNS из программы word2vec. Иерархический SoftMax.
  • Модель FastText.
  • Векторные представления графов.
  • Многомерное шкалирование (multidimensional scaling, MDS).
  • Векторное представление соседства (stochastic neighbor embedding, SNE и tSNE).
  • Матричные разложения (graph factorization).
  • Модели случайных блужданий DeepWalk, node2vec.
  • Обобщённый автокодировщик на графах GraphEDM.
  • Представление о графовых нейронных сетях (graph neural network, GNN). Передача сообщений по графу (message passing).

Модели внимания и трансформеры

Презентация: (PDF, 1,1 МБ) — обновление 02.03.2021. Видеозапись: Лекция Семинар

  • Задачи обработки и преобразования последовательностей (sequence to sequence).
  • Рекуррентная сеть с моделью внимания.
  • Разновидности моделей внимания: многомерное, иерархическое, Query–Key–Value, внутреннее (self-attention).
  • Модели внимания на графах (Graph Attention Network). Задача классификации вершин графа.
  • Трансформеры. Особенности архитектуры кодировщика и декодировщка.
  • Критерии обучения и оценивание качества (предобучение). Модель BERT.
  • Прикладные задачи: машинный перевод, аннотирование изображений.
  • Модели внимания и трансформеры для текстов, изображений, графов.

Тематическое моделирование

Презентация: (PDF, 6.3 МБ) — обновление 05.03.2021. Видеозапись: Лекция Семинар

Обучение ранжированию

Презентация: (PDF, 0,8 МБ) — обновление 11.04.2021. Видеозапись: Лекция Семинар

  • Постановка задачи обучения ранжированию. Примеры.
  • Поточечные методы Ранговая регрессия. Ранговая классификация, OC-SVM.
  • Попарные методы: RankingSVM, RankNet, LambdaRank.
  • Списочные методы.
  • Признаки в задаче ранжирования поисковой выдачи: текстовые, ссылочные, кликовые. TF-IDF, Okapi BM25, PageRank.
  • Критерии качества ранжирования: Precision, MAP, AUC, DCG, NDCG, pFound.
  • Глубокая структурированная семантическая модель DSSM (Deep Structured Semantic Model).

Рекомендательные системы

Презентация: (PDF, 0.8 МБ) — обновление 11.04.2021. Видеозапись: Лекция Семинар

  • Задачи коллаборативной фильтрации, транзакционные данные.
  • Корреляционные методы user-based, item-based. Задача восстановления пропущенных значений. Меры сходства.
  • Разреженная линейная модель (Sparse LInear Method, SLIM).
  • Латентные методы на основе матричных разложений. Метод главных компонент для разреженных данных (LFM, Latent Factor Model). Метод стохастического градиента.
  • Неотрицательные матричные разложения NNMF. Метод чередующихся наименьших квадратов ALS. Вероятностный латентный семантический анализ PLSA.
  • Модель с учётом неявной информации (implicit feedback).
  • Автокодировщики для коллаборативной фильтрации.
  • Учёт дополнительных признаковых данных в матричных разложениях и автокодировщиках.
  • Линейная и квадратичная регрессионные модели, libFM.
  • Гиперграфовая транзакционная тематическая модель для учёта дополнительных данных.
  • Измерение качества рекомендаций. Меры разнообразия (diversity), новизны (novelty), покрытия (coverage), догадливости (serendipity).

Адаптивные методы прогнозирования

Презентация: (PDF, 0,9 MБ) — обновление 14.12.2019. Видеозапись: Лекция Семинар

Инкрементное и онлайновое обучение

Презентация: (PDF, 0,9 MБ) — обновление 02.12.2020. Видеозапись: [ Лекция] [ Семинар]

  • Задачи инкрементного и онлайнового обучения. Оценивание инкрементного обучения. Кривые обучения.
  • Ленивое обучение (метрические и непараметрические методы). Онлайновый отбор эталонных объектов.
  • Онлайновый наивный байесовский классификатор.
  • Онлайновый градиентный спуск OGD. Алгоритм Perceptron. Алгоритм Passive-Aggressive.
  • Рекуррентный метод наименьших квадратов RLS.
  • Инкрементные решающие деревья ID5R.
  • Онлайновое обучение ансамбля. Алгоритм Hedge, его свойства и интерпретация в задаче портфельного инвестирования.
  • Онлайновое глубокое обучение. Алгоритм Hedge BackProp.
  • Онлайновое обучение новым классам. Проблема катастрофического забывания. Алгоритм iCaRL.

Обучение с подкреплением

Презентация: (PDF, 1.9 МБ) — обновление 18.11.2020.

  • Задача о многоруком бандите. Жадные и эпсилон-жадные стратегии. Метод UCB (upper confidence bound).
  • Адаптивные стратегии на основе скользящих средних. Метод сравнения с подкреплением. Метод преследования.
  • Постановка задачи в случае, когда агент влияет на среду. Ценность состояния среды. Ценность действия.
  • Жадные стратегии максимизации ценности. Уравнения оптимальности Беллмана.
  • Метод SARSA. Метод Q-обучения. Типизация методов на on-policy и off-policy.
  • Глубокое Q-обучение нейронной сети DQN на примере обучения играм Atari.
  • Градиентная оптимизация стратегии (policy gradient). Связь с максимизацией log-правдоподобия.
  • Постановка задачи при моделировании среды. Типизация методов на model-free и model-based.
  • Контекстный многорукий бандит. Линейная регрессионная модель с верхней доверительной оценкой LinUCB.
  • Оценивание новой стратегии по большим историческим данным, сформированным при старых стратегиях.

Активное обучение

Презентация: (PDF, 1.2 МБ) — обновление 24.11.2020.

  • Постановка задачи машинного обучения. Основные стратегии: отбор объектов из выборки и из потока, синтез объектов. Приложения активного обучения.
  • Почему активное обучение быстрее пассивного. Оценивание качества активного обучения. Кривые обучения.
  • Сэмплирование по неуверенности.
  • Сэмплирование по несогласию в комитете. Сокращение пространства решений.
  • Сэмплирование по ожидаемому изменению модели.
  • Сэмплирование по ожидаемому сокращению ошибки.
  • Синтез объектов методами безградиентной оптимизации. Метод Нелдера-Мида.
  • Синтез объектов по критерию сокращения дисперсии.
  • Взвешивание по плотности.
  • Введение изучающих действий в стратегию активного обучении. Алгоритмы ε-active и EG-active.
  • Использование активного обучения в краудсорсинге. Согласование оценок аннотаторов. Назначение заданий аннотаторам.

Заключительная лекция

Презентация: (PDF, 2.0 МБ) — обновление 14.12.2019.

Обзор курса. Оптимизационные задачи машинного обучения.

См. также

Литература

  1. Hastie T., Tibshirani R., Friedman J. The Elements of Statistical Learning. Springer, 2014. — 739 p.
  2. Bishop C. M. Pattern Recognition and Machine Learning. — Springer, 2006. — 738 p.
  3. Мерков А. Б. Распознавание образов. Введение в методы статистического обучения. 2011. 256 с.
  4. Мерков А. Б. Распознавание образов. Построение и обучение вероятностных моделей. 2014. 238 с.
  5. Коэльо Л.П., Ричарт В. Построение систем машинного обучения на языке Python. 2016. 302 с.

Список подстраниц

Машинное обучение (курс лекций, К.В.Воронцов)/2009Машинное обучение (курс лекций, К.В.Воронцов)/ToDoМашинное обучение (курс лекций, К.В.Воронцов)/Вопросы
Машинное обучение (курс лекций, К.В.Воронцов)/Семестровый курсМашинное обучение (курс лекций, К.В.Воронцов)/Форма отчета
Личные инструменты