Байесовские методы машинного обучения (курс лекций, Д.П. Ветров, Д.А. Кропотов, 2010)

Материал из MachineLearning.

Перейти к: навигация, поиск


Курс посвящен т.н. байесовским методам машинного обучения (классификации, прогнозирования, восстановления регрессии), которые в настоящее время активно развиваются в мире. Байесовский подход к теории вероятностей является альтернативой классическому частотному подходу. Здесь вероятность интерпретируется как мера незнания, а не как объективная случайность. Простые правила оперирования с вероятностью, такие как формула полной вероятности и формула Байеса, позволяют проводить рассуждения в условиях неопределенности. В этом смысле байесовский подход к теории вероятностей можно рассматривать как обобщение классической булевой логики.

Цели курса:

  • Ознакомление с классическими методами обработки данных, особенностями их применения на практике и их недостатками
  • Представление современных проблем теории машинного обучения
  • Введение в байесовские методы машинного обучения
  • Изложение последних достижений в области практического использования байесовских методов
  • Напоминание основных результатов из смежных дисциплин (теория кодирования, анализ, матричные вычисления, статистика, линейная алгебра, теория вероятностей, случайные процессы)

Курс читается студентам ВМиК МГУ, начиная с 2007 года. Курс не требует от студентов дополнительной математической подготовки, выходящей за пределы первых двух курсов университетского образования, все необходимые понятия вводятся в ходе лекций. В ходе чтения курса студенты будут ознакомлены с передним краем научных исследований в теории машинного обучения и существующими проблемами.

Замечания для студентов

  • На этой странице имеются материалы, которые не входят в программу курса текущего года, но могут представлять определенный интерес в контексте байесовских методов.
  • Вопросы по курсу, любые пожелания и предложения всячески приветствуются. Их можно оставлять на вкладке «Обсуждение» к этой странице или написать письмо по адресу bayesml@gmail.com. Ни одно письмо не останется без ответа!
  • Студентам 3-4 курсов, которые сдали экзамен в 2009 году: учебная часть отказывается засчитывать спецкурс, полученный ранее, чем требуется учебным планом. Во избежание проблем принято следующее решение: в конце «нужного» семестра вы подходите к Ветрову Д.П. с ведомостью и зачеткой, и он проставляет оценку в зачетку ЕЩЕ РАЗ (это разрешается) уже в нужный семестр. Одновременно оценка ставится в ведомость, которую вы относите в учебную часть. Текущие ведомости для студентов 3-го курса, заполненные в ходе экзамена, уничтожены. Вся информация о сдавших хранится в архиве, так что все полученные вами оценки останутся в силе.

Расписание на 2010–2011 учебный год

В осеннем семестре 2010 года спецкурс читается на ВМиК МГУ по понедельникам в ауд. 653, начало в 16-20.

Дата Название лекции Материалы
13 сентября 2010 Различные постановки задачи машинного обучения. Презентация (PDF, 555 КБ)
20 сентября 2010
Вероятностная постановка задач машинного обучения. Методы линейной и логистической регрессии. Регуляризация обучения. Презентация (PDF, 598 КБ)
27 сентября 2010
Задача выбора модели на примере выбора коэффициента регуляризации, ядровой функции, настройки структурных параметров алгоритма обучения. Основные методы выбора модели. Презентация (PDF, 450 КБ)
4 октября 2010
Байесовский подход к теории вероятностей. Примеры байесовских рассуждений. Презентация (PDF, 1,57 МБ)
11 октября 2010
Акинатор при помощи байесовских рассуждений. Выдача первого задания. Презентация (PDF, 304 КБ)
25 октября 2010
Решение задачи выбора модели по Байесу. Обоснованность модели. Полный байесовский вывод. Презентация (PDF, 448 Кб)
1 ноября 2010
Применение принципа наибольшей обоснованности на примере метода релевантных векторов. Презентация (PDF, 665 Кб)
8 ноября 2010
Приближенные способы вывода. Методы Монте-Карло с марковскими цепями. Гауссовские процессы в машинном обучении. Презентация (PDF, 700 Кб)
15 ноября 2010
EM-алгоритм. Презентация (PDF, 398 Кб) + выводы формул на доске
22 ноября 2010
Приближенные методы вывода. Вариационный подход. Презентация (PDF, 558 Кб)
Материалы к лекции (PDF, 164 Кб)
29 ноября 2010
Приближенные методы вывода. Expectation Propagation.
6 декабря 2010
Expectation Propagation для модели Изинга. Гауссовские процессы в машинном обучении.

Практические задания по курсу

Для успешной сдачи спецкурса необходимо выполнить все практические задания, а также сдать экзамен.

Задание 1. Вероятностная модель «Посещаемость спецкурса».
Задание 2. Модель Изинга.

Оценка за курс

В этом году оценка за курс будет вычисляться по формуле 0.25*(оценка за первое задание)+0.25*(оценка за второе задание)+0.5*(оценка за экзамен). При этом оценка за курс будет выставляться только тем, кто успешно справился с обоими практическими заданиями + сдал экзамен.

УчастникГруппаЗадание 1Задание 2ЭкзаменИтоговая оценка
ВариантОценкаВариантОценка
Потапенко А.А.207 2 5.0. 1 Не сдано Не допущена
Борисов А.В.209 3 5.0. 2 Не сдано Не допущен
Кузнецов А.С.209 2 4.0. 1 5.0. 4.0 4.0
Лобачева Е.209 1 4.5. 2 5.0. 5.0 5.0
Елшин Д.317 2 4.5. 1 4.5. 5.0 5.0
Некрасов К.В.317 2 5.0. 2 4.5.
Новиков П.А.317 3 3.5. 1 5.0. 5.0 5.0
Соколов Е.А.317 3 4.0. 2 5.0. 5.0 5.0
Казаков И.А.432 3 4.0. 1 4.0. 4.0 4.0
Логачев Ю.М.517 1 4.5. 2 4.5. 5.0 5.0
Потапов Д.С.521 2 4.0. 1 4.5. 5.0 5.0
Ромов П.А.202 2 4.0. 1 4.5. 5.0 5.0

Экзамен

К экзамену допускаются только те студенты, которые успешно справились с обоими практическими заданиями по курсу. Студентам 4 и 5 курсов необходимо иметь с собой зачетную ведомость по спецкурсу (одну ведомость на одну академическую группу).

Вопросы к экзамену (PDF, 91 Кб)

Программа курса

Различные постановки задачи машинного обучения

Обзор задач анализа данных: классификация, регрессия, кластеризация, идентификация, прогнозирование. Примеры. Историческая справка. Основные проблемы теории распознавания образов: переобучение, противоречивость информации, малый объем выборки. Иллюстративные примеры переобучения, связь переобучения и объема выборки.

Ликбез: основные понятия теории вероятностей (математическое ожидание, дисперсия, ковариационная матрица, плотность вероятности, функция правдоподобия)

Презентация (PDF, 555 КБ)

Вероятностная постановка задач машинного обучения. Методы линейной и логистической регрессии. Регуляризация обучения.

Метод максимального правдоподобия. Формальные обозначения, генеральная совокупность, критерии качества обучения как точности на генеральной совокупности. Вывод выражения для идеальных решающих правил. Способы введения функции правдоподобия для задачи регрессии и классификации. Выражение для коэффициентов линейной регрессии, хэт-матрица. Метод наименьших квадратов с итеративно-перевзвешивающимися весами. Необходимость ридж-оценивания для устранения вырожденности гессиана.

Ликбез: нормальное распределение, псевдообращение матриц и нормальное псевдорешение.

Презентация (PDF, 598 КБ)

Задача выбора модели на примере выбора коэффициента регуляризации, ядровой функции, настройки структурных параметров алгоритма обучения. Основные методы выбора модели.

Общая постановка проблемы выбора модели, ее философский характер. Конкретные примеры структурных параметров. Кросс-валидация. Теория Вапника-Червоненкиса, емкость алгоритмов обучения. Принцип минимальной длины описания, его эквивалентность максимуму регуляризованного правдоподобия. Информационные критерии Акаике и Байеса-Шварца, область их применения.

Ликбез: теорема Шеннона и оптимальная длина описания.

Презентация (PDF, 450 КБ)

Байесовский подход к теории вероятностей. Примеры байесовских рассуждений.

Частотный и вероятностный подходы к теории вероятностей. Интерпретация вероятности как меры нашего незнания, сравнение байесовских рассуждений с логическими. Байесовские сети и основные задачи в них. Пример жизненной ситуации «Джон и колокольчик для воров». Вывод формул для апостериорных вероятностей.

Ликбез: условная вероятность, формула Байеса и ее применение, формула полной вероятности.

Презентация (PDF, 1.57 МБ)

Решение задачи выбора модели по Байесу. Обоснованность модели. Полный байесовский вывод.

Вывод формул для принятия решения. Принцип наибольшей обоснованности как метод максимального правдоподобия для моделей. Половинчатость данного подхода, полный вывод по Байесу. Интерпретация понятия обоснованности, ее геометрический смысл, бессмысленность сколь-угодно гибкого решающего правила, иллюстративные примеры, связь с принципом Оккама.

Ликбез: принцип Оккама, ad hoc гипотезы.

Презентация (PDF, 448 Кб)

Применение принципа наибольшей обоснованности на примере метода релевантных векторов

Метод релевантных векторов, вывод формул для регрессии. Приближение Лапласа для оценки обоснованности в случае задачи классификации, его достоинства и недостатки. Свойства решающего правила RVM.

Ликбез: матричные тождества обращения, тождество Вудбери.

Презентация (PDF, 665 Кб)

Недиагональная регуляризация обобщенных линейных моделей. Гауссовское и Лапласовское априорные распределения.

Свойства гауссовского и лапласовского регуляризаторов, трудности использования последнего в методе релевантных векторов. Метод релевантных собственных векторов, идея диагонализации правдоподобия. Вывод формул для оценки обоснованности.

Ликбез: Неотрицательно определенные матрицы. Лапласовское распределение.

Презентация (PDF, 1.11 Мб)

Общее решение для недиагональной квадратичной регуляризации

Получение выражения для обоснованности в явном виде в семействе произвольных симметричных неотрицательно определенных матриц регуляризации. Условие релевантности.

Ликбез: Дифференцирование по матрице и по вектору.

Презентация (PDF, 454 Кб)

Приближенные способы вывода. Вариационный подход. Expectation Propagation.

Приближенные методы байесовского вывода. Минимизация Кульбака-Лейблера и факторизованное приближение. Идея вариационного подхода, вывод формул для линейной регрессии. Идея Expectation propagation, вывод формул для пуассоновской фильтрации.

Ликбез: дивергенция Кульбака-Лейблера, гамма-распределение.

Презентация (PDF, 528 Кб)
Материалы по вариационному подходу (PDF, 164 Кб)

Приближенные способы вывода. Методы Монте-Карло с марковскими цепями. Гауссовские процессы в машинном обучении.

Взятие интегралов методами Монте-Карло, голосование по апостериорному распределению вместо точечной оценки. Схема Гиббса. Гибридные методы Монте-Карло. Гауссовские процессы в задачах регрессии и классификации. Выбор наиболее адекватной ковариационной функции.

Ликбез: случайные процессы.

Презентация (PDF, 559 Кб)

Непрерывное обобщение информационного критерия Акаике и его применение в задаче отбора признаков для линейной регрессии.

Классический критерий Акаике и трудности его использования на практике. Обобщение критерия Акаике на непрерывный случай. Алгоритм автоматического определения значимости на основе непрерывного критерия Акаике.

Ликбез: свойства оценок максимального правдоподобия, информационная матрица Фишера, формула блочного обращения.

Презентация (PDF, 679Кб)

EM-алгоритм.

ЕМ алгоритм для задачи разделения смеси нормальных распределений. EM-алгоритм в общем виде. EM-алгоритм как покоординатный подъем.

Ликбез: Дифференцирование по матрице и по вектору.

Презентация (PDF, 444Кб)

Литература

  1. Ветров Д.П., Кропотов Д.А. Байесовские методы машинного обучения, учебное пособие по спецкурсу, 2007 (Часть 1, PDF 1.22МБ; Часть 2, PDF 1.58МБ)
  2. Bishop C.M. Pattern Recognition and Machine Learning. Springer, 2006.
  3. Mackay D.J.C. Information Theory, Inference, and Learning Algorithms. Cambridge University Press, 2003.
  4. Tipping M. Sparse Bayesian Learning. Journal of Machine Learning Research, 1, 2001, pp. 211-244.
  5. Шумский С.А. Байесова регуляризация обучения. В сб. Лекции по нейроинформатике, часть 2, 2002.
  6. Ветров Д.П., Кропотов Д.А. Алгоритмы выбора моделей и синтеза коллективных решений в задачах классификации, основанные на принципе устойчивости. — М.: УРСС, 2006.

См. также

Курс «Структурные методы анализа изображений и сигналов»

Спецсеминар «Байесовские методы машинного обучения»

Математические методы прогнозирования (кафедра ВМиК МГУ)

Личные инструменты