Байесовские методы машинного обучения (курс лекций, Д.П. Ветров, Д.А. Кропотов)/2014

Материал из MachineLearning.

(Различия между версиями)

Версия 16:34, 22 декабря 2014

Курс посвящен т.н. байесовским методам решения различных задач машинного обучения (классификации, прогнозирования, восстановления регрессии), которые в настоящее время активно развиваются в мире. Байесовский подход к теории вероятностей позволяет эффективно учитывать различные предпочтения пользователя при построении решающих правил прогноза. Кроме того, он позволяет решать задачи выбора структурных параметров модели. В частности, здесь удается решать без комбинаторного перебора задачи селекции признаков, выбора числа кластеров в данных, размерности редуцированного пространства при уменьшении размерности, значений коэффициентов регуляризации и проч. В байесовском подходе вероятность интерпретируется как мера незнания, а не как объективная случайность. Простые правила оперирования с вероятностью, такие как формула полной вероятности и формула Байеса, позволяют проводить рассуждения в условиях неопределенности. В этом смысле байесовский подход к теории вероятностей можно рассматривать как обобщение классической булевой логики.

Лектор: Д.П. Ветров,

Семинарист: М.В. Фигурнов,

Ассистент: Д.А. Кропотов.

Вопросы и комментарии по курсу можно оставлять на вкладке «Обсуждение» к этой странице или направлять письмом по адресу bayesml@gmail.com. При этом в название письма просьба добавлять [БММО14].

Расписание занятий

В 2014 году курс читается на факультете ВМиК МГУ по пятницам в ауд. 637, начало в 14-35 (лекция) и 16-20 (семинар).

Дата	№ занятия	Занятие	Материалы
12 сентября 2014	1	Лекция «Введение в курс. Байесовские рассуждения.»	Конспект (pdf) Презентация (pdf)
12 сентября 2014	1	Семинар «Байесовские рассуждения. Выдача задания №1»
19 сентября 2014	2	Лекция «Сопряжённые распределения, аналитический байесовский вывод»
19 сентября 2014	2	Семинар «Сопряжённые распределения»
26 сентября 2014	3	Лекция «Байесовский выбор модели»	Презентация (pdf)
26 сентября 2014	3	Семинар «Подсчёт обоснованности моделей»
3 октября 2014	4	Лекция «Байесовская проверка гипотез»
3 октября 2014	4	Семинар «Матричные вычисления»	Конспект по матричным вычислениям и нормальному распределению (pdf)
10 октября 2014	5	Лекция «Метод релевантных векторов для задачи регрессии»	Презентация (pdf)
10 октября 2014	5	Семинар «Контрольная по матричным вычислениям»
17 октября 2014	6	Лекция «Метод релевантных векторов для задачи классификации»	Конспект (pdf)
17 октября 2014	6	Семинар «Прогнозное распределение для метода релевантных векторов»
24 октября 2014	7	Лекция «EM-алгоритм. Байесовский метод главных компонент»	Конспект (pdf)
24 октября 2014	7	Семинар «ЕМ-алгоритм»
31 октября 2014	8	Лекция «Вариационный вывод»	Конспект лекции (pdf) Конспект (pdf)
31 октября 2014	8	Семинар «Вариационный вывод»
7 ноября 2014	9	Лекция «Байесовская модель разделения гауссиан»
7 ноября 2014	9	Семинар «Контрольная по вариационному выводу. Выдача задания №2»
14 ноября 2014	10	Лекция «Латентное размещение Дирихле (LDA)»	Конспект (pdf)
14 ноября 2014	10	Семинар «Свойства распределения Дирихле»
21 ноября 2014	11	Лекция «Методы Монте Карло по схеме марковский цепей (MCMC)»	Конспект (pdf)
21 ноября 2014	11	Семинар «Схема Гиббса для смеси гауссиан. Выдача задания №3»
28 ноября 2014	12	Лекция «Гауссовские процессы для регрессии и классификации»
28 ноября 2014	12	Семинар «Гауссовские процессы для регрессии и классификации»
5 декабря 2014	13	Лекция «Непараметрические байесовские методы. Процессы Дирихле»	Конспект (pdf)
5 декабря 2014	13	Семинар «Непараметрические байесовские методы. Процессы Дирихле»

Практические задания

Задание 1. «Байесовские рассуждения».

Задание 2. «Байесовская смесь распределений Бернулли».

Задание 3. «Модель Изинга».

Домашние задания

Задание 1. Матричные вычисления.

Задание 2. Вариационный вывод.

Оценки по курсу

№ п/п	Студент	Практические задания			Контрольные		Сумма	Экзамен	Оценка
№ п/п	Студент	№1	№2	№3	№1	№2	Сумма	Экзамен	Оценка
1	Апишев Мурат	4.4	4.6		1.8	2.0
2	Афанасьев Кирилл				0.9	1.6
3	Готман Мария	4.2	4.5		1.2	2.0
4	Дойков Никита		4		1.7	2.0
5	Козлов Владимир	4.2	3.9		2.3	1.9
6	Колмаков Евгений	4.2	4		1.4	1.8
7	Лисяной Александр	4.7	3.4		0.9	2.0
8	Лукашкина Юлия		4.3		2	2.0
9	Ожерельев Илья		4.5		2	1.0
10	Родоманов Антон		4.5		2.5	2.5
11	Сендерович Никита	5.7	7		1.7	2.4
12	Славнов Константин		3.4		1.5	1.5
13	Тюрин Александр	5.2	4.5		1	2.3
14	Хальман Михаил		3.5		2.5	0.5
15	Хомутов Никита		2		0.7	1.5
16	Чистяков Александр	5.1	6		2.3	2.4
17	Шапулин Андрей	4.4	3.9		1.7	2.5
18	Шарчилев Борис (мехмат)	4.8	4.3		1.4	1.0		5
19	Языков Артём (ВШЭ)				0.7	0.5

Система выставления оценок по курсу

При наличии несданных заданий максимальная возможная оценка за курс — это «удовлетворительно».
Необходимым условием получения положительной оценки за курс является сдача не менее двух практических заданий и сдача устного экзамена не менее чем на оценку «удовлетворительно».
Формула вычисления итоговой оценки будет объявлена позже.
На экзамене студент может отказаться от оценки и пойти на пересдачу, на которой может заново получить Oral.
За каждое несданное задание выставляется минус 10 баллов в баллы по заданиям (допускаются отрицательные значения).
Если на экзамене итоговая оценка оказывается ниже трех, то студент отправляется на пересдачу. При этом оценка Oral, полученная на пересдаче, добавляется к положительной (три и выше) оценке Oral, полученной на основном экзамене и т.д. до тех пор, пока студент не наберет на итоговую оценку «удовлетворительно» (для итоговых оценок выше «удовлетворительно» оценки Oral не суммируются).
Студент может досдать недостающие практические задания в любое время. При этом проверка задания гарантируется только в том случае, если задание сдано не позднее, чем за неделю до основного экзамена или пересдачи.
Штраф за просрочку сдачи заданий начисляется из расчета 0.1 балла в день, но не более 5 баллов.
В случае успешной сдачи всех практических заданий студент получает возможность претендовать на итоговую оценку «хорошо» и «отлично». При этом экзамен на оценку Oral может сдаваться до сдачи всех заданий (оценки Oral в этом случае не суммируются).
Экзамен на оценку Oral сдается либо в срок основного экзамена, либо в срок официальных пересдач.

Литература

Barber D. Bayesian Reasoning and Machine Learning. Cambridge University Press, 2012.
Набор полезных фактов для матричных вычислений
Простые и удобные заметки по матричным вычислениям и свойствам гауссовских распределений
Памятка по теории вероятностей
Ветров Д.П., Кропотов Д.А. Байесовские методы машинного обучения, учебное пособие по спецкурсу, 2007 (Часть 1, PDF 1.22МБ; Часть 2, PDF 1.58МБ)
Bishop C.M. Pattern Recognition and Machine Learning. Springer, 2006.
Mackay D.J.C. Information Theory, Inference, and Learning Algorithms. Cambridge University Press, 2003.
Tipping M. Sparse Bayesian Learning. Journal of Machine Learning Research, 1, 2001, pp. 211-244.
Шумский С.А. Байесова регуляризация обучения. В сб. Лекции по нейроинформатике, часть 2, 2002.

Страницы курса прошлых лет

2010 год
2011 год
весна 2013 года
осень 2013 года

См. также

Курс «Графические модели»

Спецсеминар «Байесовские методы машинного обучения»

Математические методы прогнозирования (кафедра ВМиК МГУ)

Источник — «http://www.machinelearning.ru/wiki/index.php?title=%D0%91%D0%B0%D0%B9%D0%B5%D1%81%D0%BE%D0%B2%D1%81%D0%BA%D0%B8%D0%B5_%D0%BC%D0%B5%D1%82%D0%BE%D0%B4%D1%8B_%D0%BC%D0%B0%D1%88%D0%B8%D0%BD%D0%BD%D0%BE%D0%B3%D0%BE_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D1%8F_%28%D0%BA%D1%83%D1%80%D1%81_%D0%BB%D0%B5%D0%BA%D1%86%D0%B8%D0%B9%2C_%D0%94.%D0%9F._%D0%92%D0%B5%D1%82%D1%80%D0%BE%D0%B2%2C_%D0%94.%D0%90._%D0%9A%D1%80%D0%BE%D0%BF%D0%BE%D1%82%D0%BE%D0%B2%29/2014»

Категории: Учебные курсы | Байесовские методы

@@ Строка 147: / Строка 147: @@
 # В случае успешной сдачи всех практических заданий студент получает возможность претендовать на итоговую оценку «хорошо» и «отлично». При этом экзамен на оценку Oral может сдаваться до сдачи всех заданий (оценки Oral в этом случае <b>не суммируются</b>).
 # Экзамен на оценку Oral сдается либо в срок основного экзамена, либо в срок официальных пересдач.
-<!--
-== Программа курса ==
-=== Введение в курс. Различные постановки задач машинного обучения ===
-Обзор задач анализа данных: классификация, регрессия, кластеризация, идентификация. Примеры. Историческая справка. Основные проблемы теории распознавания образов: переобучение, противоречивость информации, малый объем [[Выборка|выборки]]. Иллюстративные примеры переобучения, связь переобучения и объема выборки. Дискриминативные и порождающие (вероятностные) модели.
-''Ликбез'': основные понятия теории вероятностей (математическое ожидание, дисперсия, ковариационная матрица, плотность вероятности, функция правдоподобия), метод максимального правдоподобия.
-[[Media:BMMO11_1.pdf|Презентация (PDF, 353Кб)]]
-=== Байесовский подход к теории вероятностей. Примеры байесовских рассуждений. ===
-Частотный и вероятностный подходы к теории вероятностей. Интерпретация вероятности как меры нашего незнания, сравнение байесовских рассуждений с логическими. Байесовские сети и основные задачи в них. Пример жизненной ситуации «Джон и колокольчик для воров». Вывод формул для апостериорных вероятностей.
-''Ликбез'': условная вероятность, формула Байеса и ее применение, формула полной вероятности.
-[[Media:BMMO11_2.pdf|Презентация (PDF, 260Кб)]],
-[[Media:Lecture7_2012.pdf|Конспект (PDF)]]
-=== Байесовский подход и Акинатор ===
-Пример применения байесовских рассуждений для игры [http://ru.akinator.com/ Акинатор].
-[[Media:BayesML-2010-Yangel-Akinator.pdf|Презентация (PDF, 304Кб)]]
-Пример работы программы «Пифия»:
-<videoflash type="youtube">-RZCKnudOoM|600|370</videoflash>
-=== Задача выбора модели на примере выбора коэффициента регуляризации, ядровой функции, настройки структурных параметров алгоритма обучения. Основные методы выбора модели. ===
-Общая постановка проблемы выбора модели, ее философский характер. Конкретные примеры структурных параметров. [[Кросс-валидация]]. [[Теория Вапника-Червоненкиса]], емкость алгоритмов обучения. [[Принцип минимальной длины описания]], его эквивалентность максимуму регуляризованного правдоподобия. Информационные [[Информационный критерий Акаике|критерии Акаике]] и [[Информационный критерий Байеса-Шварца|Байеса-Шварца]], область их применения.
-''Ликбез'': теорема Шеннона и оптимальная длина описания.
-[[Media:BMMO11_4.pdf|Презентация (PDF, 362Кб)]]
-=== Решение задачи выбора модели по Байесу. Обоснованность модели. Полный байесовский вывод. ===
-Вывод формул для принятия решения. Принцип наибольшей обоснованности как метод максимального правдоподобия для моделей. Половинчатость данного подхода, полный вывод по Байесу. Интерпретация понятия обоснованности, ее геометрический смысл, бессмысленность сколь-угодно гибкого решающего правила, иллюстративные примеры, связь с [[Принцип Оккама|принципом Оккама]].
-''Ликбез'': принцип Оккама, ad hoc гипотезы.
-[[Media:BMMO11_5.pdf|Презентация (PDF, 376Кб)]]
-=== Матричные вычисления и [[Нормальное распределение|нормальное распределение]]. ===
-Дивергенция Кульбака-Лейблера, ее использование для поиска аппроксимации вероятностных распределений. Векторно-матричные преобразования, дифференцирование по вектору и по матрице. Основные матричные тождества. Одномерное и многомерное нормальное распределение, его основные свойства.
-[[Media:BMMO11_6.pdf|Текст (PDF, 374Кб)]]<br>
-<u>Рекомендуется к прочтению:</u> [http://cs.nyu.edu/~roweis/notes.html Заметки по матричным вычислениям и свойствам гауссовских распределений]
-=== Линейная регрессия и [[Метод релевантных векторов|метод релевантных векторов]] для задачи регрессии ===
-Обобщенные линейные модели, вероятностная модель линейной регрессии. Метод релевантных векторов, вывод формул для регрессии. Приближение Лапласа для оценки обоснованности в случае задачи классификации, его достоинства и недостатки. Свойства решающего правила RVM.
-[[Media:BMMO11_7.pdf|Презентация (PDF, 507Кб)]]
-=== [[ЕМ-алгоритм, его модификации и обобщения|EM-алгоритм]] и метод релевантных векторов для задачи классификации ===
-Метод оптимизации Ньютона. EM-алгоритм в общем виде. EM-алгоритм как покоординатный подъем. ЕМ-алгоритм для задачи разделения смеси нормальных распределений. Логистическая и мультиномиальная регрессия. Метод релевантных векторов для задачи классификации.
-[[Media:BMMO11_8.pdf|Текст (PDF, 979Кб)]]
-=== Приближенные способы байесовского вывода: вариационный подход. ===
-Приближенные методы байесовского вывода. Минимизация дивергенции Кульбака-Лейблера и факторизованное приближение. Идея вариационного подхода, вывод формул для вариационной линейной регрессии.
-''Ликбез'': дивергенция Кульбака-Лейблера, гамма-распределение.
-[[Media:BMMO11_9.pdf|Текст (PDF, 112Кб)]]
-=== Приближенные способы байесовского вывода: методы Монте-Карло с марковскими цепями. ===
-Методы Монте Карло для оценки вероятностных интегралов в байесовском подходе. Методы генерации одномерной случайной величины. Идея методов Монте Карло по схеме марковских цепей. Теоретические свойства марковских цепей. Схема Метрополиса-Хастингса. Схема Гиббса. Применение схемы Гиббса для марковских сетей. Оценка нормировочной константы распределения с помощью схемы Гиббса.
-[[Media:BMMO11_10.pdf|Текст (PDF, 97Кб)]]
-=== Байесовский метод главных компонент. ===
-Задача уменьшения размерности в данных. Метод главных компонент. ЕМ-алгоритм для обучения метода главных компонент. Учет пропусков в данных. Байесовский вариант метода главных компонент для автоматического выбора размерности редуцированного пространства. Модель смеси главных компонент.
-[[Media:BMMO11_11.pdf|Текст (PDF, 769Кб)]]
-=== Латентное размещение Дирихле. ===
-Задача рубрикации текстов. Вероятностная модель порождения текста как смеси тем. Применение вариационного ЕМ-алгоритма для обучения тематической модели.
-[[Media:BMMO11_14.pdf|Текст (PDF, 481Кб)]]
--->
 == Литература ==
 # ''Barber D.'' [http://www0.cs.ucl.ac.uk/staff/d.barber/brml/ Bayesian Reasoning and Machine Learning.] Cambridge University Press, 2012.