Байесовские методы машинного обучения (курс лекций) / 2018

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Расписание занятий)
Текущая версия (11:34, 18 декабря 2018) (править) (отменить)
(Система выставления оценок по курсу)
 
(12 промежуточных версий не показаны.)
Строка 27: Строка 27:
* Лабораторная работа -- 5 октября, 9 ноября, 16 ноября, 30 ноября
* Лабораторная работа -- 5 октября, 9 ноября, 16 ноября, 30 ноября
* Теоретическое задание -- 21 сентября, 5 октября, 26 октября
* Теоретическое задание -- 21 сентября, 5 октября, 26 октября
 +
 +
Окончательный дедлайн по всем заданиям — 18 января 23:00. Домашние задания, присланные позднее, к экзамену, скорее всего, проверены не будут.
 +
 +
== Экзамен ==
 +
 +
Экзамен пройдет 23 января в 13:00.
 +
 +
[https://docs.google.com/document/d/1LodK6yNNcv3KVF2u8Bw7bpdLqvCVzHFkPFCXtZAOwZ0/edit?usp=sharing Билеты к экзамену]
 +
 +
При подготовке ответа на экзамене разрешается пользоваться любыми материалами. При непосредственном ответе ничем пользоваться нельзя. Просьба обратить внимание на теоретический минимум по курсу — незнание ответов на вопросы теор. минимума автоматически влечёт неудовлетворительную оценку за экзамен. На экзамене дается час на подготовку ответа на билет, после чего вы отвечаете экзаменатору на вопросы из теоретического минимума, рассказываете билет, отвечаете на дополнительные вопросы по курсу и решаете задачи.
== Расписание занятий ==
== Расписание занятий ==
Строка 53: Строка 63:
| rowspan=2|12 октября 2018 || rowspan=2 align="center"|5 || Лекция «Метод релевантных векторов для задачи классификации» || [[Media:BMMO11_8.pdf|Саммари]] [https://drive.google.com/file/d/1cDEShfLPKXSc-OPUXm4nCYZLPvzaBVHg/view?usp=sharing Конспект],
| rowspan=2|12 октября 2018 || rowspan=2 align="center"|5 || Лекция «Метод релевантных векторов для задачи классификации» || [[Media:BMMO11_8.pdf|Саммари]] [https://drive.google.com/file/d/1cDEShfLPKXSc-OPUXm4nCYZLPvzaBVHg/view?usp=sharing Конспект],
|-
|-
-
|Семинар «Метод релевантных векторов» || [https://github.com/bayesgroup/bayesgroup.github.io/blob/master/bmml/2016/Seminars/BMML_sem5_2016.pdf Задачи] [https://github.com/bayesgroup/bayesgroup.github.io/blob/master/bmml/2016/Seminars/BMML_sem5_2016_presentation.pdf Презентация] [https://en.wikipedia.org/wiki/Woodbury_matrix_identity Доказательство тождества Вудбери] [[Media:BMMO11_7.pdf|Доказательство тождества об определителе]]
+
|Семинар «Метод релевантных векторов» || [https://github.com/bayesgroup/bayesgroup.github.io/blob/master/bmml/2016/Seminars/BMML_sem5_2016.pdf Задачи] [https://drive.google.com/file/d/0B7TWwiIrcJstcU1iRi1Ldy1zY0k/view?usp=sharing Конспект][https://github.com/bayesgroup/bayesgroup.github.io/blob/master/bmml/2016/Seminars/BMML_sem5_2016_presentation.pdf Презентация] [https://en.wikipedia.org/wiki/Woodbury_matrix_identity Доказательство тождества Вудбери] [[Media:BMMO11_7.pdf|Доказательство тождества об определителе]]
|-
|-
-
| rowspan=2|19 октября 2018 || rowspan=2 align="center"|6 || Лекция «EM-алгоритм. Байесовский метод главных компонент» || [[Media:BMMO11_11.pdf|Конспект (pdf)]]
+
| rowspan=2|19 октября 2018 || rowspan=2 align="center"|6 || Лекция «EM-алгоритм. Байесовский метод главных компонент» || [[Media:BMMO11_11.pdf|Саммари]] [https://drive.google.com/file/d/13bmPc3sJJLgN45j75DqlcBgEzqL2u4Rv/view?usp=sharing Конспект]
|-
|-
-
|Семинар «ЕМ-алгоритм» || [https://github.com/bayesgroup/bayesgroup.github.io/blob/master/bmml/2016/Seminars/BMML_sem6_2016.pdf Задачи] [https://github.com/bayesgroup/bayesgroup.github.io/blob/master/bmml/2016/Seminars/BMML_sem6_2016_presentation.pdf Презентация]
+
|Семинар «ЕМ-алгоритм» || [https://github.com/bayesgroup/bayesgroup.github.io/blob/master/bmml/2016/Seminars/BMML_sem6_2016.pdf Задачи] [https://drive.google.com/file/d/1vHt8Zul2igQ-rS2lpWjTq43TeYj15dKC/view?usp=sharing Конспект]
|-
|-
-
| rowspan=2|26 октября 2018 || rowspan=2 align="center"|7 || Лекция «Вариационный вывод» || [[Media:BMMO14_variational_lecture.pdf|Конспект лекции (pdf)]] [[Media:BMMO11_9.pdf|Конспект (pdf)]]
+
| rowspan=2|26 октября 2018 || rowspan=2 align="center"|7 || Лекция «Вариационный вывод» || [[Media:BMMO14_variational_lecture.pdf|Саммари 1]] [[Media:BMMO11_9.pdf|Саммари 2]] [https://drive.google.com/file/d/18UP8ic6lq1DOOJZlKfGhHr46PJAb6oMY/view?usp=sharing Конспект]
|-
|-
-
| Семинар «Вариационный вывод» || [[Media:BMML15_S08_variational_inference.pdf|Задачи (pdf)]]
+
| Семинар «Вариационный вывод» || [[Media:BMML15_S08_variational_inference.pdf|Задачи]] [https://drive.google.com/file/d/0B7TWwiIrcJstTEpMUkRSTEk0VDA/view?usp=sharing Конспект]
|-
|-
-
| rowspan=2|2 ноября 2018 || rowspan=2 align="center"|8 || Лекция «Методы Монте-Карло по схеме марковский цепей (MCMC)» || [[Media:BMMO11_10.pdf|Конспект (pdf)]]
+
| rowspan=2|2 ноября 2018 || rowspan=2 align="center"|8 || Лекция «Методы Монте-Карло по схеме марковский цепей (MCMC)» || [[Media:BMMO11_10.pdf|Саммари]]
|-
|-
-
|Семинар «Методы MCMC» || [[Media:BMMO8_2.pdf|Конспект (pdf)]]
+
|Семинар «Методы MCMC» || [[Media:BMMO8_2.pdf|Задачи]]
|-
|-
-
|rowspan=2|9 ноября 2018 || rowspan=2 align="center"|9 || Лекция «Гибридный метод Монте-Карло и его масштабируемые модиификации» ||
+
|rowspan=2|9 ноября 2018 || rowspan=2 align="center"|9 || Лекция «Гибридный метод Монте-Карло и его масштабируемые модиификации» || [https://arxiv.org/abs/1206.1901 Hamiltonian dynamics] [https://www.ics.uci.edu/~welling/publications/papers/stoclangevin_v6.pdf Langevin Dynamics]
|-
|-
-
|Семинар «Гибридный метод Монте-Карло» || [[Медиа:S09_HMC.pdf | Задачи (pdf) ]]
+
|Семинар «Гибридный метод Монте-Карло» || [[Медиа:S09_HMC.pdf | Задачи]]
|-
|-
-
|rowspan=2|16 ноября 2018 || rowspan=2 align="center"|10 || Лекция «Гауссовские процессы для регрессии и классификации» ||
+
|rowspan=2|16 ноября 2018 || rowspan=2 align="center"|10 || Лекция «Гауссовские процессы для регрессии и классификации» || материалы лекции изложены в разделе 6.4 Бишопа
|-
|-
-
|Семинар «Гауссовские процессы для регрессии и классификации» || [[Media:S11_show_BMML16.pdf|Презентация]] [[Media:S11_GP_BMML16.pdf|Задачи]]
+
|Семинар «Гауссовские процессы для регрессии и классификации» || [[Media:S11_GP_BMML16.pdf|Задачи]] [https://drive.google.com/file/d/1piwFueUpkLkMY2Vi1XWZK4L2-WSnVpEQ/view?usp=sharing Конспект]
|-
|-
-
|rowspan=2|23 ноября 2018 || rowspan=2 align="center"|11 || Лекция «Непараметрические байесовские методы. Процессы Дирихле» || [[Media:DirichletProcessNotes.pdf|Конспект (pdf)]]
+
|rowspan=2|23 ноября 2018 || rowspan=2 align="center"|11 || Лекция «Непараметрические байесовские методы. Процессы Дирихле» || [[Media:DirichletProcessNotes.pdf|Саммари]]
|-
|-
-
|Семинар «Свойства распределения Дирихле» || [[Media:BMMO10_2.pdf|Конспект (pdf)]]
+
|Семинар «Свойства распределения Дирихле» || [[Media:BMMO10_2.pdf|Задачи]] [https://drive.google.com/file/d/191VNDDLe4nrpHTJDd4zRGkgcFi9iwrit/view?usp=sharing Конспект]
|-
|-
-
|rowspan=2|30 ноября 2018 || rowspan=2 align="center"|12 || Лекция «Латентное размещение Дирихле (LDA)» || [[Media:BMMO11_14.pdf|Конспект (pdf)]]
+
|rowspan=2|30 ноября 2018 || rowspan=2 align="center"|12 || Лекция «Латентное размещение Дирихле (LDA)» || [[Media:BMMO11_14.pdf|Саммари]]
|-
|-
-
|Семинар «Модификации LDA» || [http://www.cs.berkeley.edu/~jordan/papers/hierarchical-dp.pdf Статья по HDP]
+
|Семинар «Модификации LDA» || [https://drive.google.com/file/d/1SZlHTCrPW0x4xSfeSd3EIG-JserQ_VrU/view?usp=sharing Конспект] [http://www.cs.berkeley.edu/~jordan/papers/hierarchical-dp.pdf Статья по HDP]
|-
|-
|}
|}
Строка 97: Строка 107:
# Для получения оценки «удовлетворительно» необходимо сдать одно практическое задание, одно теоретическое задание и две лабораторных работы.
# Для получения оценки «удовлетворительно» необходимо сдать одно практическое задание, одно теоретическое задание и две лабораторных работы.
# Необходимым условием получения положительной оценки за курс является сдача устного экзамена не менее чем на оценку «удовлетворительно».
# Необходимым условием получения положительной оценки за курс является сдача устного экзамена не менее чем на оценку «удовлетворительно».
-
# Итоговая оценка вычисляется по формуле <tex>Mark = \frac{3}{10} E + \frac{7}{10} \left[ \frac{3}{7} P + \frac{4}{7}(\frac{3}{7} T + \frac{4}{7} L) \right] </tex>, где E — оценка за устный экзамен, P — средний балл, набранный за практические задания, T -- средний балл, набранный за теоретические задания, L -- средний балл, набранный за лабораторные работы, Mark — итоговая оценка по 10-балльной шкале. Оценке 5 в пятибальной шкале соответствует оценка 8 и выше, оценке 4 -- оценка [6, 8), оценке 3 -- промежуток [4, 6).
+
# Итоговая оценка вычисляется по формуле <tex>Mark = \frac{3}{10} E + \frac{7}{10} \left[ \frac{3}{7} P + \frac{4}{7}(\frac{3}{7} T + \frac{4}{7} L) \right] </tex>, где E — оценка за устный экзамен, P — средний балл, набранный за практические задания, T -- средний балл, набранный за теоретические задания, L -- средний балл, набранный за лабораторные работы, Mark — итоговая оценка по 10-балльной шкале. В случае дробной итоговой оценки, происходит её математическое округление. Оценке 5 в пятибальной шкале соответствует оценка 8 и выше, оценке 4 -- оценка [6, 8), оценке 3 -- промежуток [4, 6).
# На экзамене студент может отказаться от оценки и пойти на пересдачу, на которой может заново получить оценку E.
# На экзамене студент может отказаться от оценки и пойти на пересдачу, на которой может заново получить оценку E.
# Если на экзамене итоговая оценка оказывается ниже 4 баллов, студент отправляется на пересдачу. При этом оценка E, полученная на пересдаче, <b>добавляется</b> к положительной (три и выше) оценке E, полученной на основном экзамене и т.д. до тех пор, пока студент не наберет на итоговую оценку «удовлетворительно» (для итоговых оценок выше «удовлетворительно» оценки E не суммируются).
# Если на экзамене итоговая оценка оказывается ниже 4 баллов, студент отправляется на пересдачу. При этом оценка E, полученная на пересдаче, <b>добавляется</b> к положительной (три и выше) оценке E, полученной на основном экзамене и т.д. до тех пор, пока студент не наберет на итоговую оценку «удовлетворительно» (для итоговых оценок выше «удовлетворительно» оценки E не суммируются).

Текущая версия

Курс посвящен т.н. байесовским методам решения различных задач машинного обучения (классификации, восстановления регрессии, уменьшения размерности, разделения смесей, тематического моделирования и др.), которые в настоящее время активно развиваются в мире. Большинство современных научных публикаций по машинному обучению используют вероятностное моделирование, опирающееся на байесовский подход к теории вероятностей. Последний позволяет эффективно учитывать различные предпочтения пользователя при построении решающих правил прогноза. Кроме того, он позволяет решать задачи выбора структурных параметров модели. В частности, здесь удается решать без комбинаторного перебора задачи селекции признаков, выбора числа кластеров в данных, размерности редуцированного пространства при уменьшении размерности, значений коэффициентов регуляризации и пр. В байесовском подходе вероятность интерпретируется как мера незнания, а не как объективная случайность. Простые правила оперирования с вероятностью, такие как формула полной вероятности и формула Байеса, позволяют проводить рассуждения в условиях неопределенности. В этом смысле байесовский подход к теории вероятностей можно рассматривать как обобщение классической булевой логики.

Основной задачей курса является привитие студентам навыков самостоятельного построения сложных вероятностных моделей обработки данных, используя стандартные модели в качестве своеобразных "кирпичиков". Особое внимание уделяется приближенным байесовским методам, позволяющим обсчитывать сложные вероятностные модели.

Лектор: Д.П. Ветров,

Семинаристы: К. Струминский, Д. Молчанов

Вопросы и комментарии по курсу, а также сдаваемые задания нужно отправлять на почту bayesml@gmail.com. В название письма обязательно добавлять тег [БММО18].

Также у курса есть чат в телеграме. Все объявления по курсу будут вывешиваться именно в чате! Ссылка на него будет разослана студентам на почту групп. Если вам ссылка не пришла, то пишите для ее получения на почту курса.

Содержание

Домашние задания

Приём заданий по курсу осуществляется в системе anytask.org. Для получения инвайта по курсу просьба писать на почту курса.

Все практические задания и лабораторные сдаются на Python 3.

Код практических заданий должен быть обязательно предварительно сдан в систему ejudge. Формат логина в ejudge должен быть следующий: vmk_ + первая буква имени + фамилия. Пример: vmk_elobacheva. Конфигурация сервера проверки кода в ejudge: python==3.5.3, numpy==1.14.5, scikit-learn==0.19.2, scipy==1.1.0

Примерные даты выдачи домашних заданий (они могут быть изменены!):

  • Практическая работа -- 7 сентября, 19 октября
  • Лабораторная работа -- 5 октября, 9 ноября, 16 ноября, 30 ноября
  • Теоретическое задание -- 21 сентября, 5 октября, 26 октября

Окончательный дедлайн по всем заданиям — 18 января 23:00. Домашние задания, присланные позднее, к экзамену, скорее всего, проверены не будут.

Экзамен

Экзамен пройдет 23 января в 13:00.

Билеты к экзамену

При подготовке ответа на экзамене разрешается пользоваться любыми материалами. При непосредственном ответе ничем пользоваться нельзя. Просьба обратить внимание на теоретический минимум по курсу — незнание ответов на вопросы теор. минимума автоматически влечёт неудовлетворительную оценку за экзамен. На экзамене дается час на подготовку ответа на билет, после чего вы отвечаете экзаменатору на вопросы из теоретического минимума, рассказываете билет, отвечаете на дополнительные вопросы по курсу и решаете задачи.

Расписание занятий

В 2018 году курс читается на факультете ВМиК МГУ по пятницам в ауд. 607, начало в 14-35 (лекция) и 16-20 (семинар).

Дата № занятия Занятие Материалы
7 сентября 2018 1 Лекция «Байесовский подход к теории вероятностей. Примеры байесовских рассуждений.» Конспект Саммари Презентация
Семинар «Байесовские рассуждения. Выдача практического задания №1» Задачи Конспект
21 сентября 2018 2 Лекция «Сопряжённые распределения, аналитический байесовский вывод, экспоненциальный класс распределений» Конспект
Семинар «Сопряжённые распределения» Задачи Конспект
28 сентября 2018 3 Лекция «Байесовский выбор модели» Презентация Конспект
Семинар «Подсчёт обоснованности моделей» Задачи Формулы Конспект
5 октября 2018 4 Лекция «Метод релевантных векторов для задачи регрессии» Презентация Конспект
Семинар «Матричные вычисления» Задачи с семинара Задачи доп 1 Задачи доп 2,
12 октября 2018 5 Лекция «Метод релевантных векторов для задачи классификации» Саммари Конспект,
Семинар «Метод релевантных векторов» Задачи КонспектПрезентация Доказательство тождества Вудбери Доказательство тождества об определителе
19 октября 2018 6 Лекция «EM-алгоритм. Байесовский метод главных компонент» Саммари Конспект
Семинар «ЕМ-алгоритм» Задачи Конспект
26 октября 2018 7 Лекция «Вариационный вывод» Саммари 1 Саммари 2 Конспект
Семинар «Вариационный вывод» Задачи Конспект
2 ноября 2018 8 Лекция «Методы Монте-Карло по схеме марковский цепей (MCMC)» Саммари
Семинар «Методы MCMC» Задачи
9 ноября 2018 9 Лекция «Гибридный метод Монте-Карло и его масштабируемые модиификации» Hamiltonian dynamics Langevin Dynamics
Семинар «Гибридный метод Монте-Карло» Задачи
16 ноября 2018 10 Лекция «Гауссовские процессы для регрессии и классификации» материалы лекции изложены в разделе 6.4 Бишопа
Семинар «Гауссовские процессы для регрессии и классификации» Задачи Конспект
23 ноября 2018 11 Лекция «Непараметрические байесовские методы. Процессы Дирихле» Саммари
Семинар «Свойства распределения Дирихле» Задачи Конспект
30 ноября 2018 12 Лекция «Латентное размещение Дирихле (LDA)» Саммари
Семинар «Модификации LDA» Конспект Статья по HDP

Замечание: рукописные конспекты лекций и семинаров это в первую очередь заметки лектора и семинаристов, а не материалы по курсу. В них могут содержать неточности!

Видеозаписи лекций

Система выставления оценок по курсу

  1. В рамках курса предполагается выполнение двух практических заданий, четырех лабораторных работ и трёх теоретических заданий.
  2. Задания выполняются самостоятельно. Если задание выполнялось сообща, или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчете. В противном случае „похожие“ решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.
  3. Практические задания оцениваются из 10 баллов. За сдачу заданий позже срока начисляется штраф в размере 0.3 балла за каждый день просрочки, но суммарно не более 6-и баллов.
  4. Домашние задания и лабораторные работы оцениваются из 10 баллов. За сдачу заданий позже срока начисляется штраф в размере 0.3 балла за каждый день просрочки. Задания не принимаются спустя неделю после срока.
  5. Для получения оценки «удовлетворительно» необходимо сдать одно практическое задание, одно теоретическое задание и две лабораторных работы.
  6. Необходимым условием получения положительной оценки за курс является сдача устного экзамена не менее чем на оценку «удовлетворительно».
  7. Итоговая оценка вычисляется по формуле Mark = \frac{3}{10} E + \frac{7}{10} \left[ \frac{3}{7} P + \frac{4}{7}(\frac{3}{7} T + \frac{4}{7} L) \right] , где E — оценка за устный экзамен, P — средний балл, набранный за практические задания, T -- средний балл, набранный за теоретические задания, L -- средний балл, набранный за лабораторные работы, Mark — итоговая оценка по 10-балльной шкале. В случае дробной итоговой оценки, происходит её математическое округление. Оценке 5 в пятибальной шкале соответствует оценка 8 и выше, оценке 4 -- оценка [6, 8), оценке 3 -- промежуток [4, 6).
  8. На экзамене студент может отказаться от оценки и пойти на пересдачу, на которой может заново получить оценку E.
  9. Если на экзамене итоговая оценка оказывается ниже 4 баллов, студент отправляется на пересдачу. При этом оценка E, полученная на пересдаче, добавляется к положительной (три и выше) оценке E, полученной на основном экзамене и т.д. до тех пор, пока студент не наберет на итоговую оценку «удовлетворительно» (для итоговых оценок выше «удовлетворительно» оценки E не суммируются).
  10. Студент может досдать недостающие практические задания в любое время. При этом проверка задания гарантируется только в том случае, если задание сдано не позднее, чем за неделю до основного экзамена или пересдачи.
  11. В случае успешной сдачи всех практических заданий студент получает возможность претендовать на итоговую оценку «хорошо» и «отлично». При этом экзамен на оценку E может сдаваться до сдачи всех заданий (оценки E в этом случае не суммируются).
  12. Экзамен на оценку E сдается либо в срок основного экзамена, либо в срок официальных пересдач.

Литература

  1. Barber D. Bayesian Reasoning and Machine Learning. Cambridge University Press, 2012.
  2. Набор полезных фактов для матричных вычислений
  3. Простые и удобные заметки по матричным вычислениям и свойствам гауссовских распределений
  4. Памятка по теории вероятностей
  5. Ветров Д.П., Кропотов Д.А. Байесовские методы машинного обучения, учебное пособие по спецкурсу, 2007 (Часть 1, PDF 1.22МБ; Часть 2, PDF 1.58МБ)
  6. Bishop C.M. Pattern Recognition and Machine Learning. Springer, 2006.
  7. Mackay D.J.C. Information Theory, Inference, and Learning Algorithms. Cambridge University Press, 2003.
  8. Tipping M. Sparse Bayesian Learning. Journal of Machine Learning Research, 1, 2001, pp. 211-244.
  9. Шумский С.А. Байесова регуляризация обучения. В сб. Лекции по нейроинформатике, часть 2, 2002.

Страницы курса прошлых лет

2010 год
2011 год
весна 2013 года
осень 2013 года
2014 год
2015 год
2016 год
2017 год


См. также

Курс «Графические модели»

Спецсеминар «Байесовские методы машинного обучения»

Математические методы прогнозирования (кафедра ВМиК МГУ)

Личные инструменты