Байесовские методы машинного обучения (курс лекций) / 2019
Материал из MachineLearning.
(→Новости) |
м (→Расписание занятий: Замена года проведения занятий на 2019) |
||
Строка 68: | Строка 68: | ||
!Дата !! № занятия !! Занятие !! Материалы | !Дата !! № занятия !! Занятие !! Материалы | ||
|- | |- | ||
- | | rowspan=2|13 сентября | + | | rowspan=2|13 сентября 2019 || rowspan=2 align="center"|1 || Лекция «Байесовский подход к теории вероятностей. Примеры байесовских рассуждений.» || [https://drive.google.com/open?id=13Q58mRGh5uN8xyhMiTfoOXOYvxUKbvRY Конспект] [[Media:Lecture7_2012.pdf|Саммари]] [[Media:BMMO11_2.pdf|Презентация]] |
|- | |- | ||
|Семинар «Байесовские рассуждения. Выдача практического задания №1» || [[Media:S01_bayesian_reasoning_2016.pdf|Задачи]] [https://drive.google.com/open?id=0B7TWwiIrcJstOWMzYUNPaEM3Wjg Конспект] | |Семинар «Байесовские рассуждения. Выдача практического задания №1» || [[Media:S01_bayesian_reasoning_2016.pdf|Задачи]] [https://drive.google.com/open?id=0B7TWwiIrcJstOWMzYUNPaEM3Wjg Конспект] | ||
|- | |- | ||
- | | rowspan=2|20 сентября | + | | rowspan=2|20 сентября 2019 || rowspan=2 align="center"|2 || Лекция «Сопряжённые распределения, аналитический байесовский вывод, экспоненциальный класс распределений» || [https://drive.google.com/file/d/1g9cNLw85MchawKbSV7F0nUXyEi9m36sR/view?usp=sharing Конспект] |
|- | |- | ||
|Семинар «Сопряжённые распределения» || [[Media:BMML_sem2_2016.pdf|Задачи]] [https://drive.google.com/file/d/0B7TWwiIrcJstZHVSUzBBMHZBRlE/view?usp=sharing Конспект] | |Семинар «Сопряжённые распределения» || [[Media:BMML_sem2_2016.pdf|Задачи]] [https://drive.google.com/file/d/0B7TWwiIrcJstZHVSUzBBMHZBRlE/view?usp=sharing Конспект] | ||
|- | |- | ||
- | | rowspan=2|27 сентября | + | | rowspan=2|27 сентября 2019 || rowspan=2 align="center"|3 || Лекция «Байесовский выбор модели» || [[Media:BMMO11_5.pdf|Презентация]] [https://drive.google.com/file/d/1l8fhZQ5V60wZaL9n_YlKNESW1y01PtX2/view?usp=sharing Конспект] |
|- | |- | ||
|Семинар «Подсчёт обоснованности моделей» || [[Media:BMML_sem3_2016.pdf|Задачи]] [[Media:Formulas.pdf|Формулы]] [https://drive.google.com/file/d/1zEz6wy3uF_8i27C-8jTpO7OGSrbwPT5B/view?usp=sharing Конспект] | |Семинар «Подсчёт обоснованности моделей» || [[Media:BMML_sem3_2016.pdf|Задачи]] [[Media:Formulas.pdf|Формулы]] [https://drive.google.com/file/d/1zEz6wy3uF_8i27C-8jTpO7OGSrbwPT5B/view?usp=sharing Конспект] | ||
|- | |- | ||
- | | rowspan=2|4 октября | + | | rowspan=2|4 октября 2019 || rowspan=2 align="center"|4 || Лекция «Метод релевантных векторов для задачи регрессии» || [[Media:BMMO11_7.pdf|Презентация]] [https://drive.google.com/file/d/1wr6qJCZPZ5W2s4jdJRpoFO_E2J3oPPP1/view?usp=sharing Конспект] |
|- | |- | ||
|Семинар «Матричные вычисления» || [https://drive.google.com/open?id=0B7TWwiIrcJstUlVPbEtuYUFBQTQ Задачи с семинара] [https://drive.google.com/open?id=1730TeVcjWDroYln8sJhTNqPOYStW890a Решения с семинара] [https://yadi.sk/i/SSWQ8b3x3RGuPr Методичка] [[Media:S04_matrix_calculations.pdf|Задачи доп 1]] [http://www.machinelearning.ru/wiki/images/2/2a/Matrix-Gauss.pdf Задачи доп 2], | |Семинар «Матричные вычисления» || [https://drive.google.com/open?id=0B7TWwiIrcJstUlVPbEtuYUFBQTQ Задачи с семинара] [https://drive.google.com/open?id=1730TeVcjWDroYln8sJhTNqPOYStW890a Решения с семинара] [https://yadi.sk/i/SSWQ8b3x3RGuPr Методичка] [[Media:S04_matrix_calculations.pdf|Задачи доп 1]] [http://www.machinelearning.ru/wiki/images/2/2a/Matrix-Gauss.pdf Задачи доп 2], | ||
|- | |- | ||
- | | rowspan=2|11 октября | + | | rowspan=2|11 октября 2019 || rowspan=2 align="center"|5 || Лекция «Метод релевантных векторов для задачи классификации» || [[Media:BMMO11_8.pdf|Саммари]] [https://drive.google.com/file/d/1cDEShfLPKXSc-OPUXm4nCYZLPvzaBVHg/view?usp=sharing Конспект], |
|- | |- | ||
|Семинар «Метод релевантных векторов» || [https://github.com/bayesgroup/bayesgroup.github.io/blob/master/bmml/2016/Seminars/BMML_sem5_2016.pdf Задачи] [https://drive.google.com/file/d/0B7TWwiIrcJstcU1iRi1Ldy1zY0k/view?usp=sharing Конспект][https://github.com/bayesgroup/bayesgroup.github.io/blob/master/bmml/2016/Seminars/BMML_sem5_2016_presentation.pdf Презентация] [https://en.wikipedia.org/wiki/Woodbury_matrix_identity Доказательство тождества Вудбери] [[Media:BMMO11_7.pdf|Доказательство тождества об определителе]] | |Семинар «Метод релевантных векторов» || [https://github.com/bayesgroup/bayesgroup.github.io/blob/master/bmml/2016/Seminars/BMML_sem5_2016.pdf Задачи] [https://drive.google.com/file/d/0B7TWwiIrcJstcU1iRi1Ldy1zY0k/view?usp=sharing Конспект][https://github.com/bayesgroup/bayesgroup.github.io/blob/master/bmml/2016/Seminars/BMML_sem5_2016_presentation.pdf Презентация] [https://en.wikipedia.org/wiki/Woodbury_matrix_identity Доказательство тождества Вудбери] [[Media:BMMO11_7.pdf|Доказательство тождества об определителе]] | ||
|- | |- | ||
- | | rowspan=2|18 октября | + | | rowspan=2|18 октября 2019 || rowspan=2 align="center"|6 || Лекция «EM-алгоритм. Байесовский метод главных компонент» || [[Media:BMMO11_11.pdf|Саммари]] [https://drive.google.com/file/d/13bmPc3sJJLgN45j75DqlcBgEzqL2u4Rv/view?usp=sharing Конспект] |
|- | |- | ||
|Семинар «ЕМ-алгоритм» || [https://github.com/bayesgroup/bayesgroup.github.io/blob/master/bmml/2016/Seminars/BMML_sem6_2016.pdf Задачи] [https://drive.google.com/file/d/1vHt8Zul2igQ-rS2lpWjTq43TeYj15dKC/view?usp=sharing Конспект] | |Семинар «ЕМ-алгоритм» || [https://github.com/bayesgroup/bayesgroup.github.io/blob/master/bmml/2016/Seminars/BMML_sem6_2016.pdf Задачи] [https://drive.google.com/file/d/1vHt8Zul2igQ-rS2lpWjTq43TeYj15dKC/view?usp=sharing Конспект] | ||
|- | |- | ||
- | | rowspan=2|25 октября | + | | rowspan=2|25 октября 2019 || rowspan=2 align="center"|7 || Лекция «Вариационный вывод» || [[Media:BMMO14_variational_lecture.pdf|Саммари 1]] [[Media:BMMO11_9.pdf|Саммари 2]] [https://drive.google.com/file/d/18UP8ic6lq1DOOJZlKfGhHr46PJAb6oMY/view?usp=sharing Конспект] |
|- | |- | ||
| Семинар «Вариационный вывод» || [[Media:BMML15_S08_variational_inference.pdf|Задачи]] [https://drive.google.com/file/d/0B7TWwiIrcJstTEpMUkRSTEk0VDA/view?usp=sharing Конспект] | | Семинар «Вариационный вывод» || [[Media:BMML15_S08_variational_inference.pdf|Задачи]] [https://drive.google.com/file/d/0B7TWwiIrcJstTEpMUkRSTEk0VDA/view?usp=sharing Конспект] | ||
|- | |- | ||
- | | rowspan=2|1 ноября | + | | rowspan=2|1 ноября 2019 || rowspan=2 align="center"|8 || Лекция «Методы Монте-Карло по схеме марковский цепей (MCMC)» || [[Media:BMMO11_10.pdf|Саммари]] |
|- | |- | ||
|Семинар «МСМС» || [[Media:BMMO8_2.pdf|Задачи]] [https://drive.google.com/open?id=10f48qga9X7CDWg3Xvc-MEKnwoXtejYhN Конспект] | |Семинар «МСМС» || [[Media:BMMO8_2.pdf|Задачи]] [https://drive.google.com/open?id=10f48qga9X7CDWg3Xvc-MEKnwoXtejYhN Конспект] | ||
|- | |- | ||
- | |rowspan=2|15 ноября | + | |rowspan=2|15 ноября 2019 || rowspan=2 align="center"|9 || Лекция «Гибридный метод Монте-Карло и его масштабируемые модиификации» || [https://arxiv.org/abs/1206.1901 Hamiltonian dynamics] [https://www.ics.uci.edu/~welling/publications/papers/stoclangevin_v6.pdf Langevin Dynamics] |
|- | |- | ||
|Лекция «Динамика Ланжевена для сэмплирования и оптимизации» || [https://docs.google.com/presentation/d/1_yekoTv_CHRgz6vsT57RMDESHjlnbGQvq8tYCxKLyW0/edit?usp=sharing Презентация] | |Лекция «Динамика Ланжевена для сэмплирования и оптимизации» || [https://docs.google.com/presentation/d/1_yekoTv_CHRgz6vsT57RMDESHjlnbGQvq8tYCxKLyW0/edit?usp=sharing Презентация] | ||
|- | |- | ||
- | |rowspan=2|22 ноября | + | |rowspan=2|22 ноября 2019 || rowspan=2 align="center"|10 || Лекция «Гауссовские процессы для регрессии и классификации» || материалы лекции изложены в разделе 6.4 Бишопа |
|- | |- | ||
|Семинар «Гауссовские процессы для регрессии и классификации» || [[Media:S11_GP_BMML16.pdf|Задачи]] [https://drive.google.com/file/d/1piwFueUpkLkMY2Vi1XWZK4L2-WSnVpEQ/view?usp=sharing Конспект] | |Семинар «Гауссовские процессы для регрессии и классификации» || [[Media:S11_GP_BMML16.pdf|Задачи]] [https://drive.google.com/file/d/1piwFueUpkLkMY2Vi1XWZK4L2-WSnVpEQ/view?usp=sharing Конспект] | ||
|- | |- | ||
- | |rowspan=2|29 ноября | + | |rowspan=2|29 ноября 2019 || rowspan=2 align="center"|11 || Лекция «Непараметрические байесовские методы. Процессы Дирихле» || [[Media:DirichletProcessNotes.pdf|Саммари]] |
|- | |- | ||
|Семинар «Свойства распределения Дирихле» || [[Media:BMMO10_2.pdf|Задачи]] [https://drive.google.com/file/d/191VNDDLe4nrpHTJDd4zRGkgcFi9iwrit/view?usp=sharing Конспект] | |Семинар «Свойства распределения Дирихле» || [[Media:BMMO10_2.pdf|Задачи]] [https://drive.google.com/file/d/191VNDDLe4nrpHTJDd4zRGkgcFi9iwrit/view?usp=sharing Конспект] | ||
|- | |- | ||
- | |rowspan=2|6 декабря | + | |rowspan=2|6 декабря 2019 || rowspan=2 align="center"|12 || Лекция «Латентное размещение Дирихле (LDA)» || [[Media:BMMO11_14.pdf|Саммари]] |
|- | |- | ||
|Семинар «Модификации LDA» || [https://drive.google.com/file/d/1SZlHTCrPW0x4xSfeSd3EIG-JserQ_VrU/view?usp=sharing Конспект] [http://www.cs.berkeley.edu/~jordan/papers/hierarchical-dp.pdf Статья по HDP] | |Семинар «Модификации LDA» || [https://drive.google.com/file/d/1SZlHTCrPW0x4xSfeSd3EIG-JserQ_VrU/view?usp=sharing Конспект] [http://www.cs.berkeley.edu/~jordan/papers/hierarchical-dp.pdf Статья по HDP] |
Версия 20:45, 29 ноября 2019
Лектор: Дмитрий Петрович Ветров,
Семинаристы: Кирилл Струминский, Александра Волохова
Контакты: по всем вопросам, связанным с курсом, просьба писать на bayesml@gmail.com. В название письма обязательно добавлять [ВМК БММО19]. Письма без этого тега могут просто не дойти до преподавателей!
У курса есть чат в телеграме. Все объявления по курсу будут вывешиваться именно в чате! Всем студентам будет отправлена ссылка на него на почту. Преподаватели в чате бывают, но не всегда. По всем важным вопросам стоит писать на почту.
Содержание |
Новости
13.09.19 Выложена формулировка первого практического задания. Стандартный срок сдачи - 27 сентября 23:00.
20.09.19 Выложена формулировка первого теоретического задания. Стандартный срок сдачи - 4 октября 23:00.
05.10.19 Выложена формулировка второго теоретического задания. Стандартный срок сдачи - 11 октября 23:00.
12.10.19 Выложена формулировка первой лабораторной работы. Стандартный срок сдачи - 19 октября 23:00.
20.10.19 Выложена формулировка второго практического задания. Стандартный срок сдачи - 2 ноября 23:00.
26.10.19 Выложена формулировка третьего теоретического задания. Стандартный срок сдачи - 12 ноября 23:00.
17.11.19 Выложена формулировка второй лабораторной работы. Стандартный срок сдачи - 23 ноября 23:00.
23.11.19 Выложена формулировка третьей лабораторной работы. Стандартный срок сдачи - 30 ноября 23:00.
Отчётность по курсу и критерии оценки
В курсе предусмотрено несколько форм контроля знаний: 2 практических домашних задания, 3 теоретических домашних задания, 4 домашних лабораторных работы и устный экзамен. Итоговая оценка по курсу в 10-бальной шкале рассчитывается по формуле:
Итоговая оценка = 0.3 * Экз + 0.3 * Практ + 0.4 * ( 3/7 * Теор + 4/7 * Лаб ))
Итоговая оценка округляется арифметически. Оценка за каждый тип заданий рассчитывается как среднее по всем заданиям данного типа. Каждое задание и экзамен оцениваются по 10-балльной шкале (по заданиям допускается дробная оценка). За некоторые задания можно будет получить бонусные баллы, о чем будет объявляться при выдаче задания. Оценке 5 в пятибальной шкале соответствует оценка 8 и выше, оценке 4 -- оценка [6, 8), оценке 3 -- промежуток [4, 6).
Кроме набора необходимого балла по формуле, для получения положительной оценки по курсу также нужно выполнить следующие обязательные условия:
- сдать экзамен на оценку не ниже 4 из 10,
- сдать одно практическое задание, одно теоретическое задание и две лабораторных работы на оценку не менее 5 из 10 (без учета штрафа за опоздание).
Про оценивание экзамена:
- На экзамене студент может отказаться от оценки и пойти на пересдачу, на которой может заново получить оценку.
- Если студенту не хватает баллов на оценку «удовлетворительно» по формуле выше, то он отправляется на пересдачу. При этом оценка, полученная на пересдаче, добавляется к положительной (4 из 10 и выше) оценке, полученной на основном экзамене и т.д. до тех пор, пока студент не наберет на итоговую оценку «удовлетворительно» (для итоговых оценок выше «удовлетворительно» оценки за экзамен не суммируются).
Домашние задания
- В рамках курса предполагается выполнение двух практических заданий, трёх теоретических домашних заданий и четырёх лабораторных работ. Задания сдаются в системе anytask. Для получения инвайта просьба писать на почту курса.
- Все практические задания и лабораторные сдаются на Python 3. Код практических заданий должен быть обязательно предварительно сдан в систему ejudge. Формат логина в ejudge должен быть следующий: vmk19_ + первая буква имени + фамилия. Пример: vmk19_elobacheva. Конфигурация сервера проверки кода в ejudge: python==3.5.3, numpy==1.14.5, scikit-learn==0.19.2, scipy==1.1.0.
- Все задания должны выполняться студентами самостоятельно. Использование кода и решений от коллег или из открытых источников запрещено и считается плагиатом. Все студенты, замешанные в плагиате (в том числе и те, у кого списали) будут сурово наказаны.
- Для каждого задания устанавливается стандартный и жесткий сроки сдачи. Жесткий срок сдачи обычно отстоит от стандартного на одну неделю. За каждый день просрочки после стандартного срока сдачи устанавливается штраф в 1 балл. После жесткого срока сдачи задания на проверку не принимаются.
Примерные даты выдачи домашних заданий (они могут быть изменены!):
- Практическая работа -- 13 сентября, 18 октября
- Лабораторная работа -- 4 октября, 15 ноября, 22 ноября, 6 декабря
- Теоретическое задание -- 20 сентября, 4 октября, 25 октября
Расписание занятий
В 2019 году курс читается на факультете ВМиК МГУ по пятницам в ауд. 607, начало в 14-35 (лекция) и 16-20 (семинар).
Дата | № занятия | Занятие | Материалы |
---|---|---|---|
13 сентября 2019 | 1 | Лекция «Байесовский подход к теории вероятностей. Примеры байесовских рассуждений.» | Конспект Саммари Презентация |
Семинар «Байесовские рассуждения. Выдача практического задания №1» | Задачи Конспект | ||
20 сентября 2019 | 2 | Лекция «Сопряжённые распределения, аналитический байесовский вывод, экспоненциальный класс распределений» | Конспект |
Семинар «Сопряжённые распределения» | Задачи Конспект | ||
27 сентября 2019 | 3 | Лекция «Байесовский выбор модели» | Презентация Конспект |
Семинар «Подсчёт обоснованности моделей» | Задачи Формулы Конспект | ||
4 октября 2019 | 4 | Лекция «Метод релевантных векторов для задачи регрессии» | Презентация Конспект |
Семинар «Матричные вычисления» | Задачи с семинара Решения с семинара Методичка Задачи доп 1 Задачи доп 2, | ||
11 октября 2019 | 5 | Лекция «Метод релевантных векторов для задачи классификации» | Саммари Конспект, |
Семинар «Метод релевантных векторов» | Задачи КонспектПрезентация Доказательство тождества Вудбери Доказательство тождества об определителе | ||
18 октября 2019 | 6 | Лекция «EM-алгоритм. Байесовский метод главных компонент» | Саммари Конспект |
Семинар «ЕМ-алгоритм» | Задачи Конспект | ||
25 октября 2019 | 7 | Лекция «Вариационный вывод» | Саммари 1 Саммари 2 Конспект |
Семинар «Вариационный вывод» | Задачи Конспект | ||
1 ноября 2019 | 8 | Лекция «Методы Монте-Карло по схеме марковский цепей (MCMC)» | Саммари |
Семинар «МСМС» | Задачи Конспект | ||
15 ноября 2019 | 9 | Лекция «Гибридный метод Монте-Карло и его масштабируемые модиификации» | Hamiltonian dynamics Langevin Dynamics |
Лекция «Динамика Ланжевена для сэмплирования и оптимизации» | Презентация | ||
22 ноября 2019 | 10 | Лекция «Гауссовские процессы для регрессии и классификации» | материалы лекции изложены в разделе 6.4 Бишопа |
Семинар «Гауссовские процессы для регрессии и классификации» | Задачи Конспект | ||
29 ноября 2019 | 11 | Лекция «Непараметрические байесовские методы. Процессы Дирихле» | Саммари |
Семинар «Свойства распределения Дирихле» | Задачи Конспект | ||
6 декабря 2019 | 12 | Лекция «Латентное размещение Дирихле (LDA)» | Саммари |
Семинар «Модификации LDA» | Конспект Статья по HDP |
Замечание: рукописные конспекты лекций и семинаров это в первую очередь заметки лектора и семинаристов, а не материалы по курсу. В них могут содержать неточности!
Официальный конспект лекций в процессе (пока сделано до 2 лекции включительно)
Литература
- Barber D. Bayesian Reasoning and Machine Learning. Cambridge University Press, 2012.
- Набор полезных фактов для матричных вычислений
- Простые и удобные заметки по матричным вычислениям и свойствам гауссовских распределений
- Памятка по теории вероятностей
- Ветров Д.П., Кропотов Д.А. Байесовские методы машинного обучения, учебное пособие по спецкурсу, 2007 (Часть 1, PDF 1.22МБ; Часть 2, PDF 1.58МБ)
- Bishop C.M. Pattern Recognition and Machine Learning. Springer, 2006.
- Mackay D.J.C. Information Theory, Inference, and Learning Algorithms. Cambridge University Press, 2003.
- Tipping M. Sparse Bayesian Learning. Journal of Machine Learning Research, 1, 2001, pp. 211-244.
- Шумский С.А. Байесова регуляризация обучения. В сб. Лекции по нейроинформатике, часть 2, 2002.
Страницы курса прошлых лет
2010 год
2011 год
весна 2013 года
осень 2013 года
2014 год
2015 год
2016 год
2017 год
2018 год