Нейробайесовские методы машинного обучения (курс лекций) / 2019

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Расписание занятий)
(Материалы)
(14 промежуточных версий не показаны.)
Строка 1: Строка 1:
__NOTOC__
__NOTOC__
-
 
-
''Черновой вариант страницы!''
 
-
 
Курс посвящен применению байесовских методов в глубинном обучении. На лекциях будет рассказано о применении вероятностного моделирования для построения порождающих моделей данных, использованию состящающихся сетей для приближенного вывода, моделированию неопределенности в параметрах нейронной сети и о некоторых открытых проблемах глубинного обучения.
Курс посвящен применению байесовских методов в глубинном обучении. На лекциях будет рассказано о применении вероятностного моделирования для построения порождающих моделей данных, использованию состящающихся сетей для приближенного вывода, моделированию неопределенности в параметрах нейронной сети и о некоторых открытых проблемах глубинного обучения.
Строка 9: Строка 6:
'''Семинаристы:''' Александр Гришин, [[Участник:Кирилл_Струминский|Кирилл Струминский]], Дмитрий Молчанов, Кирилл Неклюдов, Артём Соболев, Арсений Ашуха, Олег Иванов, [[Участник:Tipt0p|Екатерина Лобачева]].
'''Семинаристы:''' Александр Гришин, [[Участник:Кирилл_Струминский|Кирилл Струминский]], Дмитрий Молчанов, Кирилл Неклюдов, Артём Соболев, Арсений Ашуха, Олег Иванов, [[Участник:Tipt0p|Екатерина Лобачева]].
-
По всем вопросам, связанным с курсом, просьба писать на '''bayesml@gmail.com''', в тему письма обязательно добавлять тег '''[ВМК НБМ18]'''. Письма без данного тега с большой вероятностью будут утеряны.
+
По всем вопросам, связанным с курсом, просьба писать на '''bayesml@gmail.com''', в тему письма обязательно добавлять тег '''[ВМК НБМ19]'''. Письма без данного тега с большой вероятностью будут утеряны.
-
Также у курса есть чат в телеграме. Все объявления по курсу будут вывешиваться именно в чате! Ссылка на него будет разослана студентам на почту групп. Если вам ссылка не пришла, то пишите для ее получения на почту курса.
+
Также у курса есть чат в телеграме. Все объявления по курсу будут вывешиваться именно в чате! Основной язык чата - английский. Ссылка на него будет разослана студентам на почту групп. Если вам ссылка не пришла, то пишите для ее получения на почту курса.
== Новости ==
== Новости ==
 +
'''01.03.19''' Выложена формулировка первого задания. Срок сдачи - '''15 марта 23:00'''.
 +
 +
'''16.03.19''' Выложена формулировка первого задания. Срок сдачи - '''29 марта 23:00'''.
== Система выставления оценок по курсу ==
== Система выставления оценок по курсу ==
Строка 39: Строка 39:
== Расписание занятий ==
== Расписание занятий ==
-
В 2019 году курс читается на факультете [[ВМиК]] МГУ по пятницам в ауд. 526б, начало в 14-35 (лекция) и 16-20 (семинар).
+
В 2019 году курс читается на факультете [[ВМиК]] МГУ по пятницам в ауд. 605, начало в 14-35 (лекция) и 16-20 (семинар).
 +
 
 +
Два первых занятия (15 и 22 февраля) пройдут в ауд. 526б.
{| class="standard"
{| class="standard"
-
!Дата !! № занятия !! Занятие !! Материалы
+
!Дата !! № занятия !! Занятие
|-
|-
-
| rowspan=2|15 февраля || rowspan=2 align="center"| 1 || Лекция «Стохастический вариационный вывод» || [http://jmlr.org/papers/volume14/hoffman13a/hoffman13a.pdf Статья] [https://drive.google.com/open?id=1xpyRGciHP5geqO6FsFPCzIwt48H9j_HU Конспект 1] [https://drive.google.com/file/d/1e7qbQlGu1Bz7gEMNvBJX8FUK2_iBsvgC/view?usp=sharing Конспект 2]
+
| rowspan=2|15 февраля || rowspan=2 align="center"| 1 || Лекция «Стохастический вариационный вывод»
|-
|-
-
|Семинар «Применение SVI на примере масштабируемых тематических моделей» || [https://drive.google.com/open?id=1d9i6gtjh6O9SWWrpspsGyHh2l_l5nPps Конспект 1] [https://drive.google.com/open?id=19liA5y-ohzJVGGcTPpn20VNlwIeLulGl Конспект 2]
+
|Семинар «Применение SVI на примере масштабируемых тематических моделей»
|-
|-
-
| rowspan=2|22 февраля || rowspan=2 align="center"| 2 || Лекция « Дважды стохастический вариационный вывод» || [https://arxiv.org/abs/1401.0118 Статья] [https://drive.google.com/open?id=1XCXER3BBmZEfonck3GtgI51UrYLylpEd Конспект 1] [https://drive.google.com/open?id=1B9FyafFZSQQUs7vmXzjWqkSGX-riydhl Конспект 2]
+
| rowspan=2|22 февраля || rowspan=2 align="center"| 2 || Лекция « Дважды стохастический вариационный вывод»
|-
|-
-
|Семинар «Дисперсия стохастических градиентов в примерах» || [https://arxiv.org/abs/1411.2581 Статья] [https://drive.google.com/open?id=1jPSrlZgc_qPS9gag4AFXSKdaOYROrKG9 Конспект]
+
|Семинар «Дисперсия стохастических градиентов в примерах»
|-
|-
-
| rowspan=2|1 марта || rowspan=2 align="center"| 3 || Лекция «Вариационный автокодировщик, нормализующие потоки для вариационного вывода» || [https://arxiv.org/abs/1312.6114 Статья] [https://drive.google.com/open?id=1YURVywJtizqD2lUSGRA2qfX_4OempOlt Конспект 1] [https://drive.google.com/open?id=1jcixsZ9tDE50Fl1dCfEvv7JKyrDtkNH8 Конспект 2]
+
| rowspan=2|1 марта || rowspan=2 align="center"| 3 || Лекция «Вариационный автокодировщик, нормализующие потоки для вариационного вывода»
|-
|-
-
|Семинар «Репараметризация, оценки с выборкой по значимости (IWAE)» || [https://arxiv.org/abs/1509.00519 Статья] [https://drive.google.com/open?id=1xA7MgD7GcZ1lpIQBPX7ppoap7IJSAUZQ Конспект]
+
|Семинар «Репараметризация, оценки с выборкой по значимости (IWAE)»
|-
|-
-
| rowspan=2|15 марта || rowspan=2 align="center"| 4 || Лекция «Оценка отношения плотностей распределений, применение на примере \alpha-GAN» || [https://arxiv.org/abs/1706.04987 Статья] [https://drive.google.com/open?id=1yc8OijEH6HB-Rpo3L9WRBZ-0wr7Hx7cu Конспект]
+
| rowspan=2|15 марта || rowspan=2 align="center"| 4 || Лекция «Методы снижения дисперсии в моделях со скрытыми переменными»
|-
|-
-
|Семинар «f-GAN» || [https://arxiv.org/abs/1606.00709 Статья] [https://drive.google.com/open?id=1nrR5GSwIjt6EFiwMa0nvU0xoZ0V4MJ91 Конспект]
+
|Семинар «Методы снижения дисперсии в моделях со скрытыми переменными»
|-
|-
-
| rowspan=2|22 марта || rowspan=2 align="center"| 5 || Лекция «Байесовские нейронные сети» || [https://arxiv.org/abs/1506.02557 Статья] [https://drive.google.com/open?id=1Xe-jSIGXPD_MKE5TiJu9yZpt5oDOeEbi Конспект]
+
| rowspan=2|22 марта || rowspan=2 align="center"| 5 || Лекция «Оценка отношения плотностей распределений, применение на примере \alpha-GAN»
|-
|-
-
|Семинар «Локальная репараметризация» || [https://drive.google.com/open?id=158ItZIA39JyPj9d0bxU9c3QlqQDGonPn Конспект]
+
|Семинар «f-GAN»
|-
|-
-
| rowspan=2|29 марта || rowspan=2 align="center"| 6 || Лекция «Байесовское сжатие нейронных сетей» || [https://drive.google.com/open?id=14fnK9PwSH2bEDbhtJs0NDbH1WpgXtot_ Конспект]
+
| rowspan=2|29 марта || rowspan=2 align="center"| 6 || Лекция «Байесовские нейронные сети»
|-
|-
-
|Семинар «Deep Markov chain Monte Carlo (MCMC)» ||
+
|Семинар «Локальная репараметризация»
|-
|-
-
| rowspan=2|5 апреля || rowspan=2 align="center"| 7 || Лекция «Методы снижения дисперсии в моделях со скрытыми переменными» || rowspan=2 | [https://drive.google.com/open?id=1SQBrPU5kz1zRizJ3ZxrnrK3JQawul5Mn Конспект]
+
| rowspan=2|5 апреля || rowspan=2 align="center"| 7 || Лекция «Байесовское сжатие нейронных сетей»
|-
|-
-
|Семинар «Методы снижения дисперсии в моделях со скрытыми переменными»
+
|Семинар «Deep Markov chain Monte Carlo (MCMC)»
|-
|-
-
| rowspan=2|12 апреля || rowspan=2 align="center"| 8 || Лекция «Полунеявный вариационный вывод» || rowspan=2 |
+
| rowspan=2|12 апреля || rowspan=2 align="center"| 8 || Лекция «Полунеявный вариационный вывод»
|-
|-
|Семинар «VampPrior»
|Семинар «VampPrior»
|-
|-
|}
|}
 +
 +
== Материалы ==
 +
 +
[https://docs.google.com/document/d/1Mqzo89OeX5gteQ9qYF5rhz6Ap00JQEyoiq2WKo54vA8/edit?usp=sharing Обновляемый список материалов (статей и т.п.)]
 +
 +
[https://drive.google.com/drive/folders/1rEbRC6n6WL51GHPwje-pDw89jpYB9hE5?usp=sharing Папка с конспектами прошлогодних лекций/семинаров]
 +
 +
'''Замечание:''' рукописные конспекты лекций и семинаров это в первую очередь заметки лектора и семинаристов, а не материалы по курсу. В них могут содержать неточности!
== Литература ==
== Литература ==
Строка 90: Строка 100:
[[Бммо|Курс «Байесовские методы машинного обучения»]]
[[Бммо|Курс «Байесовские методы машинного обучения»]]
 +
 +
[[Математические методы прогнозирования (кафедра ВМиК МГУ)]]
[[Категория:Учебные курсы]]
[[Категория:Учебные курсы]]
[[Категория:Байесовские методы]]
[[Категория:Байесовские методы]]

Версия 15:59, 23 марта 2019

Курс посвящен применению байесовских методов в глубинном обучении. На лекциях будет рассказано о применении вероятностного моделирования для построения порождающих моделей данных, использованию состящающихся сетей для приближенного вывода, моделированию неопределенности в параметрах нейронной сети и о некоторых открытых проблемах глубинного обучения.

Лектор: Д.П. Ветров,

Семинаристы: Александр Гришин, Кирилл Струминский, Дмитрий Молчанов, Кирилл Неклюдов, Артём Соболев, Арсений Ашуха, Олег Иванов, Екатерина Лобачева.

По всем вопросам, связанным с курсом, просьба писать на bayesml@gmail.com, в тему письма обязательно добавлять тег [ВМК НБМ19]. Письма без данного тега с большой вероятностью будут утеряны.

Также у курса есть чат в телеграме. Все объявления по курсу будут вывешиваться именно в чате! Основной язык чата - английский. Ссылка на него будет разослана студентам на почту групп. Если вам ссылка не пришла, то пишите для ее получения на почту курса.

Новости

01.03.19 Выложена формулировка первого задания. Срок сдачи - 15 марта 23:00.

16.03.19 Выложена формулировка первого задания. Срок сдачи - 29 марта 23:00.

Система выставления оценок по курсу

В рамках курса предполагается выполнение трех практических заданий и устный экзамен. Каждое задание и экзамен оцениваются из 10-ти баллов.

  • Необходимым условием получения положительной оценки за курс является сдача не менее одного практического задания и сдача устного экзамена не менее чем на оценку «удовлетворительно».
  • Необходимым условием получения оценки выше «удовлетворительно» является сдача не менее двух практических заданий.
  • Итоговый балл за курс вычисляется по формуле 0.7*<Средняя_оценка_за_задания> + 0.3*<Оценка_за_экзамен>. Итоговый балл округляется математически.
  • Оценке 5 в пятибальной шкале соответствует оценка 8 и выше, оценке 4 -- оценка [6, 8), оценке 3 -- промежуток [4, 6).

Практические задания

  • В рамках курса предполагается выполнение трех практических заданий на следующие темы: VAE, Normalizing flows, Sparse Variational Dropout.
  • Приём заданий по курсу осуществляется в системе anytask.org. По поводу приглашений в систему можно обратиться на почту курса.
  • Все задания сдаются на Python 3 с использованием PyTorch.
  • Все задания должны выполняться студентами самостоятельно. Использование кода коллег или кода из открытых источников запрещено и будет считаться плагиатом. Все студенты, замешанные в плагиате (в том числе и те, у кого списали), будут сурово наказаны.
  • Все задания оцениваются из 10 баллов. За сдачу заданий позже срока начисляется штраф в размере 0.3 балла за каждый день просрочки, но суммарно не более 6-и баллов. В среднем на выполнение каждого задания будет даваться 2 недели. В некоторых заданиях будут бонусные пункты.

Примерные даты выдачи заданий: 1 марта, 1 марта, 29 марта

Ближе к экзамену будет объявлена дата жесткого дедлайна по всем заданиям.

Расписание занятий

В 2019 году курс читается на факультете ВМиК МГУ по пятницам в ауд. 605, начало в 14-35 (лекция) и 16-20 (семинар).

Два первых занятия (15 и 22 февраля) пройдут в ауд. 526б.

Дата № занятия Занятие
15 февраля 1 Лекция «Стохастический вариационный вывод»
Семинар «Применение SVI на примере масштабируемых тематических моделей»
22 февраля 2 Лекция « Дважды стохастический вариационный вывод»
Семинар «Дисперсия стохастических градиентов в примерах»
1 марта 3 Лекция «Вариационный автокодировщик, нормализующие потоки для вариационного вывода»
Семинар «Репараметризация, оценки с выборкой по значимости (IWAE)»
15 марта 4 Лекция «Методы снижения дисперсии в моделях со скрытыми переменными»
Семинар «Методы снижения дисперсии в моделях со скрытыми переменными»
22 марта 5 Лекция «Оценка отношения плотностей распределений, применение на примере \alpha-GAN»
Семинар «f-GAN»
29 марта 6 Лекция «Байесовские нейронные сети»
Семинар «Локальная репараметризация»
5 апреля 7 Лекция «Байесовское сжатие нейронных сетей»
Семинар «Deep Markov chain Monte Carlo (MCMC)»
12 апреля 8 Лекция «Полунеявный вариационный вывод»
Семинар «VampPrior»

Материалы

Обновляемый список материалов (статей и т.п.)

Папка с конспектами прошлогодних лекций/семинаров

Замечание: рукописные конспекты лекций и семинаров это в первую очередь заметки лектора и семинаристов, а не материалы по курсу. В них могут содержать неточности!

Литература

  1. Murphy K.P. Machine Learning: A Probabilistic Perspective. The MIT Press, 2012.
  2. Bishop C.M. Pattern Recognition and Machine Learning. Springer, 2006.
  3. Mackay D.J.C. Information Theory, Inference, and Learning Algorithms. Cambridge University Press, 2003.
  4. Ian Goodfellow and Yoshua Bengio and Aaron Courville Deep Learning. MIT Press, 2016.

Список релевантных статей можно найти в англоязычной программе аналогичного курса.

См. также

Курс «Байесовские методы машинного обучения»

Математические методы прогнозирования (кафедра ВМиК МГУ)

Личные инструменты