Нейробайесовские методы машинного обучения (курс лекций) / 2018

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Литература)
(Экзамен)
 
(12 промежуточных версий не показаны.)
Строка 1: Строка 1:
__NOTOC__
__NOTOC__
-
Курс посвящен применению байесовских методов в глубинном обучении. Более развернутое описание курса появится в скором времени.
+
Курс посвящен применению байесовских методов в глубинном обучении. На лекциях будет рассказано о применении вероятностного моделирования для построения порождающих моделей данных, использованию состящающихся сетей для приближенного вывода, моделированию неопределенности в параметрах нейронной сети и о некоторых открытых проблемах глубинного обучения.
'''Лектор:''' [[Участник:Dmitry Vetrov|Д.П. Ветров]],
'''Лектор:''' [[Участник:Dmitry Vetrov|Д.П. Ветров]],
-
'''Семинаристы:''' [[Участник:Tipt0p|Екатерина Лобачева]], [[Участник:Кирилл_Струминский|Кирилл Струминский]], Алексей Умнов, Дмитрий Молчанов, Артём Соболев, Дмитрий Подоприхин.
+
'''Семинаристы:''' [[Участник:Tipt0p|Екатерина Лобачева]], [[Участник:Кирилл_Струминский|Кирилл Струминский]], Алексей Умнов, Дмитрий Молчанов, Кирилл Неклюдов, Артём Соболев, Дмитрий Подоприхин.
По всем вопросам, связанным с курсом, просьба писать на ''bayesml@gmail.com'', в название письма обязательно добавлять [ВМК НБМ18].
По всем вопросам, связанным с курсом, просьба писать на ''bayesml@gmail.com'', в название письма обязательно добавлять [ВМК НБМ18].
Строка 11: Строка 11:
== Новости ==
== Новости ==
-
В данном разделе будут появляться новости курса.
+
'''01.03.18''': Внимание! В ближайшую среду 7 марта будет проведено дополнительное занятие по курсу в ауд. 682. Начало в 14-35 (лекция) и в 16-20 (семинар).
 +
 
 +
'''16.04.18''': Выложен список вопросов к экзамену.
 +
 
 +
== Экзамен ==
 +
 
 +
Экзамен по курсу состоится 25-го апреля в 14:30 в аудитории 682. На экзамене при подготовке билета разрешается пользоваться любыми материалами. При непосредственном ответе ничем пользоваться нельзя. Просьба обратить внимание на теоретический минимум по курсу — незнание ответов на вопросы теоретического минимума автоматически влечёт неудовлетворительную оценку за экзамен.
 +
 
 +
[https://drive.google.com/open?id=1SJUZJrMdrBSJkluBO6gsIHEvKFhhTXgm Вопросы к экзамену]
== Практические задания ==
== Практические задания ==
Строка 19: Строка 27:
== Расписание занятий ==
== Расписание занятий ==
-
В 2018 году курс читается на факультете [[ВМиК]] МГУ по пятницам в ауд. ???, начало в 14-35 (лекция) и 16-20 (семинар).
+
В 2018 году курс читается на факультете [[ВМиК]] МГУ по пятницам в ауд. 526б, начало в 14-35 (лекция) и 16-20 (семинар).
{| class="standard"
{| class="standard"
Строка 26: Строка 34:
|| 9 февраля 2018 || align="center"| 1 || Лекция «Вводное занятие по библиотеке PyTorch» || -
|| 9 февраля 2018 || align="center"| 1 || Лекция «Вводное занятие по библиотеке PyTorch» || -
|-
|-
-
| rowspan=2|16 февраля 2018 || rowspan=2 align="center"| 2 || Лекция «Стохастический вариационный вывод» || -
+
| rowspan=2|16 февраля 2018 || rowspan=2 align="center"| 2 || Лекция «Стохастический вариационный вывод» || [http://jmlr.org/papers/volume14/hoffman13a/hoffman13a.pdf Статья] [https://drive.google.com/open?id=1xpyRGciHP5geqO6FsFPCzIwt48H9j_HU Конспект 1] [https://drive.google.com/file/d/1e7qbQlGu1Bz7gEMNvBJX8FUK2_iBsvgC/view?usp=sharing Конспект 2]
 +
|-
 +
|Семинар «Применение SVI на примере масштабируемых тематических моделей» || [https://drive.google.com/open?id=1d9i6gtjh6O9SWWrpspsGyHh2l_l5nPps Конспект 1] [https://drive.google.com/open?id=19liA5y-ohzJVGGcTPpn20VNlwIeLulGl Конспект 2]
 +
|-
 +
| rowspan=2|2 марта 2018 || rowspan=2 align="center"| 3 || Лекция « Дважды стохастический вариационный вывод» || [https://arxiv.org/abs/1401.0118 Статья] [https://drive.google.com/open?id=1XCXER3BBmZEfonck3GtgI51UrYLylpEd Конспект 1] [https://drive.google.com/open?id=1B9FyafFZSQQUs7vmXzjWqkSGX-riydhl Конспект 2]
|-
|-
-
|Семинар «Применение SVI на примере масштабируемых тематических моделей» || -
+
|Семинар «Дисперсия стохастических градиентов в примерах» || [https://arxiv.org/abs/1411.2581 Статья] [https://drive.google.com/open?id=1jPSrlZgc_qPS9gag4AFXSKdaOYROrKG9 Конспект]
|-
|-
-
| rowspan=2|2 марта 2018 || rowspan=2 align="center"| 3 || Лекция «Вариационный автокодировщик, нормализующие потоки для вариационного вывода» || -
+
| rowspan=2|7 марта 2018 || rowspan=2 align="center"| 4 || Лекция «Вариационный автокодировщик, нормализующие потоки для вариационного вывода» || [https://arxiv.org/abs/1312.6114 Статья] [https://drive.google.com/open?id=1YURVywJtizqD2lUSGRA2qfX_4OempOlt Конспект 1] [https://drive.google.com/open?id=1jcixsZ9tDE50Fl1dCfEvv7JKyrDtkNH8 Конспект 2]
|-
|-
-
|Семинар «Репараметризация, оценки с выборкой по значимости (IWAE)» || -
+
|Семинар «Репараметризация, оценки с выборкой по значимости (IWAE)» || [https://arxiv.org/abs/1509.00519 Статья] [https://drive.google.com/open?id=1xA7MgD7GcZ1lpIQBPX7ppoap7IJSAUZQ Конспект]
|-
|-
-
| rowspan=2|16 марта 2018 || rowspan=2 align="center"| 4 || Лекция «Оценка отношения плотностей распределений, применение на примере \alpha-GAN» || -
+
| rowspan=2|16 марта 2018 || rowspan=2 align="center"| 5 || Лекция «Оценка отношения плотностей распределений, применение на примере \alpha-GAN» || [https://arxiv.org/abs/1706.04987 Статья] [https://drive.google.com/open?id=1yc8OijEH6HB-Rpo3L9WRBZ-0wr7Hx7cu Конспект]
|-
|-
-
|Семинар «f-GAN» || -
+
|Семинар «f-GAN» || [https://arxiv.org/abs/1606.00709 Статья] [https://drive.google.com/open?id=1nrR5GSwIjt6EFiwMa0nvU0xoZ0V4MJ91 Конспект]
|-
|-
-
| rowspan=2|23 марта 2018 || rowspan=2 align="center"| 5 || Лекция «Байесовские нейронные сети» || -
+
| rowspan=2|23 марта 2018 || rowspan=2 align="center"| 6 || Лекция «Байесовские нейронные сети» || [https://arxiv.org/abs/1506.02557 Статья] [https://drive.google.com/open?id=1Xe-jSIGXPD_MKE5TiJu9yZpt5oDOeEbi Конспект]
|-
|-
-
|Семинар «Локальная репараметризация» || -
+
|Семинар «Локальная репараметризация» || [https://drive.google.com/open?id=158ItZIA39JyPj9d0bxU9c3QlqQDGonPn Конспект]
|-
|-
-
| rowspan=2|30 марта 2018 || rowspan=2 align="center"| 6 || Лекция «Байесовское сжатие нейронных сетей» || -
+
| rowspan=2|30 марта 2018 || rowspan=2 align="center"| 7 || Лекция «Байесовское сжатие нейронных сетей» || [https://drive.google.com/open?id=14fnK9PwSH2bEDbhtJs0NDbH1WpgXtot_ Конспект]
|-
|-
-
|Семинар «Тернарные сети, структурное байесовское разреживание» || -
+
|Семинар «Тернарные сети, структурное байесовское разреживание» || [https://drive.google.com/open?id=1bfBhwXCyiZpbjwcAIuhEZ8CKHrSIC48t Конспект]
|-
|-
-
| rowspan=2|6 апреля 2018 || rowspan=2 align="center"| 7 || Лекция «Методы снижения дисперсии в моделях со скрытыми переменными» || -
+
| rowspan=2|6 апреля 2018 || rowspan=2 align="center"| 8 || Лекция «Методы снижения дисперсии в моделях со скрытыми переменными» || rowspan=2 | [https://drive.google.com/open?id=1SQBrPU5kz1zRizJ3ZxrnrK3JQawul5Mn Конспект]
|-
|-
-
|Семинар «Обобщенная репараметризация, REBAR, RELAX» || -
+
|Семинар «Обобщенная репараметризация, REBAR, RELAX»
|-
|-
|}
|}

Текущая версия


Курс посвящен применению байесовских методов в глубинном обучении. На лекциях будет рассказано о применении вероятностного моделирования для построения порождающих моделей данных, использованию состящающихся сетей для приближенного вывода, моделированию неопределенности в параметрах нейронной сети и о некоторых открытых проблемах глубинного обучения.

Лектор: Д.П. Ветров,

Семинаристы: Екатерина Лобачева, Кирилл Струминский, Алексей Умнов, Дмитрий Молчанов, Кирилл Неклюдов, Артём Соболев, Дмитрий Подоприхин.

По всем вопросам, связанным с курсом, просьба писать на bayesml@gmail.com, в название письма обязательно добавлять [ВМК НБМ18].

Новости

01.03.18: Внимание! В ближайшую среду 7 марта будет проведено дополнительное занятие по курсу в ауд. 682. Начало в 14-35 (лекция) и в 16-20 (семинар).

16.04.18: Выложен список вопросов к экзамену.

Экзамен

Экзамен по курсу состоится 25-го апреля в 14:30 в аудитории 682. На экзамене при подготовке билета разрешается пользоваться любыми материалами. При непосредственном ответе ничем пользоваться нельзя. Просьба обратить внимание на теоретический минимум по курсу — незнание ответов на вопросы теоретического минимума автоматически влечёт неудовлетворительную оценку за экзамен.

Вопросы к экзамену

Практические задания

Приём заданий по курсу осуществляется в системе anytask.org. По поводу приглашений в систему можно обратиться на почту курса.

Расписание занятий

В 2018 году курс читается на факультете ВМиК МГУ по пятницам в ауд. 526б, начало в 14-35 (лекция) и 16-20 (семинар).

Дата № занятия Занятие Материалы
9 февраля 2018 1 Лекция «Вводное занятие по библиотеке PyTorch» -
16 февраля 2018 2 Лекция «Стохастический вариационный вывод» Статья Конспект 1 Конспект 2
Семинар «Применение SVI на примере масштабируемых тематических моделей» Конспект 1 Конспект 2
2 марта 2018 3 Лекция « Дважды стохастический вариационный вывод» Статья Конспект 1 Конспект 2
Семинар «Дисперсия стохастических градиентов в примерах» Статья Конспект
7 марта 2018 4 Лекция «Вариационный автокодировщик, нормализующие потоки для вариационного вывода» Статья Конспект 1 Конспект 2
Семинар «Репараметризация, оценки с выборкой по значимости (IWAE)» Статья Конспект
16 марта 2018 5 Лекция «Оценка отношения плотностей распределений, применение на примере \alpha-GAN» Статья Конспект
Семинар «f-GAN» Статья Конспект
23 марта 2018 6 Лекция «Байесовские нейронные сети» Статья Конспект
Семинар «Локальная репараметризация» Конспект
30 марта 2018 7 Лекция «Байесовское сжатие нейронных сетей» Конспект
Семинар «Тернарные сети, структурное байесовское разреживание» Конспект
6 апреля 2018 8 Лекция «Методы снижения дисперсии в моделях со скрытыми переменными» Конспект
Семинар «Обобщенная репараметризация, REBAR, RELAX»

Система выставления оценок по курсу

В рамках курса предполагается два практических задания. Каждое задание оценивается из 10-ти баллов.

  1. При наличии несданных заданий максимальная возможная оценка за курс — это «удовлетворительно».
  2. Необходимым условием получения положительной оценки за курс является сдача не менее одного практического задания и сдача устного экзамена не менее чем на оценку «удовлетворительно».
  3. Итоговый балл за курс вычисляется по формуле 0.25*<Оценка_за_задание_1> + 0.25*<Оценка_за_задание_2> + 0.5*<Оценка_за_экзамен> с округлением в большую сторону.
  4. Штраф за просрочку сдачи заданий начисляется из расчета 0.3 балла в день, но не более 6 баллов.

Литература

  1. Murphy K.P. Machine Learning: A Probabilistic Perspective. The MIT Press, 2012.
  2. Bishop C.M. Pattern Recognition and Machine Learning. Springer, 2006.
  3. Mackay D.J.C. Information Theory, Inference, and Learning Algorithms. Cambridge University Press, 2003.
  4. "Ian Goodfellow and Yoshua Bengio and Aaron Courville" Deep Learning. MIT Press, 2016.

См. также

Курс «Байесовские методы машинного обучения»

Личные инструменты