Нейробайесовские методы машинного обучения (курс лекций) / 2018

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Расписание занятий)
(Расписание занятий)
Строка 38: Строка 38:
|Семинар «Репараметризация, оценки с выборкой по значимости (IWAE)» || [https://arxiv.org/abs/1509.00519 Статья] [https://drive.google.com/open?id=1xA7MgD7GcZ1lpIQBPX7ppoap7IJSAUZQ Конспект]
|Семинар «Репараметризация, оценки с выборкой по значимости (IWAE)» || [https://arxiv.org/abs/1509.00519 Статья] [https://drive.google.com/open?id=1xA7MgD7GcZ1lpIQBPX7ppoap7IJSAUZQ Конспект]
|-
|-
-
| rowspan=2|16 марта 2018 || rowspan=2 align="center"| 5 || Лекция «Оценка отношения плотностей распределений, применение на примере \alpha-GAN» || -
+
| rowspan=2|16 марта 2018 || rowspan=2 align="center"| 5 || Лекция «Оценка отношения плотностей распределений, применение на примере \alpha-GAN» || [https://arxiv.org/abs/1706.04987 Статья] [https://drive.google.com/open?id=1yc8OijEH6HB-Rpo3L9WRBZ-0wr7Hx7cu Конспект]
|-
|-
-
|Семинар «f-GAN» || -
+
|Семинар «f-GAN» || [https://arxiv.org/abs/1606.00709 Статья] [https://drive.google.com/open?id=1nrR5GSwIjt6EFiwMa0nvU0xoZ0V4MJ91 Конспект]
|-
|-
-
| rowspan=2|23 марта 2018 || rowspan=2 align="center"| 6 || Лекция «Байесовские нейронные сети» || -
+
| rowspan=2|23 марта 2018 || rowspan=2 align="center"| 6 || Лекция «Байесовские нейронные сети» || [https://arxiv.org/abs/1506.02557 Статья] [https://drive.google.com/open?id=1Xe-jSIGXPD_MKE5TiJu9yZpt5oDOeEbi Конспект]
|-
|-
|Семинар «Локальная репараметризация» || -
|Семинар «Локальная репараметризация» || -
|-
|-
-
| rowspan=2|30 марта 2018 || rowspan=2 align="center"| 7 || Лекция «Байесовское сжатие нейронных сетей» || -
+
| rowspan=2|30 марта 2018 || rowspan=2 align="center"| 7 || Лекция «Байесовское сжатие нейронных сетей» || [https://drive.google.com/open?id=14fnK9PwSH2bEDbhtJs0NDbH1WpgXtot_ Конспект]
|-
|-
-
|Семинар «Тернарные сети, структурное байесовское разреживание» || -
+
|Семинар «Тернарные сети, структурное байесовское разреживание» || [https://drive.google.com/open?id=1bfBhwXCyiZpbjwcAIuhEZ8CKHrSIC48t Конспект]
|-
|-
| rowspan=2|6 апреля 2018 || rowspan=2 align="center"| 8 || Лекция «Методы снижения дисперсии в моделях со скрытыми переменными» || -
| rowspan=2|6 апреля 2018 || rowspan=2 align="center"| 8 || Лекция «Методы снижения дисперсии в моделях со скрытыми переменными» || -

Версия 14:10, 26 марта 2018


Курс посвящен применению байесовских методов в глубинном обучении. Более развернутое описание курса появится в скором времени.

Лектор: Д.П. Ветров,

Семинаристы: Екатерина Лобачева, Кирилл Струминский, Алексей Умнов, Дмитрий Молчанов, Артём Соболев, Дмитрий Подоприхин.

По всем вопросам, связанным с курсом, просьба писать на bayesml@gmail.com, в название письма обязательно добавлять [ВМК НБМ18].

Новости

01.03.18: Внимание! В ближайшую среду, 7 марта, будет проведено дополнительное занятие по курсу в ауд. 682. Начало в 14-35 (лекция) и в 16-20 (семинар).

Практические задания

Приём заданий по курсу осуществляется в системе anytask.org. По поводу приглашений в систему можно обратиться на почту курса.

Расписание занятий

В 2018 году курс читается на факультете ВМиК МГУ по пятницам в ауд. 526б, начало в 14-35 (лекция) и 16-20 (семинар).

Дата № занятия Занятие Материалы
9 февраля 2018 1 Лекция «Вводное занятие по библиотеке PyTorch» -
16 февраля 2018 2 Лекция «Стохастический вариационный вывод» Статья Конспект 1 Конспект 2
Семинар «Применение SVI на примере масштабируемых тематических моделей» Конспект 1 Конспект 2
2 марта 2018 3 Лекция « Дважды стохастический вариационный вывод» Статья Конспект 1 Конспект 2
Семинар «Дисперсия стохастических градиентов в примерах» Статья Конспект
7 марта 2018 4 Лекция «Вариационный автокодировщик, нормализующие потоки для вариационного вывода» Статья Конспект 1 Конспект 2
Семинар «Репараметризация, оценки с выборкой по значимости (IWAE)» Статья Конспект
16 марта 2018 5 Лекция «Оценка отношения плотностей распределений, применение на примере \alpha-GAN» Статья Конспект
Семинар «f-GAN» Статья Конспект
23 марта 2018 6 Лекция «Байесовские нейронные сети» Статья Конспект
Семинар «Локальная репараметризация» -
30 марта 2018 7 Лекция «Байесовское сжатие нейронных сетей» Конспект
Семинар «Тернарные сети, структурное байесовское разреживание» Конспект
6 апреля 2018 8 Лекция «Методы снижения дисперсии в моделях со скрытыми переменными» -
Семинар «Обобщенная репараметризация, REBAR, RELAX» -

Система выставления оценок по курсу

В рамках курса предполагается два практических задания. Каждое задание оценивается из 10-ти баллов.

  1. При наличии несданных заданий максимальная возможная оценка за курс — это «удовлетворительно».
  2. Необходимым условием получения положительной оценки за курс является сдача не менее одного практического задания и сдача устного экзамена не менее чем на оценку «удовлетворительно».
  3. Итоговый балл за курс вычисляется по формуле 0.25*<Оценка_за_задание_1> + 0.25*<Оценка_за_задание_2> + 0.5*<Оценка_за_экзамен> с округлением в большую сторону.
  4. Штраф за просрочку сдачи заданий начисляется из расчета 0.3 балла в день, но не более 6 баллов.

Литература

  1. Murphy K.P. Machine Learning: A Probabilistic Perspective. The MIT Press, 2012.
  2. Bishop C.M. Pattern Recognition and Machine Learning. Springer, 2006.
  3. Mackay D.J.C. Information Theory, Inference, and Learning Algorithms. Cambridge University Press, 2003.
  4. "Ian Goodfellow and Yoshua Bengio and Aaron Courville" Deep Learning. MIT Press, 2016.

См. также

Курс «Байесовские методы машинного обучения»

Личные инструменты