Нейробайесовские методы машинного обучения (курс лекций) / 2019

Материал из MachineLearning.

Перейти к: навигация, поиск


Черновой вариант страницы!

Курс посвящен применению байесовских методов в глубинном обучении. На лекциях будет рассказано о применении вероятностного моделирования для построения порождающих моделей данных, использованию состящающихся сетей для приближенного вывода, моделированию неопределенности в параметрах нейронной сети и о некоторых открытых проблемах глубинного обучения.

Лектор: Д.П. Ветров,

Семинаристы: Александр Гришин, Кирилл Струминский, Дмитрий Молчанов, Кирилл Неклюдов, Артём Соболев, Арсений Ашуха, Олег Иванов, Екатерина Лобачева.

По всем вопросам, связанным с курсом, просьба писать на bayesml@gmail.com, в тему письма обязательно добавлять тег [ВМК НБМ18]. Письма без данного тега с большой вероятностью будут утеряны.

Также у курса есть чат в телеграме. Все объявления по курсу будут вывешиваться именно в чате! Ссылка на него будет разослана студентам на почту групп. Если вам ссылка не пришла, то пишите для ее получения на почту курса.

Новости

Система выставления оценок по курсу

В рамках курса предполагается выполнение трех практических заданий и устный экзамен. Каждое задание и экзамен оцениваются из 10-ти баллов.

  • Необходимым условием получения положительной оценки за курс является сдача не менее одного практического задания и сдача устного экзамена не менее чем на оценку «удовлетворительно».
  • Необходимым условием получения оценки выше «удовлетворительно» является сдача не менее двух практических заданий.
  • Итоговый балл за курс вычисляется по формуле 0.7*<Средняя_оценка_за_задания> + 0.3*<Оценка_за_экзамен>. Итоговый балл округляется математически.
  • Оценке 5 в пятибальной шкале соответствует оценка 8 и выше, оценке 4 -- оценка [6, 8), оценке 3 -- промежуток [4, 6).

Практические задания

  • В рамках курса предполагается выполнение трех практических заданий на следующие темы: VAE, Normalizing flows, Sparse Variational Dropout.
  • Приём заданий по курсу осуществляется в системе anytask.org. По поводу приглашений в систему можно обратиться на почту курса.
  • Все задания сдаются на Python 3 с использованием PyTorch.
  • Все задания должны выполняться студентами самостоятельно. Использование кода коллег или кода из открытых источников запрещено и будет считаться плагиатом. Все студенты, замешанные в плагиате (в том числе и те, у кого списали), будут сурово наказаны.
  • Все задания оцениваются из 10 баллов. За сдачу заданий позже срока начисляется штраф в размере 0.3 балла за каждый день просрочки, но суммарно не более 6-и баллов. В среднем на выполнение каждого задания будет даваться 2 недели. В некоторых заданиях будут бонусные пункты.

Примерные даты выдачи заданий: 1 марта, 1 марта, 29 марта

Ближе к экзамену будет объявлена дата жесткого дедлайна по всем заданиям.

Расписание занятий

В 2019 году курс читается на факультете ВМиК МГУ по пятницам в ауд. 526б, начало в 14-35 (лекция) и 16-20 (семинар).

Дата № занятия Занятие Материалы
15 февраля 1 Лекция «Стохастический вариационный вывод» Статья Конспект 1 Конспект 2
Семинар «Применение SVI на примере масштабируемых тематических моделей» Конспект 1 Конспект 2
22 февраля 2 Лекция « Дважды стохастический вариационный вывод» Статья Конспект 1 Конспект 2
Семинар «Дисперсия стохастических градиентов в примерах» Статья Конспект
1 марта 3 Лекция «Вариационный автокодировщик, нормализующие потоки для вариационного вывода» Статья Конспект 1 Конспект 2
Семинар «Репараметризация, оценки с выборкой по значимости (IWAE)» Статья Конспект
15 марта 4 Лекция «Оценка отношения плотностей распределений, применение на примере \alpha-GAN» Статья Конспект
Семинар «f-GAN» Статья Конспект
22 марта 5 Лекция «Байесовские нейронные сети» Статья Конспект
Семинар «Локальная репараметризация» Конспект
29 марта 6 Лекция «Байесовское сжатие нейронных сетей» Конспект
Семинар «Deep Markov chain Monte Carlo (MCMC)»
5 апреля 7 Лекция «Методы снижения дисперсии в моделях со скрытыми переменными» Конспект
Семинар «Методы снижения дисперсии в моделях со скрытыми переменными»
12 апреля 8 Лекция «Полунеявный вариационный вывод»
Семинар «VampPrior»

Литература

  1. Murphy K.P. Machine Learning: A Probabilistic Perspective. The MIT Press, 2012.
  2. Bishop C.M. Pattern Recognition and Machine Learning. Springer, 2006.
  3. Mackay D.J.C. Information Theory, Inference, and Learning Algorithms. Cambridge University Press, 2003.
  4. Ian Goodfellow and Yoshua Bengio and Aaron Courville Deep Learning. MIT Press, 2016.

Список релевантных статей можно найти в англоязычной программе аналогичного курса.

См. также

Курс «Байесовские методы машинного обучения»