Нейробайесовские методы машинного обучения (курс лекций) / 2019
Материал из MachineLearning.
(Различия между версиями)
(Новая: __NOTOC__ ''Черновой вариант страницы!'' Курс посвящен применению байесовских методов в глубинном обучен...) |
(→Расписание занятий) |
||
| Строка 44: | Строка 44: | ||
!Дата !! № занятия !! Занятие !! Материалы | !Дата !! № занятия !! Занятие !! Материалы | ||
|- | |- | ||
| - | + | | rowspan=2|15 февраля || rowspan=2 align="center"| 1 || Лекция «Стохастический вариационный вывод» || [http://jmlr.org/papers/volume14/hoffman13a/hoffman13a.pdf Статья] [https://drive.google.com/open?id=1xpyRGciHP5geqO6FsFPCzIwt48H9j_HU Конспект 1] [https://drive.google.com/file/d/1e7qbQlGu1Bz7gEMNvBJX8FUK2_iBsvgC/view?usp=sharing Конспект 2] | |
| - | + | ||
| - | | rowspan=2| | + | |
|- | |- | ||
|Семинар «Применение SVI на примере масштабируемых тематических моделей» || [https://drive.google.com/open?id=1d9i6gtjh6O9SWWrpspsGyHh2l_l5nPps Конспект 1] [https://drive.google.com/open?id=19liA5y-ohzJVGGcTPpn20VNlwIeLulGl Конспект 2] | |Семинар «Применение SVI на примере масштабируемых тематических моделей» || [https://drive.google.com/open?id=1d9i6gtjh6O9SWWrpspsGyHh2l_l5nPps Конспект 1] [https://drive.google.com/open?id=19liA5y-ohzJVGGcTPpn20VNlwIeLulGl Конспект 2] | ||
|- | |- | ||
| - | | rowspan=2| | + | | rowspan=2|22 февраля || rowspan=2 align="center"| 2 || Лекция « Дважды стохастический вариационный вывод» || [https://arxiv.org/abs/1401.0118 Статья] [https://drive.google.com/open?id=1XCXER3BBmZEfonck3GtgI51UrYLylpEd Конспект 1] [https://drive.google.com/open?id=1B9FyafFZSQQUs7vmXzjWqkSGX-riydhl Конспект 2] |
|- | |- | ||
|Семинар «Дисперсия стохастических градиентов в примерах» || [https://arxiv.org/abs/1411.2581 Статья] [https://drive.google.com/open?id=1jPSrlZgc_qPS9gag4AFXSKdaOYROrKG9 Конспект] | |Семинар «Дисперсия стохастических градиентов в примерах» || [https://arxiv.org/abs/1411.2581 Статья] [https://drive.google.com/open?id=1jPSrlZgc_qPS9gag4AFXSKdaOYROrKG9 Конспект] | ||
|- | |- | ||
| - | | rowspan=2| | + | | rowspan=2|1 марта || rowspan=2 align="center"| 3 || Лекция «Вариационный автокодировщик, нормализующие потоки для вариационного вывода» || [https://arxiv.org/abs/1312.6114 Статья] [https://drive.google.com/open?id=1YURVywJtizqD2lUSGRA2qfX_4OempOlt Конспект 1] [https://drive.google.com/open?id=1jcixsZ9tDE50Fl1dCfEvv7JKyrDtkNH8 Конспект 2] |
|- | |- | ||
|Семинар «Репараметризация, оценки с выборкой по значимости (IWAE)» || [https://arxiv.org/abs/1509.00519 Статья] [https://drive.google.com/open?id=1xA7MgD7GcZ1lpIQBPX7ppoap7IJSAUZQ Конспект] | |Семинар «Репараметризация, оценки с выборкой по значимости (IWAE)» || [https://arxiv.org/abs/1509.00519 Статья] [https://drive.google.com/open?id=1xA7MgD7GcZ1lpIQBPX7ppoap7IJSAUZQ Конспект] | ||
|- | |- | ||
| - | | rowspan=2| | + | | rowspan=2|15 марта || rowspan=2 align="center"| 4 || Лекция «Оценка отношения плотностей распределений, применение на примере \alpha-GAN» || [https://arxiv.org/abs/1706.04987 Статья] [https://drive.google.com/open?id=1yc8OijEH6HB-Rpo3L9WRBZ-0wr7Hx7cu Конспект] |
|- | |- | ||
|Семинар «f-GAN» || [https://arxiv.org/abs/1606.00709 Статья] [https://drive.google.com/open?id=1nrR5GSwIjt6EFiwMa0nvU0xoZ0V4MJ91 Конспект] | |Семинар «f-GAN» || [https://arxiv.org/abs/1606.00709 Статья] [https://drive.google.com/open?id=1nrR5GSwIjt6EFiwMa0nvU0xoZ0V4MJ91 Конспект] | ||
|- | |- | ||
| - | | rowspan=2| | + | | rowspan=2|22 марта || rowspan=2 align="center"| 5 || Лекция «Байесовские нейронные сети» || [https://arxiv.org/abs/1506.02557 Статья] [https://drive.google.com/open?id=1Xe-jSIGXPD_MKE5TiJu9yZpt5oDOeEbi Конспект] |
|- | |- | ||
|Семинар «Локальная репараметризация» || [https://drive.google.com/open?id=158ItZIA39JyPj9d0bxU9c3QlqQDGonPn Конспект] | |Семинар «Локальная репараметризация» || [https://drive.google.com/open?id=158ItZIA39JyPj9d0bxU9c3QlqQDGonPn Конспект] | ||
|- | |- | ||
| - | | rowspan=2| | + | | rowspan=2|29 марта || rowspan=2 align="center"| 6 || Лекция «Байесовское сжатие нейронных сетей» || [https://drive.google.com/open?id=14fnK9PwSH2bEDbhtJs0NDbH1WpgXtot_ Конспект] |
| + | |- | ||
| + | |Семинар «Deep Markov chain Monte Carlo (MCMC)» || | ||
| + | |- | ||
| + | | rowspan=2|5 апреля || rowspan=2 align="center"| 7 || Лекция «Методы снижения дисперсии в моделях со скрытыми переменными» || rowspan=2 | [https://drive.google.com/open?id=1SQBrPU5kz1zRizJ3ZxrnrK3JQawul5Mn Конспект] | ||
|- | |- | ||
| - | |Семинар | + | |Семинар «Методы снижения дисперсии в моделях со скрытыми переменными» |
|- | |- | ||
| - | | rowspan=2| | + | | rowspan=2|12 апреля || rowspan=2 align="center"| 8 || Лекция «Полунеявный вариационный вывод» || rowspan=2 | |
|- | |- | ||
| - | |Семинар | + | |Семинар «VampPrior» |
|- | |- | ||
|} | |} | ||
Версия 13:50, 11 февраля 2019
Черновой вариант страницы!
Курс посвящен применению байесовских методов в глубинном обучении. На лекциях будет рассказано о применении вероятностного моделирования для построения порождающих моделей данных, использованию состящающихся сетей для приближенного вывода, моделированию неопределенности в параметрах нейронной сети и о некоторых открытых проблемах глубинного обучения.
Лектор: Д.П. Ветров,
Семинаристы: Александр Гришин, Кирилл Струминский, Дмитрий Молчанов, Кирилл Неклюдов, Артём Соболев, Арсений Ашуха, Олег Иванов, Екатерина Лобачева.
По всем вопросам, связанным с курсом, просьба писать на bayesml@gmail.com, в тему письма обязательно добавлять тег [ВМК НБМ18]. Письма без данного тега с большой вероятностью будут утеряны.
Также у курса есть чат в телеграме. Все объявления по курсу будут вывешиваться именно в чате! Ссылка на него будет разослана студентам на почту групп. Если вам ссылка не пришла, то пишите для ее получения на почту курса.
Новости
Система выставления оценок по курсу
В рамках курса предполагается выполнение трех практических заданий и устный экзамен. Каждое задание и экзамен оцениваются из 10-ти баллов.
- Необходимым условием получения положительной оценки за курс является сдача не менее одного практического задания и сдача устного экзамена не менее чем на оценку «удовлетворительно».
- Необходимым условием получения оценки выше «удовлетворительно» является сдача не менее двух практических заданий.
- Итоговый балл за курс вычисляется по формуле 0.7*<Средняя_оценка_за_задания> + 0.3*<Оценка_за_экзамен>. Итоговый балл округляется математически.
- Оценке 5 в пятибальной шкале соответствует оценка 8 и выше, оценке 4 -- оценка [6, 8), оценке 3 -- промежуток [4, 6).
Практические задания
- В рамках курса предполагается выполнение трех практических заданий на следующие темы: VAE, Normalizing flows, Sparse Variational Dropout.
- Приём заданий по курсу осуществляется в системе anytask.org. По поводу приглашений в систему можно обратиться на почту курса.
- Все задания сдаются на Python 3 с использованием PyTorch.
- Все задания должны выполняться студентами самостоятельно. Использование кода коллег или кода из открытых источников запрещено и будет считаться плагиатом. Все студенты, замешанные в плагиате (в том числе и те, у кого списали), будут сурово наказаны.
- Все задания оцениваются из 10 баллов. За сдачу заданий позже срока начисляется штраф в размере 0.3 балла за каждый день просрочки, но суммарно не более 6-и баллов. В среднем на выполнение каждого задания будет даваться 2 недели. В некоторых заданиях будут бонусные пункты.
Примерные даты выдачи заданий: 1 марта, 1 марта, 29 марта
Ближе к экзамену будет объявлена дата жесткого дедлайна по всем заданиям.
Расписание занятий
В 2019 году курс читается на факультете ВМиК МГУ по пятницам в ауд. 526б, начало в 14-35 (лекция) и 16-20 (семинар).
| Дата | № занятия | Занятие | Материалы |
|---|---|---|---|
| 15 февраля | 1 | Лекция «Стохастический вариационный вывод» | Статья Конспект 1 Конспект 2 |
| Семинар «Применение SVI на примере масштабируемых тематических моделей» | Конспект 1 Конспект 2 | ||
| 22 февраля | 2 | Лекция « Дважды стохастический вариационный вывод» | Статья Конспект 1 Конспект 2 |
| Семинар «Дисперсия стохастических градиентов в примерах» | Статья Конспект | ||
| 1 марта | 3 | Лекция «Вариационный автокодировщик, нормализующие потоки для вариационного вывода» | Статья Конспект 1 Конспект 2 |
| Семинар «Репараметризация, оценки с выборкой по значимости (IWAE)» | Статья Конспект | ||
| 15 марта | 4 | Лекция «Оценка отношения плотностей распределений, применение на примере \alpha-GAN» | Статья Конспект |
| Семинар «f-GAN» | Статья Конспект | ||
| 22 марта | 5 | Лекция «Байесовские нейронные сети» | Статья Конспект |
| Семинар «Локальная репараметризация» | Конспект | ||
| 29 марта | 6 | Лекция «Байесовское сжатие нейронных сетей» | Конспект |
| Семинар «Deep Markov chain Monte Carlo (MCMC)» | |||
| 5 апреля | 7 | Лекция «Методы снижения дисперсии в моделях со скрытыми переменными» | Конспект |
| Семинар «Методы снижения дисперсии в моделях со скрытыми переменными» | |||
| 12 апреля | 8 | Лекция «Полунеявный вариационный вывод» | |
| Семинар «VampPrior» |
Литература
- Murphy K.P. Machine Learning: A Probabilistic Perspective. The MIT Press, 2012.
- Bishop C.M. Pattern Recognition and Machine Learning. Springer, 2006.
- Mackay D.J.C. Information Theory, Inference, and Learning Algorithms. Cambridge University Press, 2003.
- Ian Goodfellow and Yoshua Bengio and Aaron Courville Deep Learning. MIT Press, 2016.
Список релевантных статей можно найти в англоязычной программе аналогичного курса.
