Графические модели (курс лекций)/2015
Материал из MachineLearning.
Лектор: Д.П. Ветров,
Семинаристы: Д.А. Кропотов, М.В. Фигурнов.
По всем вопросам, связанным с курсом, просьба писать на bayesml@gmail.com, в название письма обязательно добавлять [ГМ15].
Экзамен
Экзамен по курсу состоится 17 апреля в ауд. 637, начало в 11-00. На экзамене при подготовке билета разрешается пользоваться любыми материалами.
Вопросы к экзамену + теоретический минимум (pdf)
Практические задания
Задание 1. Алгоритм Loopy Belief Propagation для низкоплотностных кодов.
Задание 2. Алгоритмы минимизации энергии для задачи склеивания панорам.
Расписание занятий
В 2015 году курс читается на факультете ВМиК МГУ по пятницам в ауд. 579, начало в 14-35 (лекция) и 16-20 (семинар).
Дата | № занятия | Занятие | Материалы |
---|---|---|---|
13 февраля 2015 | 1 | Лекция «Графические модели: байесовские и марковские сети, примеры применения» | Презентация по байесовским рассуждениям и графическим моделям |
Семинар «Фактор-графы, задачи вывода в ГМ, решение практических задач с помощью ГМ» | Презентация по практическим задачам | ||
20 февраля 2015 | 2 | Лекция «Алгоритм Belief Propagation (BP) для вывода в ациклических графических моделях. Алгоритм Loopy BP» | Конспект по алгоритмам передачи сообщений |
Семинар «Алгоритмы передачи сообщений» | |||
27 февраля 2015 | 3 | Лекция «Помехоустойчивое кодирование, теорема Шеннона, линейные коды, коды с малой плотностью проверок на чётность» | LDPC-коды в Википедии |
Семинар «Вывод формул для алгоритма декодирования в LDPC-кодах, выдача задания по кодированию» | |||
6 марта 2015 | 4 | Лекция «Скрытые марковские модели. Алгоритм сегментации сигнала, обучение с учителем и без учителя» | Презентация 1, Презентация 2 |
Семинар «Расширения скрытых марковских моделей» | |||
13 марта 2015 | 5 | Лекция «Линейные динамические системы. Фильтр Калмана. Расширенный фильтр Калмана.» | Конспект по ЛДС |
Семинар «Вывод формул фильтра Калмана» | |||
20 марта 2015 | 6 | Лекция «Алгоритмы на основе разрезов графов, -расширение.» | Презентация, конспект по разрезам графов |
Семинар «Алгоритмы разрезов графов» | |||
27 марта 2015 | 7 | Лекция «Алгоритм Tree-ReWeighted Message Passing (TRW) для вывода в циклических графических моделях» | Конспект по TRW |
Семинар «Двойственное разложение» | |||
3 апреля 2015 | 8 | Лекция «Структурный метод опорных векторов (SSVM)» | Конспект по SSVM |
Семинар «Слабое обучение структурного SVM» | |||
10 апреля 2015 | 9 | Лекция «Подход Expectation Propagation для приближённого вывода в графических моделях» | Методы вывода как алгоритмы передачи сообщений |
Семинар «Вывод формул EP для различных моделей» | Презентация по TrueSkill |
Оценки по курсу
№ п/п | Студент | Практические задания | Сумма | Экзамен | Оценка | |
---|---|---|---|---|---|---|
№1 | №2 | |||||
1 | Апишев Мурат | 3.9 | 7.0 | 10.9 | 0 | |
2 | Готман Мария | 2.3 | 4.5 | 6.8 | 4 | 4 |
3 | Дойков Никита | 4.7 | 4.4 | 9.1 | 5 | 5 |
4 | Козлов Владимир | 3.6 | 3.7 | 7.3 | 5 | 5 |
5 | Колмаков Евгений | 4.1 | 4.6 | 8.7 | 4 | 5 |
6 | Корольков Михаил | 3.9 | 3.9 | 0 | ||
7 | Лисяной Александр | 3.7 | 3.9 | 7.6 | 5 | 5 |
8 | Лукашкина Юлия | 4.4 | 7.0 | 11.4 | 4 | 5 |
9 | Ожерельев Илья | 2 | 4.5 | 6.5 | 5 | 5 |
10 | Родоманов Антон | 2 | 3.8 | 5.8 | 5 | 4 |
11 | Сендерович Никита | 4.3 | 4.4 | 8.7 | 5 | 5 |
12 | Славнов Константин | 4.6 | 6.7 | 11.3 | 5 | 5 |
13 | Тюрин Александр | 4 | 5.0 | 9 | 5 | 5 |
14 | Хальман Михаил | 1.5 | 3.8 | 5.3 | 4 | 4 |
15 | Хомутов Никита | 3.2 | 4.5 | 7.7 | 5 | 5 |
16 | Чистяков Александр | 3.4 | 7.0 | 10.4 | 5 | 5 |
17 | Шапулин Андрей | 1.8 | 4.5 | 6.3 | 4 | 4 |
18 | Шарчилев Борис (мехмат) | 3.5 | 3.5 |
Система выставления оценок по курсу
В рамках курса предполагается два практических задания. Каждое практическое задание оценивается из 5-ти баллов.
- При наличии несданных заданий максимальная возможная оценка за курс — это «удовлетворительно».
- Необходимым условием получения положительной оценки за курс является сдача не менее одного практического задания и сдача устного экзамена не менее чем на оценку «удовлетворительно».
- Итоговый балл за курс вычисляется по формуле Homework+2*Oral, где HomeWork — баллы, набранные за задания, а Oral — оценка за устный экзамен (0, 3, 4, 5). Для получения итоговой оценки 5 необходимо набрать 16 баллов, для оценки 4 — 13 баллов, для оценки 3 — 9 баллов.
- Штраф за просрочку сдачи заданий начисляется из расчета 0.1 балла в день, но не более 3 баллов.
Литература
- Barber D. Bayesian Reasoning and Machine Learning. Cambridge University Press, 2012.
- Murphy K.P. Machine Learning: A Probabilistic Perspective. The MIT Press, 2012.
- Bishop C.M. Pattern Recognition and Machine Learning. Springer, 2006.
- Mackay D.J.C. Information Theory, Inference, and Learning Algorithms. Cambridge University Press, 2003.
- Wainwright M.J., Jordan M.I. Graphical Models, Exponential Families, and Variational Inference. Foundations and Trends in Machine Learning, NOWPress, 2008.
- Koller D., Friedman N. Probabilistic Graphical Models: Principles and Techniques. The MIT Press, 2009.
- Cowell R.G., Dawid A.P., Lauritzen S.L., Spiegelhalter D.J. Probabilistic networks and expert systems. Berlin: Springer, 1999.
- Памятка по теории вероятностей
Страницы курса прошлых лет
См. также
Курс «Байесовские методы машинного обучения»
Спецсеминар «Байесовские методы машинного обучения»
Математические методы прогнозирования (кафедра ВМиК МГУ)
Онлайн-курс Стэнфордского университета по вероятностным графическим моделям