Байесовские методы машинного обучения (курс лекций, Д.П. Ветров, Д.А. Кропотов)/2015

Материал из MachineLearning.

(Различия между версиями)

Текущая версия

Курс посвящен т.н. байесовским методам решения различных задач машинного обучения (классификации, восстановления регрессии, уменьшения размерности, разделения смесей, тематического моделирования и др.), которые в настоящее время активно развиваются в мире. Большинство современных научных публикаций по машинному обучению используют вероятностное моделирование, опирающееся на байесовский подход к теории вероятностей. Последний позволяет эффективно учитывать различные предпочтения пользователя при построении решающих правил прогноза. Кроме того, он позволяет решать задачи выбора структурных параметров модели. В частности, здесь удается решать без комбинаторного перебора задачи селекции признаков, выбора числа кластеров в данных, размерности редуцированного пространства при уменьшении размерности, значений коэффициентов регуляризации и пр. В байесовском подходе вероятность интерпретируется как мера незнания, а не как объективная случайность. Простые правила оперирования с вероятностью, такие как формула полной вероятности и формула Байеса, позволяют проводить рассуждения в условиях неопределенности. В этом смысле байесовский подход к теории вероятностей можно рассматривать как обобщение классической булевой логики.

Основной задачей курса является привитие студентам навыков самостоятельного построения сложных вероятностных моделей обработки данных, используя стандартные модели в качестве своеобразных "кирпичиков". Особое внимание уделяется приближенным байесовским методам, позволяющим обсчитывать сложные вероятностные модели.

Лектор: Д.П. Ветров,

Семинаристы: Д.А. Кропотов, Е.М. Лобачева.

Таблица с результатами находится здесь.

Вопросы и комментарии по курсу, а также сдаваемые задания нужно отправлять на почту bayesml@gmail.com. В название письма обязательно добавлять тег [БММО15].

Формат темы письма:

[БММО15]Вопрос — для вопросов;
[БММО15]Практика №, Фамилия Имя, Вариант № — для практический заданий (если вариант только один, то его указывать не нужно);
[БММО15]Теория №, Фамилия Имя — для домашних заданий.

Просьба не смешивать темы, то есть не нужно присылать в одном письме практическое задание и домашнее.

Экзамен

Экзамен по курсу состоится 10 января в ауд. 510, начало в 11-00. На экзамене при подготовке билета разрешается пользоваться любыми материалами. При непосредственном ответе ничем пользоваться нельзя. Просьба обратить внимание на теоретический минимум по курсу — незнание ответов на вопросы теор. минимума автоматически влечёт неудовлетворительную оценку за экзамен.

Вопросы к экзамену

Расписание занятий

В 2015 году курс читается на факультете ВМиК МГУ по пятницам в ауд. 510, начало в 14-35 (лекция) и 16-20 (семинар).

Дата	№ занятия	Занятие	Материалы
4 сентября 2015	1	Лекция «Байесовский подход к теории вероятностей. Примеры байесовских рассуждений.»	Конспект (pdf) Презентация (pdf)
4 сентября 2015	1	Семинар «Байесовские рассуждения. Выдача практического задания №1»	Задачи (pdf)
11 сентября 2015	2	Лекция «Сопряжённые распределения, аналитический байесовский вывод, экспоненциальный класс распределений»
11 сентября 2015	2	Семинар «Сопряжённые распределения»	Задачи (pdf)
18 сентября 2015	3	Лекция «Байесовский выбор модели»	Презентация (pdf)
18 сентября 2015	3	Семинар «Подсчёт обоснованности моделей»	Задачи (pdf)
2 октября 2015	4	Лекция «Метод релевантных векторов для задачи регрессии»	Презентация (pdf)
2 октября 2015	4	Семинар «Матричные вычисления»	Конспект по матричным вычислениям и нормальному распределению (pdf)
16 октября 2015	5	Лекция «Метод релевантных векторов для задачи классификации»	Конспект (pdf)
16 октября 2015	5	Семинар «Метод релевантных векторов»	Презентация (pdf)
23 октября 2015	6	Лекция «EM-алгоритм. Байесовский метод главных компонент»	Конспект (pdf)
23 октября 2015	6	Семинар «ЕМ-алгоритм»
30 октября 2015	7	Лекция «Вариационный вывод»	Конспект лекции (pdf) Конспект (pdf)
30 октября 2015	7	Семинар «Вариационный вывод»	Задачи (pdf) Презентация (pdf)
6 ноября 2015	8	Лекция «Методы Монте Карло по схеме марковский цепей (MCMC)»	Конспект (pdf)
6 ноября 2015	8	Семинар «Методы MCMC»
13 ноября 2015	9	Лекция «Гауссовские процессы для регрессии и классификации»
13 ноября 2015	9	Семинар «Гауссовские процессы для регрессии и классификации»
20 ноября 2015	10	Лекция «Непараметрические байесовские методы. Процессы Дирихле»	Конспект (pdf)
20 ноября 2015	10	Семинар «Свойства распределения Дирихле. Выдача задания №3»
27 ноября 2015	11	Лекция «Латентное размещение Дирихле (LDA)»	Конспект (pdf)
27 ноября 2015	11	Семинар «Модификации LDA»	Статья
4 декабря 2015	12	Лекция «Стохастический вариационный вывод. Вариационный автокодировщик»	Статья 1, Статья 2
11 декабря 2015	13	Лекция «Несопряжённый вариационный вывод и вариационный вывод для больших данных»	Статья 1, Статья 2

Домашние задания

Задание 1. Сопряжённые распределения и экспоненциальный класс распределений. Срок сдачи — 18 сентября (пятница), 23:59.

Задание 2. Матричные вычисления. Срок сдачи — 9 октября (пятница), 23:59.

Задание 3. Вариационный вывод. Срок сдачи — 6 ноября (пятница), 23:59.

Практические задания

Задание 1. Байесовские рассуждения

Срок сдачи: 20 сентября (воскресенье), 23:59.

Распределение студентов по вариантам находится на втором листе здесь.

Задание 2. ЕМ алгоритм для детектива

Прототипы функций находятся здесь, а текущий набор данных – здесь.

Срок сдачи: 8 ноября (воскресенье), 23:59.

Данные будут выкладываться 24, 27, 30 октября и 2, 5 ноября.

Задание 3. Процессы Дирихле для кластеризации изображений цифр

Срок сдачи: 13 декабря (воскресенье), 23:59.

Система выставления оценок по курсу

В рамках курса предполагается выполнение трёх практических заданий и трёх домашних заданий.
Задания выполняются самостоятельно. Если задание выполнялось сообща, или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчете. В противном случае „похожие“ решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.
При наличии несданных практических заданий максимальная возможная оценка за курс — это «удовлетворительно».
Практические задания оцениваются из 5 баллов. За сдачу заданий позже срока начисляется штраф в размере 0.1 балла за каждый день просрочки, но суммарно не более 5-и баллов.
Домашние задания оцениваются из 2 баллов. За сдачу заданий позже срока начисляется штраф в размере 0.1 балла за каждый день просрочки. Задания не принимаются спустя неделю после срока.
Необходимым условием получения положительной оценки за курс является сдача не менее двух практических заданий и сдача устного экзамена не менее чем на оценку «удовлетворительно».
Итоговая оценка вычисляется по формуле $Mark = \frac{Oral*4+HomeWork}{8}$ , где Oral — оценка за устный экзамен (0, 3, 4, 5), HomeWork — баллы, набранные за практические и домашние задания (см. таблицу выше), Mark — итоговая оценка по 5-балльной шкале. Нецелые значения округляются в сторону ближайшего целого, превосходящего дробное значение.
На экзамене студент может отказаться от оценки и пойти на пересдачу, на которой может заново получить Oral.
За каждое несданное практическое задание выставляется минус 10 баллов в баллы по заданиям (допускаются отрицательные значения).
За каждую несданное домашнее задание выставляется 0 баллов в баллы по заданиям.
Если на экзамене итоговая оценка оказывается ниже трех, то студент отправляется на пересдачу. При этом оценка Oral, полученная на пересдаче, добавляется к положительной (три и выше) оценке Oral, полученной на основном экзамене и т.д. до тех пор, пока студент не наберет на итоговую оценку «удовлетворительно» (для итоговых оценок выше «удовлетворительно» оценки Oral не суммируются).
Студент может досдать недостающие практические задания в любое время. При этом проверка задания гарантируется только в том случае, если задание сдано не позднее, чем за неделю до основного экзамена или пересдачи.
В случае успешной сдачи всех практических заданий студент получает возможность претендовать на итоговую оценку «хорошо» и «отлично». При этом экзамен на оценку Oral может сдаваться до сдачи всех заданий (оценки Oral в этом случае не суммируются).
Экзамен на оценку Oral сдается либо в срок основного экзамена, либо в срок официальных пересдач.

Литература

Barber D. Bayesian Reasoning and Machine Learning. Cambridge University Press, 2012.
Набор полезных фактов для матричных вычислений
Простые и удобные заметки по матричным вычислениям и свойствам гауссовских распределений
Памятка по теории вероятностей
Ветров Д.П., Кропотов Д.А. Байесовские методы машинного обучения, учебное пособие по спецкурсу, 2007 (Часть 1, PDF 1.22МБ; Часть 2, PDF 1.58МБ)
Bishop C.M. Pattern Recognition and Machine Learning. Springer, 2006.
Mackay D.J.C. Information Theory, Inference, and Learning Algorithms. Cambridge University Press, 2003.
Tipping M. Sparse Bayesian Learning. Journal of Machine Learning Research, 1, 2001, pp. 211-244.
Шумский С.А. Байесова регуляризация обучения. В сб. Лекции по нейроинформатике, часть 2, 2002.

Страницы курса прошлых лет

2010 год
2011 год
весна 2013 года
осень 2013 года
2014 год

См. также

Курс «Графические модели»

Спецсеминар «Байесовские методы машинного обучения»

Математические методы прогнозирования (кафедра ВМиК МГУ)

Источник — «http://www.machinelearning.ru/wiki/index.php?title=%D0%91%D0%B0%D0%B9%D0%B5%D1%81%D0%BE%D0%B2%D1%81%D0%BA%D0%B8%D0%B5_%D0%BC%D0%B5%D1%82%D0%BE%D0%B4%D1%8B_%D0%BC%D0%B0%D1%88%D0%B8%D0%BD%D0%BD%D0%BE%D0%B3%D0%BE_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D1%8F_%28%D0%BA%D1%83%D1%80%D1%81_%D0%BB%D0%B5%D0%BA%D1%86%D0%B8%D0%B9%2C_%D0%94.%D0%9F._%D0%92%D0%B5%D1%82%D1%80%D0%BE%D0%B2%2C_%D0%94.%D0%90._%D0%9A%D1%80%D0%BE%D0%BF%D0%BE%D1%82%D0%BE%D0%B2%29/2015»

Категории: Учебные курсы | Байесовские методы

@@ Строка 1: / Строка 1: @@
 {|
  |[[Изображение:BMMO11_Intro.jpg|280px]]
- | valign="top"|Курс посвящен т.н. байесовским методам решения различных задач [[Машинное обучение|машинного обучения]] (классификации, прогнозирования, [[Регрессионный анализ|восстановления регрессии]]), которые в настоящее время активно развиваются в мире. Байесовский подход к теории вероятностей позволяет эффективно учитывать различные предпочтения пользователя при построении решающих правил прогноза. Кроме того, он позволяет решать задачи выбора структурных параметров модели. В частности, здесь удается решать без комбинаторного перебора задачи селекции признаков, выбора числа кластеров в данных, размерности редуцированного пространства при уменьшении размерности, значений коэффициентов регуляризации и проч. В байесовском подходе вероятность интерпретируется как мера незнания, а не как объективная случайность. Простые правила оперирования с вероятностью, такие как формула полной вероятности и формула Байеса, позволяют проводить рассуждения в условиях неопределенности. В этом смысле байесовский подход к теории вероятностей можно рассматривать как обобщение классической булевой логики.
+ | valign="top"|Курс посвящен т.н. байесовским методам решения различных задач [[Машинное обучение|машинного обучения]] (классификации, восстановления регрессии, уменьшения размерности, разделения смесей, тематического моделирования и др.), которые в настоящее время активно развиваются в мире. Большинство современных научных публикаций по машинному обучению используют вероятностное моделирование, опирающееся на байесовский подход к теории вероятностей. Последний позволяет эффективно учитывать различные предпочтения пользователя при построении решающих правил прогноза. Кроме того, он позволяет решать задачи выбора структурных параметров модели. В частности, здесь удается решать без комбинаторного перебора задачи селекции признаков, выбора числа кластеров в данных, размерности редуцированного пространства при уменьшении размерности, значений коэффициентов регуляризации и пр. В байесовском подходе вероятность интерпретируется как мера незнания, а не как объективная случайность. Простые правила оперирования с вероятностью, такие как формула полной вероятности и формула Байеса, позволяют проводить рассуждения в условиях неопределенности. В этом смысле байесовский подход к теории вероятностей можно рассматривать как обобщение классической булевой логики.
+Основной задачей курса является привитие студентам навыков самостоятельного построения сложных вероятностных моделей обработки данных, используя стандартные модели в качестве своеобразных "кирпичиков". Особое внимание уделяется приближенным байесовским методам, позволяющим обсчитывать сложные вероятностные модели.
  |}
 Лектор: [[Участник:Dmitry Vetrov|Д.П. Ветров]],
-Семинарист: [[Участник:mfigurnov|М.В. Фигурнов]],
+Семинаристы: [[Участник:Kropotov|Д.А. Кропотов]], [[Участник:Tipt0p|Е.М. Лобачева]].
-Ассистент: [[Участник:Kropotov|Д.А. Кропотов]].
+'''Таблица с результатами находится [https://docs.google.com/spreadsheets/d/1-ylpe54_guUroHHZmvkypHvq_PNkYAzrl433i7HCrLU/edit?usp=sharing здесь].'''
-Вопросы и комментарии по курсу можно оставлять на вкладке «Обсуждение» к этой странице или направлять письмом по адресу bayesml@gmail.com. При этом в название письма просьба добавлять [БММО14].
+Вопросы и комментарии по курсу, а также сдаваемые задания нужно отправлять на почту  '''bayesml@gmail.com'''. В название письма обязательно добавлять тег '''[БММО15]'''.
+Формат темы письма:
+*'''[БММО15]Вопрос''' — для вопросов;
+*'''[БММО15]Практика №, Фамилия Имя, Вариант №''' — для практический заданий (если вариант только один, то его указывать не нужно);
+*'''[БММО15]Теория №, Фамилия Имя''' — для домашних заданий.
+Просьба не смешивать темы, то есть не нужно присылать в одном письме практическое задание и домашнее.
+== Экзамен ==
+Экзамен по курсу состоится 10 января в ауд. 510, начало в 11-00. На экзамене при подготовке билета разрешается пользоваться любыми материалами. При непосредственном ответе ничем пользоваться нельзя. Просьба обратить внимание на теоретический минимум по курсу — незнание ответов на вопросы теор. минимума автоматически влечёт неудовлетворительную оценку за экзамен.
+[[Media:BMML15_exam_questions.pdf|Вопросы к экзамену]]
 == Расписание занятий ==
-В 2014 году курс читается на факультете [[ВМиК]] МГУ по пятницам в ауд. 637, начало в 14-35 (лекция) и 16-20 (семинар).
+В 2015 году курс читается на факультете [[ВМиК]] МГУ по пятницам в ауд. 510, начало в 14-35 (лекция) и 16-20 (семинар).
 {| class="standard"
  !Дата !! № занятия !! Занятие !! Материалы
  |-
- | rowspan=2|12&nbsp;сентября&nbsp;2014 || rowspan=2 align="center"|1 || Лекция «Введение в курс. Байесовские рассуждения.» || [[Media:Lecture7_2012.pdf|Конспект (pdf)]] [[Media:BMMO11_2.pdf|Презентация (pdf)]]
+ | rowspan=2|4&nbsp;сентября&nbsp;2015 || rowspan=2 align="center"|1 || Лекция «Байесовский подход к теории вероятностей. Примеры байесовских рассуждений.» || [[Media:Lecture7_2012.pdf|Конспект (pdf)]] [[Media:BMMO11_2.pdf|Презентация (pdf)]]
  |-
- |Семинар «Байесовские рассуждения. Выдача задания №1» ||
+ |Семинар «Байесовские рассуждения. Выдача практического задания №1» || [[Media:S01_bayesian_reasoning2015.pdf|Задачи (pdf)]]
  |-
- | rowspan=2|19&nbsp;сентября&nbsp;2014 || rowspan=2 align="center"|2 || Лекция «Сопряжённые распределения, аналитический байесовский вывод» ||
+ | rowspan=2|11&nbsp;сентября&nbsp;2015 || rowspan=2 align="center"|2 || Лекция «Сопряжённые распределения, аналитический байесовский вывод, экспоненциальный класс распределений» ||
  |-
- |Семинар «Сопряжённые распределения» ||
+ |Семинар «Сопряжённые распределения» || [[Media:S02_conjugate_distributions2015.pdf|Задачи (pdf)]]
  |-
- | rowspan=2|26&nbsp;сентября&nbsp;2014 || rowspan=2 align="center"|3 || Лекция «Байесовский выбор модели» || [[Media:BMMO11_5.pdf|Презентация (pdf)]]
+ | rowspan=2|18&nbsp;сентября&nbsp;2015 || rowspan=2 align="center"|3 || Лекция «Байесовский выбор модели» || [[Media:BMMO11_5.pdf|Презентация (pdf)]]
  |-
- |Семинар «Подсчёт обоснованности моделей» ||
+ |Семинар «Подсчёт обоснованности моделей» || [[Media:S03_model_selection2015.pdf|Задачи (pdf)]]
  |-
- | rowspan=2|3&nbsp;октября&nbsp;2014 || rowspan=2 align="center"|4 || Лекция «Байесовская проверка гипотез» ||
+ | rowspan=2|2&nbsp;октября&nbsp;2015 || rowspan=2 align="center"|4 || Лекция «Метод релевантных векторов для задачи регрессии» || [[Media:BMMO11_7.pdf|Презентация (pdf)]]
  |-
  |Семинар «Матричные вычисления» || [[Media:Matrix-Gauss.pdf|Конспект по матричным вычислениям и нормальному распределению (pdf)]]
  |-
- | rowspan=2|10&nbsp;октября&nbsp;2014 || rowspan=2 align="center"|5 || Лекция «Метод релевантных векторов для задачи регрессии» || [[Media:BMMO11_7.pdf|Презентация (pdf)]]
+ | rowspan=2|16&nbsp;октября&nbsp;2015 || rowspan=2 align="center"|5 || Лекция «Метод релевантных векторов для задачи классификации» || [[Media:BMMO11_8.pdf|Конспект (pdf)]]
  |-
- |Семинар «Контрольная по матричным вычислениям» ||
+ |Семинар «Метод релевантных векторов» || [[Media:BMML15_S06_show.pdf|Презентация (pdf)]]
  |-
- | rowspan=2|17&nbsp;октября&nbsp;2014 || rowspan=2 align="center"|6 || Лекция «Метод релевантных векторов для задачи классификации» || [[Media:BMMO11_8.pdf|Конспект (pdf)]]
+ | rowspan=2|23&nbsp;октября&nbsp;2015 || rowspan=2 align="center"|6 || Лекция «EM-алгоритм. Байесовский метод главных компонент» ||  [[Media:BMMO11_11.pdf|Конспект (pdf)]]
  |-
- |Семинар «Прогнозное распределение для метода релевантных векторов» ||
+ |Семинар «ЕМ-алгоритм» ||
  |-
- | rowspan=2|24&nbsp;октября&nbsp;2014 || rowspan=2 align="center"|7 || Лекция «EM-алгоритм. Байесовский метод главных компонент» ||  [[Media:BMMO11_11.pdf|Конспект (pdf)]]
+ | rowspan=2|30&nbsp;октября&nbsp;2015 || rowspan=2 align="center"|7 || Лекция «Вариационный вывод» || [[Media:BMMO14_variational_lecture.pdf|Конспект лекции (pdf)]] [[Media:BMMO11_9.pdf|Конспект (pdf)]]
  |-
- |Семинар «ЕМ-алгоритм»  ||
+ | Семинар «Вариационный вывод» || [[Media:BMML15_S08_variational_inference.pdf|Задачи (pdf)]] [[Media:BMML15_S08_show.pdf|Презентация (pdf)]]
  |-
- | rowspan=2|31&nbsp;октября&nbsp;2014 || rowspan=2 align="center"|8 || Лекция «Вариационный вывод» || [[Media:BMMO14_variational_lecture.pdf|Конспект лекции (pdf)]] [[Media:BMMO11_9.pdf|Конспект (pdf)]]
+ | rowspan=2|6&nbsp;ноября&nbsp;2015 || rowspan=2 align="center"|8 || Лекция «Методы Монте Карло по схеме марковский цепей (MCMC)» || [[Media:BMMO11_10.pdf|Конспект (pdf)]]
  |-
- | Семинар «Вариационный вывод» ||
+ |Семинар «Методы MCMC» ||
  |-
- | rowspan=2|7&nbsp;ноября&nbsp;2014 || rowspan=2 align="center"|9 || Лекция «Байесовская модель разделения гауссиан» ||
+ |rowspan=2|13&nbsp;ноября&nbsp;2015 || rowspan=2 align="center"|9 || Лекция «Гауссовские процессы для регрессии и классификации» ||
  |-
- |Семинар «Контрольная по вариационному выводу. Выдача задания №2» ||
+ |Семинар «Гауссовские процессы для регрессии и классификации» ||
  |-
- |rowspan=2|14&nbsp;ноября&nbsp;2014 || rowspan=2 align="center"|10 || Лекция «Латентное размещение Дирихле (LDA)» || [[Media:BMMO11_14.pdf|Конспект (pdf)]]
+ |rowspan=2|20&nbsp;ноября&nbsp;2015 || rowspan=2 align="center"|10 || Лекция «Непараметрические байесовские методы. Процессы Дирихле» || [[Media:DirichletProcessNotes.pdf|Конспект (pdf)]]
  |-
- |Семинар «Свойства распределения Дирихле» ||
+ |Семинар «Свойства распределения Дирихле. Выдача задания №3» ||
  |-
- |rowspan=2|21&nbsp;ноября&nbsp;2014 || rowspan=2 align="center"|11 || Лекция «Методы Монте Карло по схеме марковский цепей (MCMC)» || [[Media:BMMO11_10.pdf|Конспект (pdf)]]
+ |rowspan=2|27&nbsp;ноября&nbsp;2015 || rowspan=2 align="center"|11 || Лекция «Латентное размещение Дирихле (LDA)» || [[Media:BMMO11_14.pdf|Конспект (pdf)]]
  |-
- |Семинар «Схема Гиббса для смеси гауссиан. Выдача задания №3» ||
+ |Семинар «Модификации LDA» || [http://www.cs.berkeley.edu/~jordan/papers/hierarchical-dp.pdf Статья]
  |-
- |rowspan=2|28&nbsp;ноября&nbsp;2014 || rowspan=2 align="center"|12 || Лекция «Гауссовские процессы для регрессии и классификации» ||
+ |4&nbsp;декабря&nbsp;2015 || align="center"|12 || Лекция «Стохастический вариационный вывод. Вариационный автокодировщик» || [http://jmlr.org/papers/v14/hoffman13a.html Статья 1], [http://arxiv.org/abs/1312.6114 Статья 2]
  |-
- |Семинар «Гауссовские процессы для регрессии и классификации» ||
+ |11&nbsp;декабря&nbsp;2015 || align="center"|13 || Лекция «Несопряжённый вариационный вывод и вариационный вывод для больших данных» || [http://jmlr.csail.mit.edu/proceedings/papers/v32/titsias14.pdf Статья 1], [https://www.cs.princeton.edu/~blei/papers/BleiLafferty2006.pdf Статья 2]
- |-
- |rowspan=2|5&nbsp;декабря&nbsp;2014 || rowspan=2 align="center"|13 || Лекция «Непараметрические байесовские методы. Процессы Дирихле» || [[Media:DirichletProcessNotes.pdf|Конспект (pdf)]]
- |-
- |Семинар «Непараметрические байесовские методы. Процессы Дирихле» ||
  |-
  |}
-== Экзамен ==
+== Домашние задания ==
-На экзамене при подготовке билета разрешается пользоваться любыми материалами. Экзамен можно сдавать и в случае отсутствия сдачи некоторых практических заданий.
+Задание 1. [[Media:BMML15_hw1_conjugate_distributions.pdf|Сопряжённые распределения и экспоненциальный класс распределений]]. Срок сдачи — 18 сентября (пятница), 23:59.
+Задание 2. [[Media:BMML15_hw2_matrix_calculations.pdf|Матричные вычисления]]. Срок сдачи — 9 октября (пятница), 23:59.
-[[Media:BMMO14_exam_questions.pdf|Вопросы к экзамену + теоретический минимум (pdf)]]
+Задание 3. [[Media:BMML15_hw3_variational_inference.pdf|Вариационный вывод]]. Срок сдачи — 6 ноября (пятница), 23:59.
 == Практические задания ==
-Задание 1. [[Байесовские методы машинного обучения (курс лекций, Д.П. Ветров, Д.А. Кропотов)/2014/Задание 1 | «Байесовские рассуждения»]].
+Задание 1. [[Media:BMML15_task1.pdf‎|Байесовские рассуждения]]
-Задание 2. [[Media:BMML_2014_fall_assignment2.pdf‎ | «Байесовская смесь распределений Бернулли»]].
+Срок сдачи: 20 сентября (воскресенье), 23:59.
-Задание 3. [[Media:BMML_2014_fall_assignment3.pdf | «Модель Изинга»]].
+Распределение студентов по вариантам находится на втором листе [https://docs.google.com/spreadsheets/d/1-ylpe54_guUroHHZmvkypHvq_PNkYAzrl433i7HCrLU/edit#gid=1202239276 здесь].
-== Домашние задания ==
+Задание 2. [[Media:BMML15_Assignment2.pdf‎|ЕМ алгоритм для детектива]]
-Задание 1. [[Media:BMMO14_hw_matrix.pdf|Матричные вычисления]].
+Прототипы функций находятся [https://drive.google.com/open?id=0B7TWwiIrcJstcWgxaU5SM3kxMDQ здесь], а текущий набор данных – [https://drive.google.com/open?id=0B7TWwiIrcJstUDRsNDFSYWtkUUE здесь].
-Задание 2. [[Media:BMMO14_hw_variational.pdf|Вариационный вывод]].
+Срок сдачи: 8 ноября (воскресенье), 23:59.
-== Оценки по курсу ==
+Данные будут выкладываться 24, 27, 30 октября и 2, 5 ноября.
-{|class = "standard"
+Задание 3. [[Media:BMML15_assignment3.pdf|Процессы Дирихле для кластеризации изображений цифр]]
- ! rowspan=2|№ п/п !! rowspan=2|Студент !! colspan=3|Практические задания !! colspan=2|Контрольные !! rowspan=2|Сумма !! rowspan=2|Экзамен !! rowspan=2|Оценка
- |-
+Срок сдачи: 13 декабря (воскресенье), 23:59.
- ! №1 !! №2 !! №3 !! №1 !! №2
- |-
- | align="center"|1 || Апишев Мурат || <!--З1--> align="center"|4.4  || <!--З2--> align="center"|4.6  || <!--З3--> align="center"| 5 || <!--K1--> align="center"|1.8  || <!--K2--> align="center"| 2.0  || <!--S--> align="center"|17.8  || <!--E--> align="center"| 4  || <!--M--> align="center"| 5
- |-
- | align="center"|2 || Афанасьев Кирилл || <!--З1--> align="center"|-10  || <!--З2--> align="center"|-10  || <!--З3--> align="center"|-10  || <!--K1--> align="center"|0.9  || <!--K2--> align="center"| 1.6  || <!--S--> align="center"|-27.5  || <!--E--> align="center"|   || <!--M--> align="center"|
- |-
- | align="center"|3 || Готман Мария || <!--З1--> align="center"|4.2  || <!--З2--> align="center"|4.5  || <!--З3--> align="center"| 4.2 || <!--K1--> align="center"|1.2  || <!--K2--> align="center"| 2.0  || <!--S--> align="center"|16.1  || <!--E--> align="center"| 4  || <!--M--> align="center"| 5
- |-
- | align="center"|4 || Дойков Никита || <!--З1--> align="center"| 4.7 || <!--З2--> align="center"|4  || <!--З3--> align="center"| 3.9 || <!--K1--> align="center"|1.7  || <!--K2--> align="center"| 2.0  || <!--S--> align="center"|16.3  || <!--E--> align="center"| 5  || <!--M--> align="center"| 5
- |-
- | align="center"|5 || Козлов Владимир || <!--З1--> align="center"|4.2  || <!--З2--> align="center"|3.9  || <!--З3--> align="center"| 4.7 || <!--K1--> align="center"|2.3  || <!--K2--> align="center"| 1.9  || <!--S--> align="center"|17  || <!--E--> align="center"| 4  || <!--M--> align="center"|  5
- |-
- | align="center"|6 || Колмаков Евгений || <!--З1--> align="center"|4.2  || <!--З2--> align="center"|4  || <!--З3--> align="center"| 2.3  || <!--K1--> align="center"|1.4  || <!--K2--> align="center"|1.8  || <!--S--> align="center"|13.7  || <!--E--> align="center"| 5  || <!--M--> align="center"| 5
- |-
- | align="center"|7 || Корольков Михаил || <!--З1--> align="center"|-1.3  || <!--З2--> align="center"|-10  || <!--З3--> align="center"|-0.5  || <!--K1--> align="center"|0  || <!--K2--> align="center"|0 || <!--S--> align="center"|-11.8  || <!--E--> align="center"|   || <!--M--> align="center"|
- |-
- | align="center"|8 || Лисяной Александр || <!--З1--> align="center"|4.7  || <!--З2--> align="center"|3.4  || <!--З3--> align="center"| 3.3  || <!--K1--> align="center"|0.9  || <!--K2--> align="center"| 2.0 || <!--S--> align="center"|14.3  || <!--E--> align="center"| 4  || <!--M--> align="center"|  4
- |-
- | align="center"|9 || Лукашкина Юлия || <!--З1--> align="center"| 4.2 || <!--З2--> align="center"| 4.3 || <!--З3--> align="center"| 4.1 || <!--K1--> align="center"|2  || <!--K2--> align="center"| 2.0  || <!--S--> align="center"|16.6  || <!--E--> align="center"| 5  || <!--M--> align="center"| 5
- |-
- | align="center"|10 || Ожерельев Илья || <!--З1--> align="center"|4.2  || <!--З2--> align="center"|4.5  || <!--З3--> align="center"| 3.8  || <!--K1--> align="center"|2  || <!--K2--> align="center"| 1.0  || <!--S--> align="center"|15.5  || <!--E--> align="center"| 5  || <!--M--> align="center"| 5
- |-
- | align="center"|11 || Родоманов Антон || <!--З1--> align="center"| 4.7 || <!--З2--> align="center"|4.5  || <!--З3--> align="center"| 2.7 || <!--K1--> align="center"|2.5  || <!--K2--> align="center"| 2.5  || <!--S--> align="center"|16.9  || <!--E--> align="center"| 5  || <!--M--> align="center"|  5
- |-
- | align="center"|12 || Сендерович Никита || <!--З1--> align="center"|5.7  || <!--З2--> align="center"|7  || <!--З3--> align="center"| 2.6 || <!--K1--> align="center"|1.7  || <!--K2--> align="center"| 2.4  || <!--S--> align="center"|19.4  || <!--E--> align="center"| 5  || <!--M--> align="center"| 5
- |-
- | align="center"|13 || Славнов Константин || <!--З1--> align="center"| 2.7 || <!--З2--> align="center"|3.4  || <!--З3--> align="center"| 2.3 || <!--K1--> align="center"|1.5  || <!--K2--> align="center"| 1.5  || <!--S--> align="center"|11.4  || <!--E--> align="center"| 5  || <!--M--> align="center"|  4
- |-
- | align="center"|14 || Тюрин Александр || <!--З1--> align="center"|5.2  || <!--З2--> align="center"|4.5  || <!--З3--> align="center"| 5 || <!--K1--> align="center"|1  || <!--K2--> align="center"| 2.3  || <!--S--> align="center"|18  || <!--E--> align="center"| 5  || <!--M--> align="center"| 5
- |-
- | align="center"|15 || Хальман Михаил || <!--З1--> align="center"| -3.0 || <!--З2--> align="center"|3.5  || <!--З3--> align="center"| 1.2  || <!--K1--> align="center"|2.5  || <!--K2--> align="center"| 0.5  || <!--S--> align="center"| 4.7  || <!--E--> align="center"| 5  || <!--M--> align="center"| 4
- |-
- | align="center"|16 || Хомутов Никита || <!--З1--> align="center"| 4.1 || <!--З2--> align="center"| 2 || <!--З3--> align="center"|-2 || <!--K1--> align="center"|0.7  || <!--K2--> align="center"| 1.5  || <!--S--> align="center"|6.3 || <!--E--> align="center"| 5  || <!--M--> align="center"| 4
- |-
- | align="center"|17 || Чистяков Александр || <!--З1--> align="center"|5.1  || <!--З2--> align="center"| 6 || <!--З3--> align="center"| 5 || <!--K1--> align="center"|2.3  || <!--K2--> align="center"| 2.4  || <!--S--> align="center"|20.8  || <!--E--> align="center"| 5  || <!--M--> align="center"|  5
- |-
- | align="center"|18 || Шапулин Андрей || <!--З1--> align="center"|4.4  || <!--З2--> align="center"|3.9  || <!--З3--> align="center"| 2  || <!--K1--> align="center"|1.7  || <!--K2--> align="center"| 2.5  || <!--S--> align="center"|14.5  || <!--E--> align="center"| 4  || <!--M--> align="center"| 4
- |-
- | align="center"|19 || Шарчилев Борис (мехмат) || <!--З1--> align="center"|4.8  || <!--З2--> align="center"|4.3  || <!--З3--> align="center"| 3.8 || <!--K1--> align="center"|1.4  || <!--K2--> align="center"| 1.0  || <!--S--> align="center"|15.3  || <!--E--> align="center"|5   || <!--M--> align="center"| 5
- |-
- | align="center"|20 || Языков Артём (ВШЭ) || <!--З1--> align="center"|  || <!--З2--> align="center"|  || <!--З3--> align="center"|  || <!--K1--> align="center"|0.7  || <!--K2--> align="center"| 0.5  || <!--S--> align="center"|  || <!--E--> align="center"|   || <!--M--> align="center"|
- |-
-|}
 == Система выставления оценок по курсу ==
-# При наличии несданных заданий максимальная возможная оценка за курс — это «удовлетворительно».
+# В рамках курса предполагается выполнение трёх практических заданий и трёх домашних заданий.
+# Задания выполняются самостоятельно. Если задание выполнялось сообща, или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчете. В противном случае „похожие“ решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.
+# При наличии несданных практических заданий максимальная возможная оценка за курс — это «удовлетворительно».
+# Практические задания оцениваются из 5 баллов. За сдачу заданий позже срока начисляется штраф в размере 0.1 балла за каждый день просрочки, но суммарно не более 5-и баллов.
+# Домашние задания оцениваются из 2 баллов. За сдачу заданий позже срока начисляется штраф в размере 0.1 балла за каждый день просрочки. Задания не принимаются спустя неделю после срока.
 # Необходимым условием получения положительной оценки за курс является сдача не менее двух практических заданий и сдача устного экзамена не менее чем на оценку «удовлетворительно».
-# Итоговая оценка вычисляется по формуле <tex>Mark = \frac{Oral*4+HomeWork}{8}</tex>, где Oral — оценка за устный экзамен (0, 3, 4, 5), HomeWork — баллы, набранные за практические задания и контрольные (см. таблицу выше), Mark — итоговая оценка по 5-балльной шкале. Нецелые значения округляются в сторону ближайшего целого, <b>превосходящего</b> дробное значение. Максимальный балл за HomeWork равен 20.
+# Итоговая оценка вычисляется по формуле <tex>Mark = \frac{Oral*4+HomeWork}{8}</tex>, где Oral — оценка за устный экзамен (0, 3, 4, 5), HomeWork — баллы, набранные за практические и домашние задания (см. таблицу выше), Mark — итоговая оценка по 5-балльной шкале. Нецелые значения округляются в сторону ближайшего целого, <b>превосходящего</b> дробное значение.
 # На экзамене студент может отказаться от оценки и пойти на пересдачу, на которой может заново получить Oral.
 # За каждое несданное практическое задание выставляется минус 10 баллов в баллы по заданиям (допускаются отрицательные значения).
-# За каждую несданную контрольную работу выставляется 0 баллов в баллы по заданиям.
+# За каждую несданное домашнее задание выставляется 0 баллов в баллы по заданиям.
 # Если на экзамене итоговая оценка оказывается ниже трех, то студент отправляется на пересдачу. При этом оценка Oral, полученная на пересдаче, <b>добавляется</b> к положительной (три и выше) оценке Oral, полученной на основном экзамене и т.д. до тех пор, пока студент не наберет на итоговую оценку «удовлетворительно» (для итоговых оценок выше «удовлетворительно» оценки Oral не суммируются).
 # Студент может досдать недостающие практические задания в любое время. При этом проверка задания гарантируется только в том случае, если задание сдано не позднее, чем за неделю до основного экзамена или пересдачи.
-# Штраф за просрочку сдачи заданий начисляется из расчета 0.1 балла в день, но не более 5 баллов.
 # В случае успешной сдачи всех практических заданий студент получает возможность претендовать на итоговую оценку «хорошо» и «отлично». При этом экзамен на оценку Oral может сдаваться до сдачи всех заданий (оценки Oral в этом случае <b>не суммируются</b>).
 # Экзамен на оценку Oral сдается либо в срок основного экзамена, либо в срок официальных пересдач.