Глубинное обучение (курс лекций)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Занятия)
(20 промежуточных версий не показаны.)
Строка 1: Строка 1:
__NOTOC__
__NOTOC__
-
Описание
+
'''Преподаватели''': [[Участник:Kropotov|Д.А. Кропотов]], [[Участник:Victor Kitov|В.В. Китов]], [[Участник:Tipt0p|Е.М. Лобачёва]], А.А. Осокин и др.
-
'''Преподаватели''': [[Участник:Kropotov|Д.А. Кропотов]], [[Участник:Victor Kitov|В.В. Китов]], [[Участник:Dmitry Vetrov|Д.П. Ветров]], [[Участник:Tipt0p|Е.М. Лобачёва]], [[Участник:artemov|А. В. Артёмов]], [https://ars-ashuha.ru А. Ашуха], А. Панин.
+
В осеннем семестре 2017 года занятия по курсу проходят на [[ВМК]] в ауд. 582 с 10-30 до 13-50.
-
По всем вопросам, связанным с курсом, просьба писать на ''bayesml@gmail.com''. В название письма обязательно добавлять [ВМК ГО16].
+
Вопросы по курсу можно направлять письмом на ''bayesml@gmail.com''. В название письма обязательно добавлять [ВМК ГО17].
-
В осеннем семестре 2016 года занятия по курсу проходят на [[ВМК]] в ауд. 582 с 10-30 до 13-50.
+
== Объявления ==
 +
'''03.11.17''': {{важно|Внимание! Сегодня занятия по курсу отменяются.}}
 +
 
 +
'''05.10.17''': завтра занятия по курсу пройдут в обычное время с 10-30 до 13-50.
== Система выставления оценок по курсу ==
== Система выставления оценок по курсу ==
-
В рамках курса предполагается три практических заданий и экзамен. Каждое задание оценивается из 5-ти баллов. За просрочку при сдаче задания начисляется штраф из расчёта 0.1 балла в день, но суммарно не более 3-х баллов. В итоговой оценке 70% составляют баллы за практические задания и 30% — оценка за экзамен. Для получения финального результата (0, 3, 4, 5) итоговая оценка по курсу округляется в большую сторону. Для получения итоговой оценки 3 необходимо выполнить не менее одного практического задания, для оценки 4 – не менее двух практических заданий, для оценки 5 – три практических задания.
+
Будет объявлена позже.
-
 
+
-
== Экзамен ==
+
-
Экзамен по курсу состоится 16 января в ауд. 523, начало в 12-00. На экзамене при подготовке билета разрешается пользоваться любыми материалами. При непосредственном ответе ничем пользоваться нельзя. Просьба обратить внимание на теоретический минимум. Незнание ответов на вопросы из теор. минимума влечёт неудовлетворительную оценку за экзамен.
+
-
 
+
-
[[Media:DL16_exam_questions.pdf| Вопросы к экзамену]]
+
== Практические задания ==
== Практические задания ==
 +
Задания выдаются и принимаются через систему ''anytask.org''. Для получения инвайта просьба писать на почту курса.
-
Задание 1. Автоматическое дифференцирование для автокодировщика ([[Media:Dl16_assignment1.pdf|формулировка]], [[Media:Dl16_assignment1_codes.zip|коды]]). Срок сдачи: 9 ноября, 23:59.
+
Задание 1. Автоматическое дифференцирование для автокодировщика. Срок сдачи: 8 октября (воскресенье), 23:59.
-
Задание 2. Рекуррентные нейронные сети: [https://drive.google.com/file/d/0B7TWwiIrcJstNDE5N29PNFhfQlU/view?usp=sharing формулировка], [https://drive.google.com/file/d/0B7TWwiIrcJstM1ppckdHdnY5YkU/view?usp=sharing ноутбук с генерацией], [https://drive.google.com/file/d/0B7TWwiIrcJstQTRJYWhidmNKRWM/view?usp=sharing ноутбук с классификацией], [https://drive.google.com/drive/folders/0B7TWwiIrcJstYXpCVV96S1hNUHM?usp=sharing данные]. Срок сдачи: 27 ноября (воскресенье), 23:59.
+
== Занятия ==
-
 
+
-
Задание 3. Сверточные нейронные сети для детекции объектов: [https://yadi.sk/d/3arpo9Nz32JbpR формулировка], ссылки на данные находятся внутри PDF-файла с формулировкой. Срок сдачи: 20 декабря (вторник), 23:59.
+
-
 
+
-
Задание 4. Бонусное: Генерация описаний для изображений [[Media:Msu-dl16-hw4.pdf|формулировка]] Срок сдачи: 8 января (воскресенье), 23:59. Выполнение бонусного задания является альтернативой сдачи экзамена по курсу.
+
-
 
+
-
== Расписание ==
+
{| class="standard"
{| class="standard"
!Дата !! № занятия !! Занятие !! Материалы
!Дата !! № занятия !! Занятие !! Материалы
|-
|-
-
| 2 сентября 2016 || align="center"|1 || Введение в курс. Стохастическая оптимизация. || [[Media:DL16_lecture_1.pdf|Презентация]]
+
| 8 сентября 2017 || align="center"|1 || Введение в курс. Автоматическое дифференцирование. ||
|-
|-
-
| 9 сентября 2016 || align="center"|2 || Сети прямого распространения. Автоматическое дифференцирование. ||
+
| 15 сентября 2017 || align="center"|2 || Методы регуляризации для нейросетей. Стохастическая оптимизация. Введение в pytorch. || [[Media:VKitov-DL-Regularization_in_deep_learning.pdf‎ ‎|Презентация]]
|-
|-
-
| 16 сентября 2016 || align="center"|3 || Сверточные нейронные сети. || [[Media:DL16_lecture_3.pdf|Презентация]]
+
| 22 сентября 2017 || align="center"|3 || Свёрточные нейронные сети для задачи классификации изображений || [[Media:Dl17_Osokin_Convnets.pdf|Презентация]]
|-
|-
-
| 23 сентября 2016 || align="center"|4 || Регуляризация нейронных сетей. || [[Media:DL16-Lecture_4.pdf‎‎|Презентация]]
+
| 29 сентября 2017 || align="center"|4 || Свёрточные нейронные сети в задачах компьютерного зрения || [[Media:Dl17_Osokin_Deepvision.pdf|Презентация]]
|-
|-
-
| 30 сентября 2016 || align="center"|5 || Нейронные сети для компьютерного зрения. Локализация, детектирование и распознавание объектов. || [https://yadi.sk/d/ID8zmeKZwY5tN Презентация]
+
| 6 октября 2017 || align="center"|5 || Рекуррентные нейронные сети || [https://drive.google.com/open?id=0B7TWwiIrcJstZjdWTG84VVF1eDA Презентация]
|-
|-
-
| rowspan=2|7 октября 2016 || rowspan=2, align="center"|6 || Визуализация слоев. Neural Style. || [https://yadi.sk/i/hmuXwl9iwY5jn Презентация]
+
| 13 октября 2017 || align="center"|6 || Память и внимание в глубинном обучении || [https://drive.google.com/open?id=1y3KHkvr0aWKGHvsrLwvLPXbCEQHt7N_r Презентация]
|-
|-
-
| Предобработка текстов. || [[Media:DL16-Lecture_7.pdf‎‎|Презентация]]
+
| 20 октября 2017 || align="center"|7 || Вариационный автокодировщик ||
|-
|-
-
| 14 октября 2016 || align="center"|7 || Рекуррентные нейронные сети. Проблема затухающих и взрывающихся градиентов. || rowspan=2|[https://drive.google.com/file/d/0B7TWwiIrcJstTnp2NktiUUtNbUk/view?usp=sharing Презентация]
+
| 27&nbsp;октября&nbsp;2017 || align="center"|8 || Перенос стиля изображений || [[Media:VKitov-DL2017-Neural_style_transfer.pdf ‎|Презентация]]<br> [[Media:DL2017-Neural_style_transfer-review_2017.pdf‎‎ ‎|Обзор]]
|-
|-
-
| 21&nbsp;октября&nbsp;2016 || align="center"|8 || Примеры применения рекуррентных нейронных сетей. Регуляризация.
+
| 10&nbsp;ноября&nbsp;2017 || align="center"|9 || Обучение с подкреплением, алгоритм Q обучения, Deep Q Network (DQN) ||
|-
|-
-
| 28&nbsp;октября&nbsp;2016 || align="center"|9 || Автокодировщики. || [[Media:DL16_lecture_9.pdf|Презентация]]
+
| 17&nbsp;ноября&nbsp;2017 || align="center"|10 || Policy based и actor-critic алгоритмы в обучении с подкреплением ||
-
|-
+
-
| 11&nbsp;ноября&nbsp;2016 || align="center"|10 || Байесовский подход к теории вероятностей. Модели со скрытыми переменными. || [[Media:MMP_Practicum_317_2015_EM_algorithm.pdf|Конспект по ЕМ-алгоритму]]
+
-
|-
+
-
| 18&nbsp;ноября&nbsp;2016 || align="center"|11 || Вариационный автокодировщик. Стохастический граф вычислений. || [[Media:BMMO11_11.pdf|Конспект по вероятностному методу главных компонент]] [https://arxiv.org/abs/1312.6114 Статья]
+
-
|-
+
-
| 25&nbsp;ноября&nbsp;2016 || align="center"|12 || Генерация текста по картинке. || [https://github.com/ars-ashuha/ars-ashuha.github.io/blob/master/slides/2016.11.11_ImageCaptioning/image_captionong.pdf Презентация]
+
-
|-
+
-
| 2&nbsp;декабря&nbsp;2016 || align="center"|13 || Обучение с подкреплением. Примеры задач. || [[Media:DL16_lecture_13.pdf|Презентация]]
+
-
|-
+
-
| 9&nbsp;декабря&nbsp;2016 || align="center"|14 || Использование нейросетей в обучении с подкреплением. || [[Media:DL16_lecture_14.pdf|Презентация]]
+
|-
|-
|}
|}
Строка 66: Строка 49:
== Литература ==
== Литература ==
# Ian Goodfellow, Yoshua Bengio, Aaron Courville. [http://www.deeplearningbook.org/ Deep Learning], MIT Press, 2016.
# Ian Goodfellow, Yoshua Bengio, Aaron Courville. [http://www.deeplearningbook.org/ Deep Learning], MIT Press, 2016.
 +
 +
== Архив ==
 +
[[Глубинное обучение (курс лекций)/2016|2016 год]]

Версия 10:24, 17 ноября 2017


Преподаватели: Д.А. Кропотов, В.В. Китов, Е.М. Лобачёва, А.А. Осокин и др.

В осеннем семестре 2017 года занятия по курсу проходят на ВМК в ауд. 582 с 10-30 до 13-50.

Вопросы по курсу можно направлять письмом на bayesml@gmail.com. В название письма обязательно добавлять [ВМК ГО17].

Объявления

03.11.17: Внимание! Сегодня занятия по курсу отменяются.

05.10.17: завтра занятия по курсу пройдут в обычное время с 10-30 до 13-50.

Система выставления оценок по курсу

Будет объявлена позже.

Практические задания

Задания выдаются и принимаются через систему anytask.org. Для получения инвайта просьба писать на почту курса.

Задание 1. Автоматическое дифференцирование для автокодировщика. Срок сдачи: 8 октября (воскресенье), 23:59.

Занятия

Дата № занятия Занятие Материалы
8 сентября 2017 1 Введение в курс. Автоматическое дифференцирование.
15 сентября 2017 2 Методы регуляризации для нейросетей. Стохастическая оптимизация. Введение в pytorch. Презентация
22 сентября 2017 3 Свёрточные нейронные сети для задачи классификации изображений Презентация
29 сентября 2017 4 Свёрточные нейронные сети в задачах компьютерного зрения Презентация
6 октября 2017 5 Рекуррентные нейронные сети Презентация
13 октября 2017 6 Память и внимание в глубинном обучении Презентация
20 октября 2017 7 Вариационный автокодировщик
27 октября 2017 8 Перенос стиля изображений Презентация
Обзор
10 ноября 2017 9 Обучение с подкреплением, алгоритм Q обучения, Deep Q Network (DQN)
17 ноября 2017 10 Policy based и actor-critic алгоритмы в обучении с подкреплением

Литература

  1. Ian Goodfellow, Yoshua Bengio, Aaron Courville. Deep Learning, MIT Press, 2016.

Архив

2016 год

Личные инструменты