Глубинное обучение (курс лекций)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Расписание)
(Занятия)
(29 промежуточных версий не показаны.)
Строка 1: Строка 1:
__NOTOC__
__NOTOC__
-
Описание
+
'''Преподаватели''': [[Участник:Kropotov|Д.А. Кропотов]], [[Участник:Victor Kitov|В.В. Китов]], [[Участник:Tipt0p|Е.М. Лобачёва]], А.А. Осокин и др.
-
'''Преподаватели''': [[Участник:Kropotov|Д.А. Кропотов]], [[Участник:Victor Kitov|В.В. Китов]], [[Участник:Dmitry Vetrov|Д.П. Ветров]], [[Участник:Tipt0p|Е.М. Лобачёва]], [[Участник:artemov|А. В. Артёмов]].
+
В осеннем семестре 2017 года занятия по курсу проходят на [[ВМК]] в ауд. 582 с 10-30 до 13-50.
-
По всем вопросам, связанным с курсом, просьба писать на ''bayesml@gmail.com''. В название письма обязательно добавлять [ВМК ГО16].
+
Вопросы по курсу можно направлять письмом на ''bayesml@gmail.com''. В название письма обязательно добавлять [ВМК ГО17].
-
В осеннем семестре 2016 года занятия по курсу проходят на [[ВМК]] в ауд. 582 с 10-30 до 13-50.
+
== Объявления ==
 +
'''03.11.17''': {{важно|Внимание! Сегодня занятия по курсу отменяются.}}
 +
 
 +
'''05.10.17''': завтра занятия по курсу пройдут в обычное время с 10-30 до 13-50.
== Система выставления оценок по курсу ==
== Система выставления оценок по курсу ==
-
В рамках курса предполагается несколько практических заданий и экзамен. Каждое задание оценивается из 5-ти баллов. За просрочку при сдаче задания начисляется штраф из расчёта 0.1 балла в день, но суммарно не более 3-х баллов. В итоговой оценке 70% составляют баллы за практические задания и 30% — оценка за экзамен. Для получения финального результата (0, 3, 4, 5) итоговая оценка по курсу округляется в большую сторону.
+
Будет объявлена позже.
== Практические задания ==
== Практические задания ==
 +
Задания выдаются и принимаются через систему ''anytask.org''. Для получения инвайта просьба писать на почту курса.
-
Задание 1. Автоматическое дифференцирование для автокодировщика ([[Media:Dl16_assignment1.pdf|формулировка]], [[Media:Dl16_assignment1_codes.zip|коды]]). {{важно|Срок сдачи продлён до '''9 ноября, 23:59'''.}}
+
Задание 1. Автоматическое дифференцирование для автокодировщика. Срок сдачи: 8 октября (воскресенье), 23:59.
-
Задание 2. Рекуррентные нейронные сети: [https://drive.google.com/file/d/0B7TWwiIrcJstNDE5N29PNFhfQlU/view?usp=sharing формулировка], [https://drive.google.com/file/d/0B7TWwiIrcJstM1ppckdHdnY5YkU/view?usp=sharing ноутбук с генерацией], [https://drive.google.com/file/d/0B7TWwiIrcJstQTRJYWhidmNKRWM/view?usp=sharing ноутбук с классификацией], [https://drive.google.com/drive/folders/0B7TWwiIrcJstYXpCVV96S1hNUHM?usp=sharing данные]. Срок сдачи: 27 ноября (воскресенье), 23:59.
+
== Занятия ==
-
 
+
-
== Расписание ==
+
{| class="standard"
{| class="standard"
!Дата !! № занятия !! Занятие !! Материалы
!Дата !! № занятия !! Занятие !! Материалы
|-
|-
-
| 2 сентября 2016 || align="center"|1 || Введение в курс. Стохастическая оптимизация. || [[Media:DL16_lecture_1.pdf|Презентация]]
+
| 8 сентября 2017 || align="center"|1 || Введение в курс. Автоматическое дифференцирование. ||
|-
|-
-
| 9 сентября 2016 || align="center"|2 || Сети прямого распространения. Автоматическое дифференцирование. ||
+
| 15 сентября 2017 || align="center"|2 || Методы регуляризации для нейросетей. Стохастическая оптимизация. Введение в pytorch. || [[Media:VKitov-DL-Regularization_in_deep_learning.pdf‎ ‎|Презентация]]
|-
|-
-
| 16 сентября 2016 || align="center"|3 || Сверточные нейронные сети. || [[Media:DL16_lecture_3.pdf|Презентация]]
+
| 22 сентября 2017 || align="center"|3 || Свёрточные нейронные сети для задачи классификации изображений || [[Media:Dl17_Osokin_Convnets.pdf|Презентация]]
|-
|-
-
| 23 сентября 2016 || align="center"|4 || Регуляризация нейронных сетей. || [[Media:DL16-Lecture_4.pdf‎‎|Презентация]]
+
| 29 сентября 2017 || align="center"|4 || Свёрточные нейронные сети в задачах компьютерного зрения || [[Media:Dl17_Osokin_Deepvision.pdf|Презентация]]
|-
|-
-
| 30 сентября 2016 || align="center"|5 || Нейронные сети для компьютерного зрения. Локализация, детектирование и распознавание объектов. || [https://yadi.sk/d/ID8zmeKZwY5tN Презентация]
+
| 6 октября 2017 || align="center"|5 || Рекуррентные нейронные сети || [https://drive.google.com/open?id=0B7TWwiIrcJstZjdWTG84VVF1eDA Презентация]
|-
|-
-
| rowspan=2|7 октября 2016 || rowspan=2, align="center"|6 || Визуализация слоев. Neural Style. || [https://yadi.sk/i/hmuXwl9iwY5jn Презентация]
+
| 13 октября 2017 || align="center"|6 || Память и внимание в глубинном обучении || [https://drive.google.com/open?id=1y3KHkvr0aWKGHvsrLwvLPXbCEQHt7N_r Презентация]
|-
|-
-
| Предобработка текстов. || [[Media:DL16-Lecture_7.pdf‎‎|Презентация]]
+
| 20 октября 2017 || align="center"|7 || Вариационный автокодировщик ||
|-
|-
-
| 14 октября 2016 || align="center"|7 || Рекуррентные нейронные сети. Проблема затухающих и взрывающихся градиентов. || rowspan=2|[https://drive.google.com/file/d/0B7TWwiIrcJstTnp2NktiUUtNbUk/view?usp=sharing Презентация]
+
| 27&nbsp;октября&nbsp;2017 || align="center"|8 || Перенос стиля изображений || [[Media:VKitov-DL2017-Neural_style_transfer.pdf ‎|Презентация]]<br> [[Media:DL2017-Neural_style_transfer-review_2017.pdf‎‎ ‎|Обзор]]
|-
|-
-
| 21&nbsp;октября&nbsp;2016 || align="center"|8 || Примеры применения рекуррентных нейронных сетей. Регуляризация.
+
| 10&nbsp;ноября&nbsp;2017 || align="center"|9 || Обучение с подкреплением, алгоритм Q обучения, Deep Q Network (DQN) ||
|-
|-
-
| 28&nbsp;октября&nbsp;2016 || align="center"|9 || Автокодировщики. || [[Media:DL16_lecture_9.pdf|Презентация]]
+
| 17&nbsp;ноября&nbsp;2017 || align="center"|10 || Policy based и actor-critic алгоритмы в обучении с подкреплением ||
-
|-
+
-
| 11&nbsp;ноября&nbsp;2016 || align="center"|10 || Байесовский подход к теории вероятностей. Модели со скрытыми переменными. ||
+
-
|-
+
-
| 18&nbsp;ноября&nbsp;2016 || align="center"|11 || Вариационный автокодировщик. Стохастический граф вычислений. ||
+
-
|-
+
-
| 25&nbsp;ноября&nbsp;2016 || align="center"|12 || Генерация текста по картинке. ||
+
|-
|-
|}
|}
Строка 53: Строка 49:
== Литература ==
== Литература ==
# Ian Goodfellow, Yoshua Bengio, Aaron Courville. [http://www.deeplearningbook.org/ Deep Learning], MIT Press, 2016.
# Ian Goodfellow, Yoshua Bengio, Aaron Courville. [http://www.deeplearningbook.org/ Deep Learning], MIT Press, 2016.
 +
 +
== Архив ==
 +
[[Глубинное обучение (курс лекций)/2016|2016 год]]

Версия 10:24, 17 ноября 2017


Преподаватели: Д.А. Кропотов, В.В. Китов, Е.М. Лобачёва, А.А. Осокин и др.

В осеннем семестре 2017 года занятия по курсу проходят на ВМК в ауд. 582 с 10-30 до 13-50.

Вопросы по курсу можно направлять письмом на bayesml@gmail.com. В название письма обязательно добавлять [ВМК ГО17].

Объявления

03.11.17: Внимание! Сегодня занятия по курсу отменяются.

05.10.17: завтра занятия по курсу пройдут в обычное время с 10-30 до 13-50.

Система выставления оценок по курсу

Будет объявлена позже.

Практические задания

Задания выдаются и принимаются через систему anytask.org. Для получения инвайта просьба писать на почту курса.

Задание 1. Автоматическое дифференцирование для автокодировщика. Срок сдачи: 8 октября (воскресенье), 23:59.

Занятия

Дата № занятия Занятие Материалы
8 сентября 2017 1 Введение в курс. Автоматическое дифференцирование.
15 сентября 2017 2 Методы регуляризации для нейросетей. Стохастическая оптимизация. Введение в pytorch. Презентация
22 сентября 2017 3 Свёрточные нейронные сети для задачи классификации изображений Презентация
29 сентября 2017 4 Свёрточные нейронные сети в задачах компьютерного зрения Презентация
6 октября 2017 5 Рекуррентные нейронные сети Презентация
13 октября 2017 6 Память и внимание в глубинном обучении Презентация
20 октября 2017 7 Вариационный автокодировщик
27 октября 2017 8 Перенос стиля изображений Презентация
Обзор
10 ноября 2017 9 Обучение с подкреплением, алгоритм Q обучения, Deep Q Network (DQN)
17 ноября 2017 10 Policy based и actor-critic алгоритмы в обучении с подкреплением

Литература

  1. Ian Goodfellow, Yoshua Bengio, Aaron Courville. Deep Learning, MIT Press, 2016.

Архив

2016 год

Личные инструменты