Глубинное обучение (курс лекций)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
м (Занятия)
(21 промежуточная версия не показана)
Строка 8: Строка 8:
== Объявления ==
== Объявления ==
 +
 +
'''25.12.17''': Срок сдачи второго практического задания продлён до пятницы, 29 декабря, 23:59.
 +
 +
'''23.12.17''': Пересдача зачёта по курсу состоится в пятницу, 29 декабря, в ауд. 523, начало в 11-00.
 +
 +
'''22.12.17''': Зачёт по курсу состоится завтра, 23 декабря, в ауд. 682, начало в 13-00. [[Media:DL17_test_questions.pdf|Список вопросов к зачёту.]]
 +
 +
'''15.12.17''': Внимание! Сегодня занятия по курсу отменяются.
 +
 +
'''13.12.17''': выложено второе практическое задание по курсу.
 +
 +
'''03.11.17''': Внимание! Сегодня занятия по курсу отменяются.
 +
'''05.10.17''': завтра занятия по курсу пройдут в обычное время с 10-30 до 13-50.
'''05.10.17''': завтра занятия по курсу пройдут в обычное время с 10-30 до 13-50.
 +
 +
== Экзамен ==
 +
Экзамен состоится 14 января в ауд. 523, начало в 12-00. На экзамене при подготовке билета разрешается пользоваться любыми материалами. При непосредственном ответе ничем пользоваться нельзя.
 +
 +
[[Media:DL17_exam_questions.pdf|Список вопросов к экзамену]]
== Система выставления оценок по курсу ==
== Система выставления оценок по курсу ==
-
Будет объявлена позже.
+
Оценка за курс вычисляется по правилу 0.5*(оценка за экзамен) + 0.25*(оценка за задание 1) + 0.25*(оценка за задание 2). Округление проводится к ближайшему целому. Для получения оценок «отлично» и «хорошо» необходимо сдать оба практических задания. Для получения оценки «удовлетворительно» необходимо сдать одно практическое задание.
== Практические задания ==
== Практические задания ==
Строка 17: Строка 35:
Задание 1. Автоматическое дифференцирование для автокодировщика. Срок сдачи: 8 октября (воскресенье), 23:59.
Задание 1. Автоматическое дифференцирование для автокодировщика. Срок сдачи: 8 октября (воскресенье), 23:59.
 +
 +
Задание 2. Рекуррентные сети. Срок сдачи: 29 декабря (пятница), 23:59.
== Занятия ==
== Занятия ==
Строка 23: Строка 43:
!Дата !! № занятия !! Занятие !! Материалы
!Дата !! № занятия !! Занятие !! Материалы
|-
|-
-
| 8 сентября 2016 || align="center"|1 || Введение в курс. Автоматическое дифференцирование. ||
+
| 8 сентября 2017 || align="center"|1 || Введение в курс. Автоматическое дифференцирование. ||
 +
|-
 +
| 15 сентября 2017 || align="center"|2 || Методы регуляризации для нейросетей. Стохастическая оптимизация. Введение в pytorch. || [[Media:VKitov-DL-Regularization_in_deep_learning.pdf‎ ‎|Презентация]]
 +
|-
 +
| 22 сентября 2017 || align="center"|3 || Свёрточные нейронные сети для задачи классификации изображений || [[Media:Dl17_Osokin_Convnets.pdf|Презентация]]
 +
|-
 +
| 29 сентября 2017 || align="center"|4 || Свёрточные нейронные сети в задачах компьютерного зрения || [[Media:Dl17_Osokin_Deepvision.pdf|Презентация]]
 +
|-
 +
| 6 октября 2017 || align="center"|5 || Рекуррентные нейронные сети || [https://drive.google.com/open?id=0B7TWwiIrcJstZjdWTG84VVF1eDA Презентация]
 +
|-
 +
| 13 октября 2017 || align="center"|6 || Память и внимание в глубинном обучении || [https://drive.google.com/open?id=1y3KHkvr0aWKGHvsrLwvLPXbCEQHt7N_r Презентация]
 +
|-
 +
| 20 октября 2017 || align="center"|7 || Вариационный автокодировщик ||
 +
|-
 +
| 27&nbsp;октября&nbsp;2017 || align="center"|8 || Перенос стиля изображений || [https://yadi.sk/i/pKPEkEJ63RNonk ‎Презентация] <br> (обновлена 11.01.2018)
 +
|-
 +
| 10&nbsp;ноября&nbsp;2017 || align="center"|9 || Обучение с подкреплением, алгоритм Q обучения, Deep Q Network (DQN) ||
 +
|-
 +
| 17&nbsp;ноября&nbsp;2017 || align="center"|10 || Policy based и actor-critic алгоритмы в обучении с подкреплением ||
|-
|-
-
| 15&nbsp;сентября&nbsp;2016 || align="center"|2 || Методы регуляризации для нейросетей. Стохастическая оптимизация. Введение в pytorch. || [[Media:VKitov-DL-Regularization_in_deep_learning.pdf‎ ‎|Презентация]]
+
| 24&nbsp;ноября&nbsp;2017 || align="center"|11 || Генеративно-состязательные сети || [[Media:VKitov-DL2017-Generative_adversarial_learning.pdf‎ ‎|Презентация]]
|-
|-
-
| 22&nbsp;сентября&nbsp;2016 || align="center"|3 || Свёрточные нейронные сети для задачи классификации изображений || [[Media:Dl17_Osokin_Convnets.pdf|Презентация]]
+
| 1&nbsp;декабря&nbsp;2017 || align="center"|12 || Механизмы внимания в глубинном обучении || [https://docs.google.com/presentation/d/1x7oBI9y-s3x8dKkMx849hxNg8lIPBTv1qFWBbfhuinI/edit#slide=id.p Презентация]
|-
|-
-
| 29&nbsp;сентября&nbsp;2016 || align="center"|4 || Свёрточные нейронные сети в задачах компьютерного зрения || [[Media:Dl17_Osokin_Deepvision.pdf|Презентация]]
+
| 8&nbsp;декабря&nbsp;2017 || align="center"|13 || Нейронные сети в структурном предсказании. Дифференцирование алгоритмов по входу. ||
|-
|-
|}
|}

Версия 13:03, 26 января 2018


Преподаватели: Д.А. Кропотов, В.В. Китов, Е.М. Лобачёва, А.А. Осокин и др.

В осеннем семестре 2017 года занятия по курсу проходят на ВМК в ауд. 582 с 10-30 до 13-50.

Вопросы по курсу можно направлять письмом на bayesml@gmail.com. В название письма обязательно добавлять [ВМК ГО17].

Объявления

25.12.17: Срок сдачи второго практического задания продлён до пятницы, 29 декабря, 23:59.

23.12.17: Пересдача зачёта по курсу состоится в пятницу, 29 декабря, в ауд. 523, начало в 11-00.

22.12.17: Зачёт по курсу состоится завтра, 23 декабря, в ауд. 682, начало в 13-00. Список вопросов к зачёту.

15.12.17: Внимание! Сегодня занятия по курсу отменяются.

13.12.17: выложено второе практическое задание по курсу.

03.11.17: Внимание! Сегодня занятия по курсу отменяются.

05.10.17: завтра занятия по курсу пройдут в обычное время с 10-30 до 13-50.

Экзамен

Экзамен состоится 14 января в ауд. 523, начало в 12-00. На экзамене при подготовке билета разрешается пользоваться любыми материалами. При непосредственном ответе ничем пользоваться нельзя.

Список вопросов к экзамену

Система выставления оценок по курсу

Оценка за курс вычисляется по правилу 0.5*(оценка за экзамен) + 0.25*(оценка за задание 1) + 0.25*(оценка за задание 2). Округление проводится к ближайшему целому. Для получения оценок «отлично» и «хорошо» необходимо сдать оба практических задания. Для получения оценки «удовлетворительно» необходимо сдать одно практическое задание.

Практические задания

Задания выдаются и принимаются через систему anytask.org. Для получения инвайта просьба писать на почту курса.

Задание 1. Автоматическое дифференцирование для автокодировщика. Срок сдачи: 8 октября (воскресенье), 23:59.

Задание 2. Рекуррентные сети. Срок сдачи: 29 декабря (пятница), 23:59.

Занятия

Дата № занятия Занятие Материалы
8 сентября 2017 1 Введение в курс. Автоматическое дифференцирование.
15 сентября 2017 2 Методы регуляризации для нейросетей. Стохастическая оптимизация. Введение в pytorch. Презентация
22 сентября 2017 3 Свёрточные нейронные сети для задачи классификации изображений Презентация
29 сентября 2017 4 Свёрточные нейронные сети в задачах компьютерного зрения Презентация
6 октября 2017 5 Рекуррентные нейронные сети Презентация
13 октября 2017 6 Память и внимание в глубинном обучении Презентация
20 октября 2017 7 Вариационный автокодировщик
27 октября 2017 8 Перенос стиля изображений ‎Презентация
(обновлена 11.01.2018)
10 ноября 2017 9 Обучение с подкреплением, алгоритм Q обучения, Deep Q Network (DQN)
17 ноября 2017 10 Policy based и actor-critic алгоритмы в обучении с подкреплением
24 ноября 2017 11 Генеративно-состязательные сети Презентация
1 декабря 2017 12 Механизмы внимания в глубинном обучении Презентация
8 декабря 2017 13 Нейронные сети в структурном предсказании. Дифференцирование алгоритмов по входу.

Литература

  1. Ian Goodfellow, Yoshua Bengio, Aaron Courville. Deep Learning, MIT Press, 2016.

Архив

2016 год

Личные инструменты