Глубинное обучение (курс лекций)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
м (→Занятия)
(34 промежуточные версии не показаны)
Строка 1: Строка 1:
__NOTOC__
__NOTOC__
-
Описание
+
'''Преподаватели''': [[Участник:Kropotov|Д.А. Кропотов]], [[Участник:Victor Kitov|В.В. Китов]], [[Участник:Tipt0p|Е.М. Лобачёва]], А.А. Осокин и др.
-
'''Преподаватели''': [[Участник:Kropotov|Д.А. Кропотов]], [[Участник:Victor Kitov|В.В. Китов]], [[Участник:Dmitry Vetrov|Д.П. Ветров]], [[Участник:Tipt0p|Е.М. Лобачёва]], [[Участник:artemov|А. В. Артёмов]], [https://ars-ashuha.ru А. Ашуха], А. Панин.
+
В осеннем семестре 2017 года занятия по курсу проходят на [[ВМК]] в ауд. 582 с 10-30 до 13-50.
-
По всем вопросам, связанным с курсом, просьба писать на ''bayesml@gmail.com''. В название письма обязательно добавлять [ВМК ГО16].
+
Вопросы по курсу можно направлять письмом на ''bayesml@gmail.com''. В название письма обязательно добавлять [ВМК ГО17].
-
В осеннем семестре 2016 года занятия по курсу проходят на [[ВМК]] в ауд. 582 с 10-30 до 13-50.
+
== Объявления ==
-
== Система выставления оценок по курсу ==
+
'''25.12.17''': Срок сдачи второго практического задания продлён до пятницы, 29 декабря, 23:59.
-
В рамках курса предполагается три практических заданий и экзамен. Каждое задание оценивается из 5-ти баллов. За просрочку при сдаче задания начисляется штраф из расчёта 0.1 балла в день, но суммарно не более 3-х баллов. В итоговой оценке 70% составляют баллы за практические задания и 30% — оценка за экзамен. Для получения финального результата (0, 3, 4, 5) итоговая оценка по курсу округляется в большую сторону. Для получения итоговой оценки 3 необходимо выполнить не менее одного практического задания, для оценки 4 – не менее двух практических заданий, для оценки 5 – три практических задания.
+
-
== Экзамен ==
+
'''23.12.17''': Пересдача зачёта по курсу состоится в пятницу, 29 декабря, в ауд. 523, начало в 11-00.
-
Экзамен по курсу состоится 16 января в ауд. 523, начало в 12-00. На экзамене при подготовке билета разрешается пользоваться любыми материалами. При непосредственном ответе ничем пользоваться нельзя. Просьба обратить внимание на теоретический минимум. Незнание ответов на вопросы из теор. минимума влечёт неудовлетворительную оценку за экзамен.
+
-
[[Media:DL16_exam_questions.pdf| Вопросы к экзамену]]
+
'''22.12.17''': Зачёт по курсу состоится завтра, 23 декабря, в ауд. 682, начало в 13-00. [[Media:DL17_test_questions.pdf|Список вопросов к зачёту.]]
-
== Практические задания ==
+
'''15.12.17''': Внимание! Сегодня занятия по курсу отменяются.
-
Задание 1. Автоматическое дифференцирование для автокодировщика ([[Media:Dl16_assignment1.pdf|формулировка]], [[Media:Dl16_assignment1_codes.zip|коды]]). Срок сдачи: 9 ноября, 23:59.
+
'''13.12.17''': выложено второе практическое задание по курсу.
-
Задание 2. Рекуррентные нейронные сети: [https://drive.google.com/file/d/0B7TWwiIrcJstNDE5N29PNFhfQlU/view?usp=sharing формулировка], [https://drive.google.com/file/d/0B7TWwiIrcJstM1ppckdHdnY5YkU/view?usp=sharing ноутбук с генерацией], [https://drive.google.com/file/d/0B7TWwiIrcJstQTRJYWhidmNKRWM/view?usp=sharing ноутбук с классификацией], [https://drive.google.com/drive/folders/0B7TWwiIrcJstYXpCVV96S1hNUHM?usp=sharing данные]. Срок сдачи: 27 ноября (воскресенье), 23:59.
+
'''03.11.17''': Внимание! Сегодня занятия по курсу отменяются.
-
Задание 3. Сверточные нейронные сети для детекции объектов: [https://yadi.sk/d/3arpo9Nz32JbpR формулировка], ссылки на данные находятся внутри PDF-файла с формулировкой. Срок сдачи: 20 декабря (вторник), 23:59.
+
'''05.10.17''': завтра занятия по курсу пройдут в обычное время с 10-30 до 13-50.
-
Задание 4. Бонусное: Генерация описаний для изображений [[Media:Msu-dl16-hw4.pdf|формулировка]] Срок сдачи: 8 января (воскресенье), 23:59. Выполнение бонусного задания является альтернативой сдачи экзамена по курсу.
+
== Экзамен ==
 +
Экзамен состоится 14 января в ауд. 523, начало в 12-00. На экзамене при подготовке билета разрешается пользоваться любыми материалами. При непосредственном ответе ничем пользоваться нельзя.
 +
 
 +
[[Media:DL17_exam_questions.pdf|Список вопросов к экзамену]]
 +
 
 +
== Система выставления оценок по курсу ==
 +
Оценка за курс вычисляется по правилу 0.5*(оценка за экзамен) + 0.25*(оценка за задание 1) + 0.25*(оценка за задание 2). Округление проводится к ближайшему целому. Для получения оценок «отлично» и «хорошо» необходимо сдать оба практических задания. Для получения оценки «удовлетворительно» необходимо сдать одно практическое задание.
 +
 
 +
== Практические задания ==
 +
Задания выдаются и принимаются через систему ''anytask.org''. Для получения инвайта просьба писать на почту курса.
 +
 
 +
Задание 1. Автоматическое дифференцирование для автокодировщика. Срок сдачи: 8 октября (воскресенье), 23:59.
 +
 
 +
Задание 2. Рекуррентные сети. Срок сдачи: 29 декабря (пятница), 23:59.
-
== Расписание ==
+
== Занятия ==
{| class="standard"
{| class="standard"
!Дата !! № занятия !! Занятие !! Материалы
!Дата !! № занятия !! Занятие !! Материалы
|-
|-
-
| 2 сентября 2016 || align="center"|1 || Введение в курс. Стохастическая оптимизация. || [[Media:DL16_lecture_1.pdf|Презентация]]
+
| 8 сентября 2017 || align="center"|1 || Введение в курс. Автоматическое дифференцирование. ||
|-
|-
-
| 9 сентября 2016 || align="center"|2 || Сети прямого распространения. Автоматическое дифференцирование. ||
+
| 15 сентября 2017 || align="center"|2 || Методы регуляризации для нейросетей. Стохастическая оптимизация. Введение в pytorch. || [[Media:VKitov-DL-Regularization_in_deep_learning.pdf‎ ‎|Презентация]]
|-
|-
-
| 16 сентября 2016 || align="center"|3 || Сверточные нейронные сети. || [[Media:DL16_lecture_3.pdf|Презентация]]
+
| 22 сентября 2017 || align="center"|3 || Свёрточные нейронные сети для задачи классификации изображений || [[Media:Dl17_Osokin_Convnets.pdf|Презентация]]
|-
|-
-
| 23 сентября 2016 || align="center"|4 || Регуляризация нейронных сетей. || [[Media:DL16-Lecture_4.pdf‎‎|Презентация]]
+
| 29 сентября 2017 || align="center"|4 || Свёрточные нейронные сети в задачах компьютерного зрения || [[Media:Dl17_Osokin_Deepvision.pdf|Презентация]]
|-
|-
-
| 30 сентября 2016 || align="center"|5 || Нейронные сети для компьютерного зрения. Локализация, детектирование и распознавание объектов. || [https://yadi.sk/d/ID8zmeKZwY5tN Презентация]
+
| 6 октября 2017 || align="center"|5 || Рекуррентные нейронные сети || [https://drive.google.com/open?id=0B7TWwiIrcJstZjdWTG84VVF1eDA Презентация]
|-
|-
-
| rowspan=2|7 октября 2016 || rowspan=2, align="center"|6 || Визуализация слоев. Neural Style. || [https://yadi.sk/i/hmuXwl9iwY5jn Презентация]
+
| 13 октября 2017 || align="center"|6 || Память и внимание в глубинном обучении || [https://drive.google.com/open?id=1y3KHkvr0aWKGHvsrLwvLPXbCEQHt7N_r Презентация]
|-
|-
-
| Предобработка текстов. || [[Media:DL16-Lecture_7.pdf‎‎|Презентация]]
+
| 20 октября 2017 || align="center"|7 || Вариационный автокодировщик ||
|-
|-
-
| 14 октября 2016 || align="center"|7 || Рекуррентные нейронные сети. Проблема затухающих и взрывающихся градиентов. || rowspan=2|[https://drive.google.com/file/d/0B7TWwiIrcJstTnp2NktiUUtNbUk/view?usp=sharing Презентация]
+
| 27&nbsp;октября&nbsp;2017 || align="center"|8 || Перенос стиля изображений || [https://yadi.sk/i/pKPEkEJ63RNonk ‎Презентация] <br> (обновлена 11.01.2018)
|-
|-
-
| 21&nbsp;октября&nbsp;2016 || align="center"|8 || Примеры применения рекуррентных нейронных сетей. Регуляризация.
+
| 10&nbsp;ноября&nbsp;2017 || align="center"|9 || Обучение с подкреплением, алгоритм Q обучения, Deep Q Network (DQN) ||
|-
|-
-
| 28&nbsp;октября&nbsp;2016 || align="center"|9 || Автокодировщики. || [[Media:DL16_lecture_9.pdf|Презентация]]
+
| 17&nbsp;ноября&nbsp;2017 || align="center"|10 || Policy based и actor-critic алгоритмы в обучении с подкреплением ||
|-
|-
-
| 11&nbsp;ноября&nbsp;2016 || align="center"|10 || Байесовский подход к теории вероятностей. Модели со скрытыми переменными. || [[Media:MMP_Practicum_317_2015_EM_algorithm.pdf|Конспект по ЕМ-алгоритму]]
+
| 24&nbsp;ноября&nbsp;2017 || align="center"|11 || Генеративно-состязательные сети || [[Media:VKitov-DL2017-Generative_adversarial_learning.pdf‎ ‎|Презентация]]
|-
|-
-
| 18&nbsp;ноября&nbsp;2016 || align="center"|11 || Вариационный автокодировщик. Стохастический граф вычислений. || [[Media:BMMO11_11.pdf|Конспект по вероятностному методу главных компонент]] [https://arxiv.org/abs/1312.6114 Статья]
+
| 1&nbsp;декабря&nbsp;2017 || align="center"|12 || Механизмы внимания в глубинном обучении || [https://docs.google.com/presentation/d/1x7oBI9y-s3x8dKkMx849hxNg8lIPBTv1qFWBbfhuinI/edit#slide=id.p Презентация]
|-
|-
-
| 25&nbsp;ноября&nbsp;2016 || align="center"|12 || Генерация текста по картинке. || [https://github.com/ars-ashuha/ars-ashuha.github.io/blob/master/slides/2016.11.11_ImageCaptioning/image_captionong.pdf Презентация]
+
| 8&nbsp;декабря&nbsp;2017 || align="center"|13 || Нейронные сети в структурном предсказании. Дифференцирование алгоритмов по входу. ||
-
|-
+
-
| 2&nbsp;декабря&nbsp;2016 || align="center"|13 || Обучение с подкреплением. Примеры задач. || [[Media:DL16_lecture_13.pdf|Презентация]]
+
-
|-
+
-
| 9&nbsp;декабря&nbsp;2016 || align="center"|14 || Использование нейросетей в обучении с подкреплением. || [[Media:DL16_lecture_14.pdf|Презентация]]
+
|-
|-
|}
|}
Строка 66: Строка 73:
== Литература ==
== Литература ==
# Ian Goodfellow, Yoshua Bengio, Aaron Courville. [http://www.deeplearningbook.org/ Deep Learning], MIT Press, 2016.
# Ian Goodfellow, Yoshua Bengio, Aaron Courville. [http://www.deeplearningbook.org/ Deep Learning], MIT Press, 2016.
 +
 +
== Архив ==
 +
[[Глубинное обучение (курс лекций)/2016|2016 год]]

Версия 13:03, 26 января 2018


Преподаватели: Д.А. Кропотов, В.В. Китов, Е.М. Лобачёва, А.А. Осокин и др.

В осеннем семестре 2017 года занятия по курсу проходят на ВМК в ауд. 582 с 10-30 до 13-50.

Вопросы по курсу можно направлять письмом на bayesml@gmail.com. В название письма обязательно добавлять [ВМК ГО17].

Объявления

25.12.17: Срок сдачи второго практического задания продлён до пятницы, 29 декабря, 23:59.

23.12.17: Пересдача зачёта по курсу состоится в пятницу, 29 декабря, в ауд. 523, начало в 11-00.

22.12.17: Зачёт по курсу состоится завтра, 23 декабря, в ауд. 682, начало в 13-00. Список вопросов к зачёту.

15.12.17: Внимание! Сегодня занятия по курсу отменяются.

13.12.17: выложено второе практическое задание по курсу.

03.11.17: Внимание! Сегодня занятия по курсу отменяются.

05.10.17: завтра занятия по курсу пройдут в обычное время с 10-30 до 13-50.

Экзамен

Экзамен состоится 14 января в ауд. 523, начало в 12-00. На экзамене при подготовке билета разрешается пользоваться любыми материалами. При непосредственном ответе ничем пользоваться нельзя.

Список вопросов к экзамену

Система выставления оценок по курсу

Оценка за курс вычисляется по правилу 0.5*(оценка за экзамен) + 0.25*(оценка за задание 1) + 0.25*(оценка за задание 2). Округление проводится к ближайшему целому. Для получения оценок «отлично» и «хорошо» необходимо сдать оба практических задания. Для получения оценки «удовлетворительно» необходимо сдать одно практическое задание.

Практические задания

Задания выдаются и принимаются через систему anytask.org. Для получения инвайта просьба писать на почту курса.

Задание 1. Автоматическое дифференцирование для автокодировщика. Срок сдачи: 8 октября (воскресенье), 23:59.

Задание 2. Рекуррентные сети. Срок сдачи: 29 декабря (пятница), 23:59.

Занятия

Дата № занятия Занятие Материалы
8 сентября 2017 1 Введение в курс. Автоматическое дифференцирование.
15 сентября 2017 2 Методы регуляризации для нейросетей. Стохастическая оптимизация. Введение в pytorch. Презентация
22 сентября 2017 3 Свёрточные нейронные сети для задачи классификации изображений Презентация
29 сентября 2017 4 Свёрточные нейронные сети в задачах компьютерного зрения Презентация
6 октября 2017 5 Рекуррентные нейронные сети Презентация
13 октября 2017 6 Память и внимание в глубинном обучении Презентация
20 октября 2017 7 Вариационный автокодировщик
27 октября 2017 8 Перенос стиля изображений ‎Презентация
(обновлена 11.01.2018)
10 ноября 2017 9 Обучение с подкреплением, алгоритм Q обучения, Deep Q Network (DQN)
17 ноября 2017 10 Policy based и actor-critic алгоритмы в обучении с подкреплением
24 ноября 2017 11 Генеративно-состязательные сети Презентация
1 декабря 2017 12 Механизмы внимания в глубинном обучении Презентация
8 декабря 2017 13 Нейронные сети в структурном предсказании. Дифференцирование алгоритмов по входу.

Литература

  1. Ian Goodfellow, Yoshua Bengio, Aaron Courville. Deep Learning, MIT Press, 2016.

Архив

2016 год

Источник — «http://www.machinelearning.ru/wiki/index.php?title=%D0%93%D0%BB%D1%83%D0%B1%D0%B8%D0%BD%D0%BD%D0%BE%D0%B5_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5_%28%D0%BA%D1%83%D1%80%D1%81_%D0%BB%D0%B5%D0%BA%D1%86%D0%B8%D0%B9%29»
Личные инструменты