Практикум на ЭВМ (317)/2019 (весна)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Материалы занятий)
(Материалы занятий)
Строка 37: Строка 37:
Решение задач на backpropagation.
Решение задач на backpropagation.
| [https://github.com/mmp-practicum-team/mmp_practicum_spring_2019/blob/master/01.Backprop/tasks.pdf решение задач]
| [https://github.com/mmp-practicum-team/mmp_practicum_spring_2019/blob/master/01.Backprop/tasks.pdf решение задач]
 +
|
 +
<!-- Конец занятия -->
 +
|- <!-- Новое занятие -->
 +
| 19 февраля
 +
| Занятие 2
 +
| Методы оптимизации для нейросетей.
 +
Регуляризация в нейросетях.
 +
 +
Инициализация для нейросетей.
 +
| [https://www.youtube.com/watch?v=djh4hBxTZRA&list=PLEqoHzpnmTfBSyGmE4nBlhxxi28dCZwWN&index=5&t=109s видеолеция про стохастическую оптимизацию]
 +
 +
[http://ruder.io/optimizing-gradient-descent/ обзор различных методов оптимизации нейросетей]
 +
 +
[http://jmlr.org/papers/volume15/srivastava14a/srivastava14a.pdf статья Dropout]
 +
 +
[https://arxiv.org/abs/1502.03167 статья BatchNormalization]
 +
 +
[http://proceedings.mlr.press/v9/glorot10a/glorot10a.pdf статья про Glorot инициализацию]
|
|
<!-- Конец занятия -->
<!-- Конец занятия -->

Версия 08:38, 19 февраля 2019

  • Обязательный курс для студентов каф. ММП 3 курса, 6 семестр
  • Зачёт с оценкой
  • Преподаватели: Д.А. Кропотов, Артём Попов, Виктор Януш
  • Занятия проходят в ауд. 606 по понедельникам, начало в 16 20. Первое занятие 11 февраля.

Анонимные отзывы по курсу можно оставлять здесь: ссылка на гугл-форму

Репозиторий со всеми материалами: ссылка

Содержание

Объявления

Пока нет...

Правила сдачи практикума

1. В рамках семестра предполагается пять практических заданий. Все задания сдаются в систему anytask, инвайт к курсу можно получить у преподавателя.

2. За каждое практическое задание можно получить до 10-ти баллов. Задание представляет собой jupyter notebook с некоторыми пропущенными шагами, которые необходимо выполнить. Формат сдачи задания — выполненный jupyter notebook. Срок выполнения каждого задания — 2 недели. За каждый день просрочки назначается штраф в 1 балл.

3. Предусмотрены бонусные активности: бонусные задачи, за которые можно получить дополнительные баллы.

4. Критерии итоговой оценки:

  • отлично — 40 баллов, 4 практических заданий сданы на оценку > 0
  • хорошо — 30 баллов, 3 практических задания сданы на оценку > 0
  • удовлетворительно — 20 баллов, 2 практических задания сданы на оценку > 0

5. Задания выполняются самостоятельно (если не оговорено обратное). Если задание выполнялось сообща, или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчете. В противном случае «похожие» решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.

Материалы занятий

Дата Номер Тема Материалы Д/З
11 февраля Занятие 1 Автоматическое дифференцирование.

Решение задач на backpropagation.

решение задач
19 февраля Занятие 2 Методы оптимизации для нейросетей.

Регуляризация в нейросетях.

Инициализация для нейросетей.

видеолеция про стохастическую оптимизацию

обзор различных методов оптимизации нейросетей

статья Dropout

статья BatchNormalization

статья про Glorot инициализацию

Страницы прошлых лет

2018-2019 (осень)

2017-2018 (осень) , 2017-2018 (весна)

2016-2017

2015-2016

2014-2015

2013-2014

2012-2013

2011-2012

Личные инструменты