Структурные модели и глубинное обучение (регулярный семинар)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Прошедшие заседания)
(Заседания)
 
(32 промежуточные версии не показаны)
Строка 10: Строка 10:
== Время заседаний: ==
== Время заседаний: ==
-
Регулярный семинар, проводится в ИППИ РАН по понедельникам в 18-30, ауд. 615.
+
Регулярный семинар, проводится в [http://iitp.ru/ru/maps.htm ИППИ РАН] по понедельникам в 18-30, ауд. 615.
== Научные руководители семинара ==
== Научные руководители семинара ==
Строка 20: Строка 20:
Совместный учебно-научный семинар магистерской программы [http://www.hse.ru/ma/mmos/ Математические методы оптимизации и стохастики] [http://cs.hse.ru Факультета Компьютерных наук] [http://www.hse.ru НИУ ВШЭ], [http://iitp.ru/ru/about Института проблем передачи информации РАН] и [http://premolab.ru Лаборатории ПреМоЛаб МФТИ]. Куратор семинара [http://www.hse.ru/org/persons/43876463 Евгений Бурнаев] (профили в [http://www.hse.ru/org/persons/43876463 НИУ ВШЭ] и на [http://www.mathnet.ru/php/person.phtml?option_lang=rus&personid=21621 MathNet.ru])
Совместный учебно-научный семинар магистерской программы [http://www.hse.ru/ma/mmos/ Математические методы оптимизации и стохастики] [http://cs.hse.ru Факультета Компьютерных наук] [http://www.hse.ru НИУ ВШЭ], [http://iitp.ru/ru/about Института проблем передачи информации РАН] и [http://premolab.ru Лаборатории ПреМоЛаб МФТИ]. Куратор семинара [http://www.hse.ru/org/persons/43876463 Евгений Бурнаев] (профили в [http://www.hse.ru/org/persons/43876463 НИУ ВШЭ] и на [http://www.mathnet.ru/php/person.phtml?option_lang=rus&personid=21621 MathNet.ru])
-
== Прошедшие заседания ==
+
== Заседания ==
-
Заседание 1 (19 октября)
+
Заседание 1 (12 февраля)
-
:::* Введение в нейронные сети: обзор основных математических моделей нейронных сетей, приложения
+
:::* Обзор моделей и методов для Automatic ML
-
:::* Программные библиотеки для моделирования нейронных сетей, туториалы к ним
+
:::* Результаты тестирования методов для Automatic ML
 +
[[Media:presentation_AutoML.pdf|Презентация, PDF [1,94Мб]]]
-
Заседание 2 (26 октября)
+
Заседание 2 (4 марта)
-
:::* Автоматические методы выбора структуры нейронных сетей
+
:::* Обсуждение текущих результатов в решении задачи анализа сигнала изменчивости сердечного ритма (heart rate variability, HRV),
-
:::* Практические особенности построения нейросетевых моделей в конкретных приложениях
+
:::* Обсуждение современных архитектур RNN и проблем их обучения.
 +
 
 +
Заседание 3 (21 марта)
 +
:::* Михаил Фигурнов. "Acceleration of Convolutional Neural Networks through Elimination of Redundant Convolutions"
 +
[[Media:IPPI - 21.03.2016.pdf|Презентация, PDF [2,7Мб]]]
 +
 
 +
{{Main|Заседания семинара в 2015 г.}}
== Ссылки ==
== Ссылки ==
Строка 35: Строка 42:
# [https://github.com/robertsdionne/neural-network-papers Библиография работ по Deep Learning]
# [https://github.com/robertsdionne/neural-network-papers Библиография работ по Deep Learning]
# [http://www.iro.umontreal.ca/~bengioy/dlbook/ Книга «Deep Learning» авторов Yoshua Bengio, Ian Goodfellow and Aaron Courville]
# [http://www.iro.umontreal.ca/~bengioy/dlbook/ Книга «Deep Learning» авторов Yoshua Bengio, Ian Goodfellow and Aaron Courville]
 +
# [http://on-demand.gputechconf.com/gtc/2014/webinar/gtc-express-convolutional-networks-webinar.mp4 "The Unreasonable Effectiveness of Deep Learning" Yann LeCun]
# [http://videolectures.net/kdd2014_salakhutdinov_deep_learning/ Deep Learning Tutorial by Ruslan Salakhutdinov at the KDD-2014]
# [http://videolectures.net/kdd2014_salakhutdinov_deep_learning/ Deep Learning Tutorial by Ruslan Salakhutdinov at the KDD-2014]
# [http://cs231n.stanford.edu/syllabus.html Course: Convolutional Neural Networks for Visual Recognition]
# [http://cs231n.stanford.edu/syllabus.html Course: Convolutional Neural Networks for Visual Recognition]
Строка 51: Строка 59:
# [http://neuralnetworksanddeeplearning.com Онлайн книжка, которая по большому счету является одним длинным туториалом.] В начале идет достаточно подробное введение в концепцию классических нейронных сетей, а в последней главе обсуждаются некоторые элементы глубокого обучения и дан хороший набор ссылок на другие материалы по глубокому обучению.
# [http://neuralnetworksanddeeplearning.com Онлайн книжка, которая по большому счету является одним длинным туториалом.] В начале идет достаточно подробное введение в концепцию классических нейронных сетей, а в последней главе обсуждаются некоторые элементы глубокого обучения и дан хороший набор ссылок на другие материалы по глубокому обучению.
# Если у вас нет графической карточки, то можно пользоваться амазоновскими кластерами с графическими карточками. При использовании spot instances (google it!) стоимость instance с 1 графической карточкой составляет примерно 10-12 центов в час. [http://markus.com/install-theano-on-aws/ Вот небольшой мануал] на тему установки необходимого софта на AWS (его же можно использовать и для установки на свои машины)
# Если у вас нет графической карточки, то можно пользоваться амазоновскими кластерами с графическими карточками. При использовании spot instances (google it!) стоимость instance с 1 графической карточкой составляет примерно 10-12 центов в час. [http://markus.com/install-theano-on-aws/ Вот небольшой мануал] на тему установки необходимого софта на AWS (его же можно использовать и для установки на свои машины)
 +
# [http://star.mit.edu/cluster/docs/latest/index.html Starcluster - система для автоматизации работы со spot instances.]
 +
# [https://www.youtube.com/playlist?list=PLjAaEVR74i-BC2LUoBk_441Qw_12Lby-- как запускать StarCluster на нодах с 14.04], а не 13 (самый свежий коммьюнити-образ на текущий момент)
 +
# [http://benanne.github.io/2015/03/17/plankton.html Продвинутый материал], который описывает выигравшее решение крупного конкурса на kaggle по классификации планктона (больше 1000 участников и призовой фонд в 175k $)
 +
# Обещанные материалы по копированию стиля художников выложены в открытом репозитории в [https://github.com/epave/deepart/ гитхабе (будет пополняться)]:
 +
## Выложены два примера, использующие сети VGG-19 и GoogLeNet (второй пока работает некорректно) с помощью связки Lasagne/Theano.
 +
## Все сильно оптимизировано под небольшие объемы памяти и протестировано на mac book pro (late 2013) с графической картой Nvidia GeForce GT 750M (2 Gb памяти).
 +
## Некоторые дополнительные установки можно найти внутри ноутбуков.
 +
## Есть [http://deepart.io/ сайт], на котором можно делать такие же картинки за ~150-200 часов бесплатно или за умеренную плату в 2 евро за ~20 мин.
 +
# [https://github.com/zer0n/deepframeworks/blob/master/README.md Сравнение программных библиотек для Deep Learning]
[[Категория:Учебные курсы]]
[[Категория:Учебные курсы]]

Текущая версия

Содержание

Описание семинара:

Deep Learning – это разновидность машинного обучения, в основе которой лежат нейронные сети. Сегодня на использовании «глубинного обучения» строятся системы распознавания речи, распознавание визуальных объектов (как статических, так и движущихся) и, наконец, взаимодействие компьютерных систем с естественным языком и вычленение смыслов. Многие ученые считают Deep Learning революцией в машинном обучении, см. например, интервью с директором Facebook по искусственному интеллекту Яном Лекуном (Yann LeCun) (перевод)

Цели исследований соответствующей научной группы:

  1. Разработка новых алгоритмов глубинного обучения (Deep Learning),
  2. Решение прикладных задач с использованием методов Deep Learning (автоматическое описание изображений/видео, описание 3D формы, анализ нейро-данных, анализ медицинских изображений, и т.п.),
  3. Теоретические анализ моделей Deep Learning, в т.ч. и с использованием теории структурных моделей

Время заседаний:

Регулярный семинар, проводится в ИППИ РАН по понедельникам в 18-30, ауд. 615.

Научные руководители семинара

Е.В. Бурнаев и В.Г. Спокойный

Организатор семинара

Совместный учебно-научный семинар магистерской программы Математические методы оптимизации и стохастики Факультета Компьютерных наук НИУ ВШЭ, Института проблем передачи информации РАН и Лаборатории ПреМоЛаб МФТИ. Куратор семинара Евгений Бурнаев (профили в НИУ ВШЭ и на MathNet.ru)

Заседания

Заседание 1 (12 февраля)

  • Обзор моделей и методов для Automatic ML
  • Результаты тестирования методов для Automatic ML

Презентация, PDF [1,94Мб]

Заседание 2 (4 марта)

  • Обсуждение текущих результатов в решении задачи анализа сигнала изменчивости сердечного ритма (heart rate variability, HRV),
  • Обсуждение современных архитектур RNN и проблем их обучения.

Заседание 3 (21 марта)

  • Михаил Фигурнов. "Acceleration of Convolutional Neural Networks through Elimination of Redundant Convolutions"

Презентация, PDF [2,7Мб]

Ссылки

Некоторые ссылки:

  1. Библиография работ по Deep Learning
  2. Книга «Deep Learning» авторов Yoshua Bengio, Ian Goodfellow and Aaron Courville
  3. "The Unreasonable Effectiveness of Deep Learning" Yann LeCun
  4. Deep Learning Tutorial by Ruslan Salakhutdinov at the KDD-2014
  5. Course: Convolutional Neural Networks for Visual Recognition
  6. Composing music with recurrent neural networks
  7. A Neural Algorithm of Artistic Style
  8. Using Deep Reinforcement Learning to Play Chess
  9. Просто полезный сайт deeplearning.net

Программные библиотеки:

  1. Theano - питоновский тулбокс для символьных вычислений
  2. упражнения по Theano
  3. https://github.com/Lasagne/Lasagne Lasagne
  4. Tutorial for Lasagne
  5. Nolearn (обертка для упрощения работы с Lasagne)
  6. Хороший туториал, в котором отражены многие аспекты практического использования глубокого обучения
  7. Онлайн книжка, которая по большому счету является одним длинным туториалом. В начале идет достаточно подробное введение в концепцию классических нейронных сетей, а в последней главе обсуждаются некоторые элементы глубокого обучения и дан хороший набор ссылок на другие материалы по глубокому обучению.
  8. Если у вас нет графической карточки, то можно пользоваться амазоновскими кластерами с графическими карточками. При использовании spot instances (google it!) стоимость instance с 1 графической карточкой составляет примерно 10-12 центов в час. Вот небольшой мануал на тему установки необходимого софта на AWS (его же можно использовать и для установки на свои машины)
  9. Starcluster - система для автоматизации работы со spot instances.
  10. как запускать StarCluster на нодах с 14.04, а не 13 (самый свежий коммьюнити-образ на текущий момент)
  11. Продвинутый материал, который описывает выигравшее решение крупного конкурса на kaggle по классификации планктона (больше 1000 участников и призовой фонд в 175k $)
  12. Обещанные материалы по копированию стиля художников выложены в открытом репозитории в гитхабе (будет пополняться):
    1. Выложены два примера, использующие сети VGG-19 и GoogLeNet (второй пока работает некорректно) с помощью связки Lasagne/Theano.
    2. Все сильно оптимизировано под небольшие объемы памяти и протестировано на mac book pro (late 2013) с графической картой Nvidia GeForce GT 750M (2 Gb памяти).
    3. Некоторые дополнительные установки можно найти внутри ноутбуков.
    4. Есть сайт, на котором можно делать такие же картинки за ~150-200 часов бесплатно или за умеренную плату в 2 евро за ~20 мин.
  13. Сравнение программных библиотек для Deep Learning