Нейросетевые методы обработки изображений (В.В.Китов)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Материалы лекций)
(11 промежуточных версий не показаны.)
Строка 1: Строка 1:
__NOTOC__
__NOTOC__
[[Категория:Учебные курсы]]
[[Категория:Учебные курсы]]
 +
==Экзамен==
 +
Экзамен будет в '''пятницу 31 мая в 18-00 в ауд.606'''.
 +
[https://yadi.sk/i/AdqMYWQ36bh0VA Билеты]
 +
 +
Проставляться оценка будет за 2й курс. Когда учебный план потребует обязательного прохождения спецкурса (у разных кафедр в разное время), студент имеет право написать заявление в учебную часть с просьбой перезачесть имеющийся спецкурс.
 +
 +
==О курсе==
Спецкурс проходит на ф-те ВМиК весной 2019 года и посвящен задаче автоматической стилизации изображений, в которой входное изображение необходимо преобразовать так, чтобы сохранить изображенные на нем предметы, но стилистику их отображения взять из другого изображения или группы изображений. Например, это может быть стилизация семейной фотографии под стиль известного художника, либо стилизация дневного фото в ночное, либо изменение зимней панорамы в летнюю. Эта задача может применяться в мультипликации, наложении спецэффектов в фильмах и видеоиграх, симуляторах и средствах дополненной реальности, а также для более точной настройки методов машинного обучения работе с изображениями за счет вариации их стиля и адаптации стиля под целевую предметную область. Помимо отдельных изображений указанный подход применим для видеопоследовательностей и данных из других предметных областей (текст, речь и т.д.). Основные методы стилизации были предложены в последние 5 лет и опираются на глубинные нейронные сети, базовому изучению которых посвящена существенная часть курса.
Спецкурс проходит на ф-те ВМиК весной 2019 года и посвящен задаче автоматической стилизации изображений, в которой входное изображение необходимо преобразовать так, чтобы сохранить изображенные на нем предметы, но стилистику их отображения взять из другого изображения или группы изображений. Например, это может быть стилизация семейной фотографии под стиль известного художника, либо стилизация дневного фото в ночное, либо изменение зимней панорамы в летнюю. Эта задача может применяться в мультипликации, наложении спецэффектов в фильмах и видеоиграх, симуляторах и средствах дополненной реальности, а также для более точной настройки методов машинного обучения работе с изображениями за счет вариации их стиля и адаптации стиля под целевую предметную область. Помимо отдельных изображений указанный подход применим для видеопоследовательностей и данных из других предметных областей (текст, речь и т.д.). Основные методы стилизации были предложены в последние 5 лет и опираются на глубинные нейронные сети, базовому изучению которых посвящена существенная часть курса.
-
+
 
==Лектор==
==Лектор==
[[Участник:Victor Kitov|Виктор Владимирович Китов]], к.ф.-м.н., преподаватель кафедры [[Mmp|математических методов прогнозирования]] [http://cmc.msu.ru ВМК МГУ]. Почта: v.v.kitov(at)yandex.ru.
[[Участник:Victor Kitov|Виктор Владимирович Китов]], к.ф.-м.н., преподаватель кафедры [[Mmp|математических методов прогнозирования]] [http://cmc.msu.ru ВМК МГУ]. Почта: v.v.kitov(at)yandex.ru.
Строка 16: Строка 23:
* Методы стилизации, основанные на сближении распределений.
* Методы стилизации, основанные на сближении распределений.
* Методы стилизации, основанные на сопоставлении участков изображений.
* Методы стилизации, основанные на сопоставлении участков изображений.
-
* Методы стилизации видеопоследовательностей.
 
* Генеративно-состязательные сети и их применения для стилизации и повышения качества изображений.
* Генеративно-состязательные сети и их применения для стилизации и повышения качества изображений.
Строка 22: Строка 28:
=Материалы лекций=
=Материалы лекций=
-
===Введение в машинное обучение.===
+
[https://yadi.sk/i/IfR0TdxpHAhmRA Введение в машинное обучение.]
-
[https://yadi.sk/i/IfR0TdxpHAhmRA Презентация].
+
 
 +
[https://yadi.sk/i/H_Oi0oL1tzqBRw Многослойный персептрон.]
 +
 
 +
[https://yadi.sk/i/jIbSmgR_2akThg Сверточные нейросети.]
-
===Многослойный персептрон.===
+
[https://yadi.sk/i/fHZUcrVFWFbODw Оптимизационный метод переноса стиля.]
-
[https://yadi.sk/i/H_Oi0oL1tzqBRw Презентация].
+
-
===Сверточные нейросети.===
+
[https://yadi.sk/i/_6AInrhKcJzl9A Трансформационный метод переноса стиля.]
-
[https://yadi.sk/i/jIbSmgR_2akThg Презентация].
+
-
===Модели переноса стиля.===
+
[https://yadi.sk/i/dzghc0Ufxi7zMw Перенос стиля, основанный на патчах.]
-
[https://yadi.sk/i/NpCyttnBnQknzg Презентация].
+
-
===Улучшения переноса стиля 1.===
+
[https://yadi.sk/i/TGA1AOP64G1a_Q Технические улучшения.]
-
[https://yadi.sk/i/uCeb3mYj0q5xbw Презентация].
+
-
===Улучшения переноса стиля 2.===
+
[https://yadi.sk/i/gVypaP4Kmql_rw Концептуальные улучшения.]
-
[https://yadi.sk/i/MakcK8WK2SmxbA Презентация].
+
-
===Мультистилевой онлайн перенос стиля.===
+
[https://yadi.sk/i/uiDNs7aAe2-tUw Мульти-стилевые трансформационные модели.]
-
[https://yadi.sk/i/AGvHwmQbD5dOuQ Презентация].
+
-
===Расширение обучающей выборки.===
+
[https://yadi.sk/i/QwndMEu3to27dg Расширение обучающей выборки.]
-
[https://yadi.sk/i/mgfcDzHfp6t4ww Презентация].
+
-
===Фрагментарный перенос стиля.===
+
[https://yadi.sk/i/MVFsFttnAV_YMg Генеративно-состязательные сети.]
-
[https://yadi.sk/i/Q1i_fZyduk2u0w Презентация].
+
-
===Перенос стиля для видео.===
 
-
[https://yadi.sk/i/VF5v6AM86U6OKQ Презентация].
 
=Рекомендуемые ресурсы=
=Рекомендуемые ресурсы=

Версия 15:11, 23 мая 2019

Экзамен

Экзамен будет в пятницу 31 мая в 18-00 в ауд.606.

Билеты

Проставляться оценка будет за 2й курс. Когда учебный план потребует обязательного прохождения спецкурса (у разных кафедр в разное время), студент имеет право написать заявление в учебную часть с просьбой перезачесть имеющийся спецкурс.

О курсе

Спецкурс проходит на ф-те ВМиК весной 2019 года и посвящен задаче автоматической стилизации изображений, в которой входное изображение необходимо преобразовать так, чтобы сохранить изображенные на нем предметы, но стилистику их отображения взять из другого изображения или группы изображений. Например, это может быть стилизация семейной фотографии под стиль известного художника, либо стилизация дневного фото в ночное, либо изменение зимней панорамы в летнюю. Эта задача может применяться в мультипликации, наложении спецэффектов в фильмах и видеоиграх, симуляторах и средствах дополненной реальности, а также для более точной настройки методов машинного обучения работе с изображениями за счет вариации их стиля и адаптации стиля под целевую предметную область. Помимо отдельных изображений указанный подход применим для видеопоследовательностей и данных из других предметных областей (текст, речь и т.д.). Основные методы стилизации были предложены в последние 5 лет и опираются на глубинные нейронные сети, базовому изучению которых посвящена существенная часть курса.

Лектор

Виктор Владимирович Китов, к.ф.-м.н., преподаватель кафедры математических методов прогнозирования ВМК МГУ. Почта: v.v.kitov(at)yandex.ru.

Расписание

Занятия проходят по пятницам в 16-20 в ауд. 606. Первое занятие - 22.02.2019.

Программа

  • Введение в машинное и глубинное обучение
  • Алгоритмы настройки нейросетей. Регуляризация.
  • Основные архитектуры сверточных нейросетей.
  • Методы стилизации, основанные на сближении распределений.
  • Методы стилизации, основанные на сопоставлении участков изображений.
  • Генеративно-состязательные сети и их применения для стилизации и повышения качества изображений.


Материалы лекций

Введение в машинное обучение.

Многослойный персептрон.

Сверточные нейросети.

Оптимизационный метод переноса стиля.

Трансформационный метод переноса стиля.

Перенос стиля, основанный на патчах.

Технические улучшения.

Концептуальные улучшения.

Мульти-стилевые трансформационные модели.

Расширение обучающей выборки.

Генеративно-состязательные сети.


Рекомендуемые ресурсы

Личные инструменты