Нейросетевые методы обработки изображений (В.В.Китов)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Телеграм-канал курса)
(24 промежуточные версии не показаны)
Строка 1: Строка 1:
__NOTOC__
__NOTOC__
[[Категория:Учебные курсы]]
[[Категория:Учебные курсы]]
-
==Объявление==
+
 
-
К следующему четвергу до 23-55 всем посещающим спецкурс и желающим получить по нему оценку необходимо прислать письмо:
+
 
-
* на адрес v.v.kitov(at)yandex.ru
+
==Телеграм-канал курса==
-
* озаглавленное "Отчет по НМОИ"
+
Телеграм-канал курса: НМОИ 2020 (invite link https://t.me/joinchat/EfgDx0ZP42S0_n14I9KgyQ), присоединяйтесь. Там будет вся актуальная информация о проводимых онлайн занятиях по курсу.
-
* к письму должна быть приложена презентация, содержащая:
+
 
-
** обзор некоторой статьи по переносу стиля или смежной теме. Цитируемость статьи должна быть >=10 на [https://scholar.google.ru/ google scholar].
+
Расписание занятий:
-
** ваши идеи возможных улучшений технологии перенося стиля (не обязательно по выбранной статье), приветствуется конкретика (формулы, алгоритмические изменения).
+
 
-
* к письму должна быть приложена статья, по которой вы делаете доклад
+
------------------------------------------
-
* '''если вы хотите идти под мое научное руководство - также приложите к письму заполненную [https://yadi.sk/d/zDfL-RP9Vgk3og анкету].'''
+
Отдельные 2 лекции с 18-00 до 20-00 с другим идентификатором:
 +
 
 +
Тема: Нейросетевые методы обработки изображений
 +
Время: 27 мар 2020 06:00 PM Москва
 +
 
 +
Подключиться к конференции Zoom
 +
https://zoom.us/j/8043842932
 +
 
 +
Идентификатор конференции: 804 384 2932
 +
------------------------------------------
 +
 
 +
 
 +
Другие занятия:
 +
 
 +
Время:
 +
* 2 апр 2020 08:00 PM
 +
* 3 апр 2020 06:00 PM
 +
* 3 апр 2020 07:30 PM
 +
* 16 апр 2020 08:00 PM
 +
* 23 апр 2020 08:00 PM
 +
* 30 апр 2020 08:00 PM
 +
 
 +
Подключиться к конференции Zoom
 +
https://zoom.us/j/758600546
 +
 
 +
Идентификатор конференции: 758 600 546
==О курсе==
==О курсе==
-
Спецкурс проходит на ф-те ВМиК весной 2019 года и посвящен задаче автоматической стилизации изображений, в которой входное изображение необходимо преобразовать так, чтобы сохранить изображенные на нем предметы, но стилистику их отображения взять из другого изображения или группы изображений. Например, это может быть стилизация семейной фотографии под стиль известного художника, либо стилизация дневного фото в ночное, либо изменение зимней панорамы в летнюю. Эта задача может применяться в мультипликации, наложении спецэффектов в фильмах и видеоиграх, симуляторах и средствах дополненной реальности, а также для более точной настройки методов машинного обучения работе с изображениями за счет вариации их стиля и адаптации стиля под целевую предметную область. Помимо отдельных изображений указанный подход применим для видеопоследовательностей и данных из других предметных областей (текст, речь и т.д.). Основные методы стилизации были предложены в последние 5 лет и опираются на глубинные нейронные сети, базовому изучению которых посвящена существенная часть курса.
+
Спецкурс проходит на ф-те ВМиК в весеннем семестре и посвящен задаче автоматической стилизации изображений, в которой входное изображение необходимо преобразовать так, чтобы сохранить изображенные на нем предметы, но стилистику их отображения взять из другого изображения или группы изображений. Например, это может быть стилизация семейной фотографии под стиль известного художника, либо стилизация дневного фото в ночное, либо изменение зимней панорамы в летнюю. Эта задача может применяться в мультипликации, наложении спецэффектов в фильмах и видеоиграх, симуляторах и средствах дополненной реальности, а также для более точной настройки методов машинного обучения работе с изображениями за счет расширения обучающей выборки путем вариации стиля и адаптации стиля под целевую предметную область. Помимо отдельных изображений указанный подход применим для видеопоследовательностей и данных из других предметных областей (текст, речь и т.д.). Основные методы стилизации были предложены в последние 5 лет и опираются на глубинные нейронные сети, базовому изучению которых посвящена существенная часть курса.
==Лектор==
==Лектор==
Строка 18: Строка 43:
==Расписание==
==Расписание==
-
Занятия проходят по пятницам в 16-20 в ауд. 606. Первое занятие - 22.02.2019.
+
Занятия проходят по четвергам в 18-00 в ауд. 612. Первое занятие - 20.02.2020.
==Программа==
==Программа==
Строка 26: Строка 51:
* Методы стилизации, основанные на сближении распределений.
* Методы стилизации, основанные на сближении распределений.
* Методы стилизации, основанные на сопоставлении участков изображений.
* Методы стилизации, основанные на сопоставлении участков изображений.
-
* Методы стилизации видеопоследовательностей.
 
* Генеративно-состязательные сети и их применения для стилизации и повышения качества изображений.
* Генеративно-состязательные сети и их применения для стилизации и повышения качества изображений.
 +
=Задание=
 +
В рамках спецкурса всем участникам выдается задание - подготовить обзорный доклад по статьям по стилизации изображений и рассказать свои идеи улучшений предложенных методов.
=Материалы лекций=
=Материалы лекций=
-
===Введение в машинное обучение.===
+
[https://yadi.sk/i/IfR0TdxpHAhmRA Введение в машинное обучение.]
-
[https://yadi.sk/i/IfR0TdxpHAhmRA Презентация].
+
 
 +
[https://yadi.sk/i/H_Oi0oL1tzqBRw Многослойный персептрон.]
 +
 
 +
[https://yadi.sk/i/jIbSmgR_2akThg Сверточные нейросети.]
 +
 
 +
[https://yadi.sk/i/XnAZ-fLKX9Bpmg Основные архитектуры сверточных нейросетей.]
 +
 
 +
[https://yadi.sk/i/fHZUcrVFWFbODw Оптимизационный метод переноса стиля.]
 +
 
 +
[https://yadi.sk/i/_6AInrhKcJzl9A Трансформационный метод переноса стиля.]
-
===Многослойный персептрон.===
+
[https://yadi.sk/i/dzghc0Ufxi7zMw Перенос стиля, основанный на патчах.]
-
[https://yadi.sk/i/H_Oi0oL1tzqBRw Презентация].
+
-
===Сверточные нейросети.===
+
[https://yadi.sk/i/TGA1AOP64G1a_Q Технические улучшения.]
-
[https://yadi.sk/i/jIbSmgR_2akThg Презентация].
+
-
===Модели переноса стиля.===
+
[https://yadi.sk/i/gVypaP4Kmql_rw Концептуальные улучшения.]
-
[https://yadi.sk/i/NpCyttnBnQknzg Презентация].
+
-
===Улучшения переноса стиля 1.===
+
[https://yadi.sk/i/uiDNs7aAe2-tUw Мульти-стилевые трансформационные модели.]
-
[https://yadi.sk/i/uCeb3mYj0q5xbw Презентация].
+
-
===Улучшения переноса стиля 2.===
+
[https://yadi.sk/i/QwndMEu3to27dg Расширение обучающей выборки.]
-
[https://yadi.sk/i/MakcK8WK2SmxbA Презентация].
+
-
===Мультистилевой онлайн перенос стиля.===
+
[https://yadi.sk/i/MVFsFttnAV_YMg Генеративно-состязательные сети.]
-
[https://yadi.sk/i/AGvHwmQbD5dOuQ Презентация].
+
-
===Расширение обучающей выборки.===
 
-
[https://yadi.sk/i/mgfcDzHfp6t4ww Презентация].
 
-
===Фрагментарный перенос стиля.===
+
==Экзамен==
-
[https://yadi.sk/i/Q1i_fZyduk2u0w Презентация].
+
-
===Перенос стиля для видео.===
+
[https://yadi.sk/i/AdqMYWQ36bh0VA Билеты]
-
[https://yadi.sk/i/VF5v6AM86U6OKQ Презентация].
+
=Рекомендуемые ресурсы=
=Рекомендуемые ресурсы=

Версия 14:12, 27 марта 2020


Телеграм-канал курса

Телеграм-канал курса: НМОИ 2020 (invite link https://t.me/joinchat/EfgDx0ZP42S0_n14I9KgyQ), присоединяйтесь. Там будет вся актуальная информация о проводимых онлайн занятиях по курсу.

Расписание занятий:


Отдельные 2 лекции с 18-00 до 20-00 с другим идентификатором:

Тема: Нейросетевые методы обработки изображений Время: 27 мар 2020 06:00 PM Москва

Подключиться к конференции Zoom https://zoom.us/j/8043842932

Идентификатор конференции: 804 384 2932



Другие занятия:

Время:

  • 2 апр 2020 08:00 PM
  • 3 апр 2020 06:00 PM
  • 3 апр 2020 07:30 PM
  • 16 апр 2020 08:00 PM
  • 23 апр 2020 08:00 PM
  • 30 апр 2020 08:00 PM

Подключиться к конференции Zoom https://zoom.us/j/758600546

Идентификатор конференции: 758 600 546

О курсе

Спецкурс проходит на ф-те ВМиК в весеннем семестре и посвящен задаче автоматической стилизации изображений, в которой входное изображение необходимо преобразовать так, чтобы сохранить изображенные на нем предметы, но стилистику их отображения взять из другого изображения или группы изображений. Например, это может быть стилизация семейной фотографии под стиль известного художника, либо стилизация дневного фото в ночное, либо изменение зимней панорамы в летнюю. Эта задача может применяться в мультипликации, наложении спецэффектов в фильмах и видеоиграх, симуляторах и средствах дополненной реальности, а также для более точной настройки методов машинного обучения работе с изображениями за счет расширения обучающей выборки путем вариации стиля и адаптации стиля под целевую предметную область. Помимо отдельных изображений указанный подход применим для видеопоследовательностей и данных из других предметных областей (текст, речь и т.д.). Основные методы стилизации были предложены в последние 5 лет и опираются на глубинные нейронные сети, базовому изучению которых посвящена существенная часть курса.

Лектор

Виктор Владимирович Китов, к.ф.-м.н., преподаватель кафедры математических методов прогнозирования ВМК МГУ. Почта: v.v.kitov(at)yandex.ru.

Расписание

Занятия проходят по четвергам в 18-00 в ауд. 612. Первое занятие - 20.02.2020.

Программа

  • Введение в машинное и глубинное обучение
  • Алгоритмы настройки нейросетей. Регуляризация.
  • Основные архитектуры сверточных нейросетей.
  • Методы стилизации, основанные на сближении распределений.
  • Методы стилизации, основанные на сопоставлении участков изображений.
  • Генеративно-состязательные сети и их применения для стилизации и повышения качества изображений.

Задание

В рамках спецкурса всем участникам выдается задание - подготовить обзорный доклад по статьям по стилизации изображений и рассказать свои идеи улучшений предложенных методов.

Материалы лекций

Введение в машинное обучение.

Многослойный персептрон.

Сверточные нейросети.

Основные архитектуры сверточных нейросетей.

Оптимизационный метод переноса стиля.

Трансформационный метод переноса стиля.

Перенос стиля, основанный на патчах.

Технические улучшения.

Концептуальные улучшения.

Мульти-стилевые трансформационные модели.

Расширение обучающей выборки.

Генеративно-состязательные сети.


Экзамен

Билеты

Рекомендуемые ресурсы

Личные инструменты