Нейросетевые методы обработки изображений (В.В.Китов)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(→Материалы лекций)
(→Экзамен)
 
(69 промежуточных версий не показаны.)
Строка 2: Строка 2:
[[Категория:Учебные курсы]]
[[Категория:Учебные курсы]]
 +
==О курсе==
 +
Спецкурс проходит на ф-те ВМиК в весеннем семестре и посвящен задаче автоматической стилизации изображений, в которой входное изображение необходимо отобразить в стиле, задаваемым другим изображением. Например, это может быть стилизация семейной фотографии под стиль известного художника, либо стилизация дневного фото в ночное, либо преобразование фотогрфии в схематичную книжную иллюстрацию. Для решения задачи существуют современные подходы переноса стиля (style transfer) и генеративно-состязательные сети (generative adversarial networks). Эта задача широко используется в индустрии разлечений (например, мобильное приложение Prisma было самым скачиваемым на Android в странах СНГ в течение 10 дней после выхода), при обработке фотографий и дизайне (функции стилизации были добавлены в Adobe Photoshop 2021), может применяться в мультипликации, наложении спецэффектов в фильмах, видеоиграх и средствах дополненной реальности, а также для более точной настройки методов машинного при обучении на одной предметной области, а применении модели к другой (transfer learning). Помимо изображений указанный подход применим для видеопоследовательностей и данных из других предметных областей (текст, речь и музыка). Основные методы стилизации были предложены в последние 7 лет и опираются на глубокие нейронные сети, базовому изучению которых посвящена начальная часть курса.
-
==Телеграм-канал курса==
+
Занятия проходят в формате лекций. В процессе прохождения курса каждый студент должен сделать презентацию основных идей и подходов одной из недавних статей, посвященных стилизации изображений, а также представить свои идеи улучшений традиционных методов стилизации изображений и их обосновать.
-
Расписание занятий:
+
Пройденный спецкурс вы можете позже перезачесть в учебной части на 4м курсе (по учебному плану вам тогда нужно проходить спецкурс по выбору). Спецкурс познакомит вас с нейросетями - их основными архитектурами (многослойный персептрон, сверточная сеть, автокодировщик, генеративно-состязательные сети), что может служить преимуществом при распределении на кафедры соответствующей направленности.
-
 
+
-
------------------------------------------
+
-
Отдельные 2 лекции с 18-00 до 20-00 с другим идентификатором:
+
-
 
+
-
Тема: Нейросетевые методы обработки изображений
+
-
Время: 27 мар 2020 06:00 PM Москва
+
-
 
+
-
Подключиться к конференции Zoom
+
-
https://zoom.us/j/8043842932
+
-
 
+
-
Идентификатор конференции: 804 384 2932
+
-
------------------------------------------
+
-
 
+
-
 
+
-
Другие занятия:
+
-
 
+
-
Время:
+
-
* 2 апр 2020 08:00 PM
+
-
* 3 апр 2020 06:00 PM
+
-
* 3 апр 2020 07:30 PM
+
-
* 16 апр 2020 08:00 PM
+
-
* 23 апр 2020 08:00 PM
+
-
* 30 апр 2020 08:00 PM
+
-
 
+
-
Подключиться к конференции Zoom
+
-
https://zoom.us/j/758600546
+
-
 
+
-
Идентификатор конференции: 758 600 546
+
-
 
+
-
==О курсе==
+
-
Спецкурс проходит на ф-те ВМиК в весеннем семестре и посвящен задаче автоматической стилизации изображений, в которой входное изображение необходимо преобразовать так, чтобы сохранить изображенные на нем предметы, но стилистику их отображения взять из другого изображения или группы изображений. Например, это может быть стилизация семейной фотографии под стиль известного художника, либо стилизация дневного фото в ночное, либо изменение зимней панорамы в летнюю. Эта задача может применяться в мультипликации, наложении спецэффектов в фильмах и видеоиграх, симуляторах и средствах дополненной реальности, а также для более точной настройки методов машинного обучения работе с изображениями за счет расширения обучающей выборки путем вариации стиля и адаптации стиля под целевую предметную область. Помимо отдельных изображений указанный подход применим для видеопоследовательностей и данных из других предметных областей (текст, речь и т.д.). Основные методы стилизации были предложены в последние 5 лет и опираются на глубинные нейронные сети, базовому изучению которых посвящена существенная часть курса.
+
==Лектор==
==Лектор==
-
[[Участник:Victor Kitov|Виктор Владимирович Китов]], к.ф.-м.н., преподаватель кафедры [[Mmp|математических методов прогнозирования]] [http://cmc.msu.ru ВМК МГУ]. Почта: v.v.kitov(at)yandex.ru.
+
[[Участник:Victor Kitov|Виктор Владимирович Китов]], к.ф.-м.н., преподаватель кафедры [[Mmp|математических методов прогнозирования]] [http://cmc.msu.ru ВМК МГУ].
-
 
+
-
==Расписание==
+
-
Занятия проходят по четвергам в 18-00 в ауд. 612. Первое занятие - 20.02.2020.
+
-
 
+
-
==Программа==
+
-
* Введение в машинное и глубинное обучение
+
-
* Алгоритмы настройки нейросетей. Регуляризация.
+
-
* Основные архитектуры сверточных нейросетей.
+
-
* Методы стилизации, основанные на сближении распределений.
+
-
* Методы стилизации, основанные на сопоставлении участков изображений.
+
-
* Генеративно-состязательные сети и их применения для стилизации и повышения качества изображений.
+
-
 
+
-
=Задание=
+
-
В рамках спецкурса всем участникам выдается задание - подготовить обзорный доклад по статьям по стилизации изображений и рассказать свои идеи улучшений предложенных методов.
+
-
 
+
-
=Материалы лекций=
+
-
 
+
-
[https://yadi.sk/i/IfR0TdxpHAhmRA Введение в машинное обучение.]
+
-
[https://yadi.sk/i/H_Oi0oL1tzqBRw Многослойный персептрон.]
+
Телеграм: VictorKitov
-
[https://yadi.sk/i/jIbSmgR_2akThg Сверточные нейросети.]
+
Почта: v.v.kitov(at)yandex.ru.
-
[https://yadi.sk/i/XnAZ-fLKX9Bpmg Основные архитектуры сверточных нейросетей.]
+
==Время занятий==
 +
По вторникам 16-20 - 17-55, ауд. 609.
 +
Первое занятие будет 20.02.2024.
-
[https://yadi.sk/i/fHZUcrVFWFbODw Оптимизационный метод переноса стиля.]
+
==Лекции==
-
[https://yadi.sk/i/_6AInrhKcJzl9A Трансформационный метод переноса стиля.]
+
[https://disk.yandex.ru/i/V2u_WSI3EhMETA Задачи глубокого обучения.]
-
[https://yadi.sk/i/dzghc0Ufxi7zMw Перенос стиля, основанный на патчах.]
+
[https://disk.yandex.ru/i/Sq3fbS8dcKzxWA Нейросети. Многослойный персептрон.]
-
[https://yadi.sk/i/TGA1AOP64G1a_Q Технические улучшения.]
+
[https://disk.yandex.ru/i/-mnCj8EseyXOUg Сверточные нейросети.]
-
[https://yadi.sk/i/gVypaP4Kmql_rw Концептуальные улучшения.]
+
[https://disk.yandex.ru/i/J9lZG_L9ZqVtcQ Расширение обучающей выборки.]
-
[https://yadi.sk/i/uiDNs7aAe2-tUw Мульти-стилевые трансформационные модели.]
+
[https://disk.yandex.ru/i/p_pzkp4U9dmknA Оптимизационный метод переноса стиля.]
-
[https://yadi.sk/i/QwndMEu3to27dg Расширение обучающей выборки.]
+
[https://disk.yandex.ru/i/Q9TCAc5I0Uxx4g Трансформационный метод переноса стиля.]
-
[https://yadi.sk/i/MVFsFttnAV_YMg Генеративно-состязательные сети.]
+
[https://disk.yandex.ru/i/rcnl8o_q09dNiQ Патчевый метод переноса стиля.]
-
[https://yadi.sk/i/Te1zloUyBE0diQ Перенос стиля для видео.]
+
[https://disk.yandex.ru/i/zmo6vx8_6n3Z0Q Технические улучшения методов стилизации изображений.]
-
[https://yadi.sk/i/gwVql6oddlKuQg Компактные представления слов.]
+
[https://disk.yandex.ru/i/j1nf8Ck13TCavQ Концептуальные улучшения методов стилизации изображений.]
-
[https://yadi.sk/i/nd48U2atjQKs2Q Сверточные сети для работы с текстами.]
+
[https://disk.yandex.ru/i/Ej2UQI4eiuNknw Мульти-стилевые трансформационные модели.]
-
[https://yadi.sk/i/by75OE1sDbR4Lg Реккурентные сети для работы с текстами.]
+
[https://disk.yandex.ru/i/it6nzR-oULcZZA Стилизация видео-данных.]
 +
[https://disk.yandex.ru/i/SjTwiaO-gh_DWQ Генеративно-состязательные сети.]
-
==Экзамен==
 
-
[https://yadi.sk/i/AdqMYWQ36bh0VA Билеты]
+
=Экзамен=
 +
Оценка за спецкурс ставится только по результатам устного экзамена.
=Рекомендуемые ресурсы=
=Рекомендуемые ресурсы=

Текущая версия


О курсе

Спецкурс проходит на ф-те ВМиК в весеннем семестре и посвящен задаче автоматической стилизации изображений, в которой входное изображение необходимо отобразить в стиле, задаваемым другим изображением. Например, это может быть стилизация семейной фотографии под стиль известного художника, либо стилизация дневного фото в ночное, либо преобразование фотогрфии в схематичную книжную иллюстрацию. Для решения задачи существуют современные подходы переноса стиля (style transfer) и генеративно-состязательные сети (generative adversarial networks). Эта задача широко используется в индустрии разлечений (например, мобильное приложение Prisma было самым скачиваемым на Android в странах СНГ в течение 10 дней после выхода), при обработке фотографий и дизайне (функции стилизации были добавлены в Adobe Photoshop 2021), может применяться в мультипликации, наложении спецэффектов в фильмах, видеоиграх и средствах дополненной реальности, а также для более точной настройки методов машинного при обучении на одной предметной области, а применении модели к другой (transfer learning). Помимо изображений указанный подход применим для видеопоследовательностей и данных из других предметных областей (текст, речь и музыка). Основные методы стилизации были предложены в последние 7 лет и опираются на глубокие нейронные сети, базовому изучению которых посвящена начальная часть курса.

Занятия проходят в формате лекций. В процессе прохождения курса каждый студент должен сделать презентацию основных идей и подходов одной из недавних статей, посвященных стилизации изображений, а также представить свои идеи улучшений традиционных методов стилизации изображений и их обосновать.

Пройденный спецкурс вы можете позже перезачесть в учебной части на 4м курсе (по учебному плану вам тогда нужно проходить спецкурс по выбору). Спецкурс познакомит вас с нейросетями - их основными архитектурами (многослойный персептрон, сверточная сеть, автокодировщик, генеративно-состязательные сети), что может служить преимуществом при распределении на кафедры соответствующей направленности.

Лектор

Виктор Владимирович Китов, к.ф.-м.н., преподаватель кафедры математических методов прогнозирования ВМК МГУ.

Телеграм: VictorKitov

Почта: v.v.kitov(at)yandex.ru.

Время занятий

По вторникам 16-20 - 17-55, ауд. 609. Первое занятие будет 20.02.2024.

Лекции

Задачи глубокого обучения.

Нейросети. Многослойный персептрон.

Сверточные нейросети.

Расширение обучающей выборки.

Оптимизационный метод переноса стиля.

Трансформационный метод переноса стиля.

Патчевый метод переноса стиля.

Технические улучшения методов стилизации изображений.

Концептуальные улучшения методов стилизации изображений.

Мульти-стилевые трансформационные модели.

Стилизация видео-данных.

Генеративно-состязательные сети.


Экзамен

Оценка за спецкурс ставится только по результатам устного экзамена.

Рекомендуемые ресурсы

Источник — «http://www.machinelearning.ru/wiki/index.php?title=%D0%9D%D0%B5%D0%B9%D1%80%D0%BE%D1%81%D0%B5%D1%82%D0%B5%D0%B2%D1%8B%D0%B5_%D0%BC%D0%B5%D1%82%D0%BE%D0%B4%D1%8B_%D0%BE%D0%B1%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%BA%D0%B8_%D0%B8%D0%B7%D0%BE%D0%B1%D1%80%D0%B0%D0%B6%D0%B5%D0%BD%D0%B8%D0%B9_%28%D0%92.%D0%92.%D0%9A%D0%B8%D1%82%D0%BE%D0%B2%29»
Личные инструменты