Моя первая научная статья (лекции и практика)/Сборник, весна 2023

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Задача 122)
Текущая версия (07:26, 16 февраля 2023) (править) (отменить)
(Задача 125)
 
(27 промежуточных версий не показаны.)
Строка 2: Строка 2:
===Задача 112===
===Задача 112===
-
* '''Название:''' ECoG - video
+
* '''Название:''' Моделирование показания FMRI по видео показанному человеку
-
* '''Авторы:''' Эксперт Грабовой, консультант -
+
* '''Описание проблемы:''' Требуется построить модель зависимости показания датчиков FMRI и видеоряду, который в этот момент просматривает человек.
 +
* '''Данные:''' Выборка для аппроксимации представлена в работе J. Berezutskay, в которой присутствуют различные типы параллельных сигналов.
 +
* '''Литература'''
 +
*# Berezutskaya J., et al Open multimodal iEEG-fMRI dataset from naturalistic stimulation with a short audiovisual film // Sci Data 9, 91, 2022.
 +
*# Код предшественников: https://github.com/intsystems/CreationOfIntelligentSystems_video_fMRI
 +
* '''Базовый алгоритм:''' Запуск кода на основе трансформер моделей.
 +
* '''Новизна:''' Анализ зависимости между показаниями датчиков и восприятиям внешнего мира человеком. Требуется проверить гипотезу зависимости между данными, а также предложить метод апроксимации показаний FMRI по просматриваемому видеоряду.
 +
* '''Авторы:''' Эксперт Грабовой Андрей
===Задача 113===
===Задача 113===
-
* '''Название:''' ECoG - audio
+
* '''Название:''' Моделирование показания FMRI по звуковому ряду, который слышит человек
-
* '''Авторы:''' Эксперт Грабовой, консультант -
+
* '''Описание проблемы:''' Требуется построить модель зависимости показания датчиков FMRI и звуковому сопровождению, который в этот момент прослушивает человек.
 +
* '''Данные:''' Выборка для аппроксимации представлена в работе J. Berezutskay, в которой присутствуют различные типы параллельных сигналов.
 +
* '''Литература'''
 +
*# Berezutskaya J., et al Open multimodal iEEG-fMRI dataset from naturalistic stimulation with a short audiovisual film // Sci Data 9, 91, 2022.
 +
*# Код предшественников: https://github.com/intsystems/CreationOfIntelligentSystems_sound_fMRI
 +
* '''Базовый алгоритм:''' Запуск кода на основе трансформер моделей.
 +
* '''Новизна:''' Анализ зависимости между показаниями датчиков и восприятиям внешнего мира человеком. Требуется проверить гипотезу зависимости между данными, а также предложить метод апроксимации показаний FMRI по прослушиваемому звуковому ряду.
 +
* '''Авторы:''' Эксперт Грабовой Андрей
===Задача 114===
===Задача 114===
-
* '''Название:''' * '''Название:'''Пространственно-временное прогнозирование с помощью сверточных сетей и тензорных разложений
+
* '''Название:'''Моделирование динамики физических систем с помощью Physics-Informed Neural Networks
* '''Описание проблемы:''' Породить набор сверток по имеющимся данным и выбрать лучшую с помощью методов снижения порядка и размерности пространств.
* '''Описание проблемы:''' Породить набор сверток по имеющимся данным и выбрать лучшую с помощью методов снижения порядка и размерности пространств.
-
* '''Данные:''' Потребление и цена электроэнергии, океанические течения, воздушные потоки
+
* '''Данные:''' Биомедицинские данные акселерометра и гироскопа, океанические течения, движение барханов, воздушные потоки
-
* '''Литература'''
+
* '''Литература''' [https://github.com/severilov/master-thesis/blob/main/doc/Severilov2022MasterThesis_rus.pdf базовая работа содержит ссылки]
-
*#
+
* '''Базовый алгоритм:''' Нейросетевой, лагранжевы нейросети.
-
* '''Базовый алгоритм:''' Гусеница, тензорная гусеница.
+
* '''Решение:''' Нетерова нейросеть.
-
* '''Решение:''' Найти мультиериодический временной ряд, построить его тензорное представление, разложить в спектр, собрать, показать прогноз.
+
* '''Новизна:''' Предложенная сеть учитывает симметрию
-
* '''Новизна:''' Показать, что мультилинейная модель является удобным способом построения сверток для измерений в пространстве и времени.
+
* '''Авторы:''' Эксперты - Северилов, Стрижов, консультант - Панченко
-
* '''Авторы:''' Эксперт - Стрижов, консультант - Моложавенко?
+
===Задача 115===
===Задача 115===
-
* '''Название:''' Дистилляция знаний в глубоких сетях и выравнивание моделей
+
* '''Название:''' Дистилляция знаний в глубоких сетях и выравнивание структур моделей
-
*
+
* '''Описание проблемы:''' Требуется построить сеть наиболее простой структуры, модель-ученик, используя модель-учитель высокого качества. Показать насколько изменяется точность и устойчивость ученика. Результатом эксперимента является график сложность-точность-устойчивость, где каждая модель является точной.
 +
* '''Данные:''' Предлагается решать задачу классификации сегментов видеопотока. Базовые данные – классификация сегментов сигнала. Предполагается, что учитель имеет открытую для анализа структуру с большим числом слоев.
 +
* '''Литература'''
 +
*# Исходная работа Хинтона по дистилляции и туториалы
 +
*# Работы Грабового
 +
*# Код полезный, чтобы не писать, а сделать только эксперимент.
 +
*# Описание эксперимента в работах Марка Потанина.
 +
* '''Базовый алгоритм:''' для сравнения
 +
*# Обучение (моделей с заданной структурой управляемой сложности) без дистилляции.
 +
*# Обучение (ditto) с дистилляцией Хинтона.
 +
*# Обучение с переносом по слоям.
 +
*# Обучение с переносом по нейронам.
 +
* '''Решение:'''
 +
*# Как в п. 2, только по слоям.
 +
*# Построение пути наименьшей стоимости по нейронам. Считаем ковариационные матрицы каждого нейрона каждого слоя для учителя и для ученика. Предлагаем функцию ошибки, включающую цену пути наименьшей стоимости. Предлагаем способ построить путь наименьшей стоимости. Основная идея: перенос идет по парам нейронов и наиболее похожими распределениями (ожидание и ковариационная матрица) от учителя к ученику.
 +
* '''Новизна:''' Предложенный перенос существенно снижает сложность без потери точности и решает проблему взаимозаменяемости нейронов, идентифицируя их.
* '''Авторы:''' Эксперт Бахтеев, Стрижов, консультант - Мария Горпинич
* '''Авторы:''' Эксперт Бахтеев, Стрижов, консультант - Мария Горпинич
Строка 30: Строка 58:
===Задача 117===
===Задача 117===
-
* '''Название:''' Поиск зависимости
+
* '''Название:''' Поиск зависимости и SSA, теорема Такенса
-
* '''Авторы:''' Эксперт Стрижов, консультант - Владимиров
+
* '''Авторы:''' Эксперт Стрижов, консультант - Владимиров, Самохина
-
 
+
-
===Задача 117===
+
-
* '''Название:''' Neuro PDE Северилов
+
===Задача 118===
===Задача 118===
Строка 40: Строка 65:
===Задача 119===
===Задача 119===
-
Риманова геометрия и расстояние между временными роядами
+
Участники
-
Святослав
+
Ментор, эксперт - Хританков А.С., эксперт - Афанасьев А.П.
 +
 
 +
Литература
 +
 
 +
Khritankov A., Hidden Feedback Loops in Machine Learning Systems: A Simulation Model and Preliminary Results, https://doi.org/10.1007/978-3-030-65854-0_5
 +
Khritankov A.. Pilkevich A. Existence Conditions for Hidden Feedback Loops in Online Recommender Systems, https://doi.org/10.1007/978-3-030-91560-5_19
 +
 
 +
Каток А.Б., Хасселблат Б. Введение в современную теорию динамических систем.1999. 768 с. ISBN 5-88688-042-9.
 +
Немыцкий В. В., Степанов В. В. Качественная теория дифференциальных уравнений, год изд.: 1974
 +
 
 +
 
 +
Рассмотрим задачу многократного обучения с учителем, в которой обучающая выборка не фиксирована, а обновляется в зависимости от предсказаний обученной модели на тестовой выборке. Для процесса многократного обучения, предсказания и обновления выборки строим математическую модель и исследуем свойства этого процесса на основе построенной модели.
 +
 
 +
Модель
 +
 
 +
Пусть f(x) - функция плотности распределения признаков, G - алгоритм обучения модели, формирования предсказаний на тестовой выборке и подмешивания предсказаний в обучающую выборку, в результате применения которого изменяется распределение признаков.
 +
 
 +
Пусть задано пространство неотрицательных гладких функций F(x), интеграл которых на R^n равен единице.
 +
Рассмотрим автономную (не зависит от времени явно) динамическую систему (есть выделенная переменная - номер шага, которая возрастает),
 +
на шаге t и t+1 которой выполняется соотношение
 +
 
 +
f_{t+1}(x) = G(f_{t})(x),
 +
 
 +
где G(f) - оператор эволюции на пространстве указанных функций F и известна начальная функция f_0(x),
 +
 
 +
Вообще говоря, G может быть произвольным оператором, не обязательно гладким и/или непрерывным.
 +
 
 +
Вопрос 0.
 +
Найти условия на оператор G, при которых образ G лежит в том же классе функций плотности распределений F.
 +
 
 +
 +
 
 +
В частности, должен ли G быть ограниченным, операторная норма ||G|| <= 1, для того, чтобы образ G(f) \in F также был функцией плотности распределения для любой f из F?
 +
 
 +
Существует ли в пространстве F единица относительно оператора G и что будет единичной функцией f в таком F?
 +
 
 +
 
 +
Вопрос 1.
 +
При каких условиях на G будет существовать такое t_0, что для всех t > t_0 хвост последовательности {f} будет ограничен?
 +
 
 +
 
 +
Вопрос 2.
 +
При каких условиях оператор G будет иметь неподвижную точку?
 +
 
 +
Предполагаемый ответ - по видимому, применим принцип сжимающих отображений (теорема Банаха).
 +
 
 +
Существование неподвижной точки может потребовать полноты пространства F, что может не выполняться, например, для последовательности на F, сходящейся к индикаторной функции.
 +
 
 +
Какие условия нужно наложить на G, чтобы исключить такие последовательности?
 +
 
 +
В вычислительном эксперименте предлагается проверить существенность ограничения / значимость условий, при которых получен ответ на вопросы 0-2.
 +
 
 +
Например, для задачи линейной регрессии и/или регрессии с многоуровневой полносвязной нейронной сетью при разных долях подмешиваемых в обучающую выборку предсказаниях на синтетических наборах данных.
===Задача 120===
===Задача 120===
-
Яковлев - три задачи: выбор архитектуры, генерация ансамбля, NLP диффузные вероятностные модели
+
* Название: Дифференцируемый алгоритм поиска ансамблей моделей глубокого обучения с контролем разнообразия
 +
* Задача: Рассмотривается задача выбора ансамбля моделей. Требуется предложить метод контроля разнообразия базовых моделей на этапе применения.
 +
* Данные: Fashion-MNIST, CIFAR-10, CIFAR-100 datasets
 +
* Литература: [1] [Neural Architecture Search with Structure Complexity Control](https://easychair.org/publications/preprint/H5MC), [2] [Neural Ensemble Search via Bayesian Sampling](https://arxiv.org/pdf/2109.02533.pdf), [3] [DARTS: Differentiable Architecture Search](https://arxiv.org/pdf/1806.09055.pdf)
 +
* Базовой алгоритм: В качестве базового алгоритма предлагается использовать DARTS [3].
 +
* Решение: Для контроля разнообразия базовых моделей предлагается использовать гиперсеть [1], которая смещает структурные параметры в терминах дивергенции Йенсена—Шеннона. На этапе применения сэмплируются базовые архитектуры с заданным смещением для построения ансамбля.
 +
* Новизна: Предложенный метод позволяет строить ансамбли с любым количеством базовых моделей без дополнительных вычислительных затрат относительно базового алгоритма.
 +
* Авторы: К.Д. Яковлев, О.Ю. Бахтеев
===Задача 121===
===Задача 121===
Строка 53: Строка 137:
===Задача 123===
===Задача 123===
-
Антон Бишук
+
* Название: Влияние локдауна на динамику распространения эпидемии
-
 
+
* Задача: Введение локдауна считается эффективной мерой по борьбе с эпидемией. Однако вопреки интуиции оказалось, что при определенных условиях локдаун может привести к росту эпидемии. Данный эффект отсутствует для классических моделей распространения эпидемии «в среднем», но был выявлен при моделировании эпидемии на графе контактов. Задача заключается в поиске формульных и количественных соотношений между параметрами, при которых локдаун может привести к росту эпидемии. Необходимо как выявить такие соотношения в моделях SEIRS/SEIR/SIS/etc на основе фреймворка распространения эпидений SEIRS+ (и ее модификации), так и теоретически обосновать соотношения, полученные из конкретных реализаций эпидении.
-
===Задача 124===
+
* Данные: Задача предполагает работу с модельными и синтетическими данными: имеются готовые данные, а также предполагается возможность генерации новых в процессе решения задачи. Данная задача относится к unsupervised обучению, поскольку реализация эпидемии на графе контактов имеет высокую долю случаныйх событий, а потому требует проводить анализ в среднем на многих синтетически сгенерированных реализациях эпидемии
-
Воронцов и команда
+
* Литература:
 +
- T. Harko, Francisco S. N. Lobo и M. Mak. «Exact analytical solutions of the
 +
Susceptible-Infected-Recovered (SIR) epidemic model and of the SIR model with
 +
equal death and birth rates»
 +
- https://github.com/ryansmcgee/seirsplus
 +
* Авторы: А.Ю. Бишук, А.В. Зухба
===Задача 125===
===Задача 125===
-
Грабовой, Антиплагиат и команда
+
* '''Название:''' детекция изменения стиля машинной генерации
 +
* '''Описание проблемы:''' Требуется предложить метод детекции
 +
* '''Данные:''' Выборка для аппроксимации представлена в работе J. Berezutskay, в которой присутствуют различные типы параллельных сигналов.
 +
* '''Литература'''
 +
*# G. Gritsay, A. Grabovoy, Y. Chekhovich. Automatic Detection of Machine Generated Texts: Need More Tokens // Ivannikov Memorial Workshop (IVMEM), 2022.
 +
*# M. Kuznetsov, A. Motrenko, R. Kuznetsova, V. Strijov. Methods for intrinsic plagiarism detection and author diarization // Working Notes of CLEF, 2016, 1609 : 912-919.
 +
*# Конкурс RuATD --- https://www.dialog-21.ru/en/dialogue-evaluation/competitions/dialogue-evaluation-2022/ruatd-2022/.
 +
* '''Базовый алгоритм:'''
 +
*# Использование результатов конкурса RuATD в качестве базовых моделей для классификации предложений.
 +
*# Использовать метод из работы Kuznetsov et all.
 +
* '''Новизна:''' Предложить метод детекции машиносгенерированных фрагментов в тексте используя методы изменения стиля написания.
 +
* '''Авторы:''' Эксперт Грабовой Андрей
 +
 
 +
===Задача 126===
 +
Рустем Исламов
 +
===Задача 127===
 +
Егор Шульгин
 +
 
 +
===Задача 128===
 +
Название: Построение модели глубокого обучения в зависимости от данных задачи
 +
Задача: рассматривается задача оптимизации модели глубокого обучения для нового датасета. Требуется предложить метод оптимизации модели, позволяющий производить порождение новых моделей для нового датасета с небольшими вычислительными затратами.
 +
Данные: CIFAR10, CIFAR100
 +
Литература:
 +
[1] вариационный вывод для нейронных сетей https://papers.nips.cc/paper/4329-practical-variational-inference-for-neural-networks.pdf
 +
[2] гиперсети https://arxiv.org/abs/1609.09106
 +
[3] похожая работа заточенная под изменение модели в зависимости от заранее заданной сложности
 +
https://www.mathnet.ru/links/71cd2117ce84018e028a939bcd0e1507/ia710.pdf (по запросу скинем более новую версию)
 +
Базовой алгоритм: Переобучение модели напрямую.
 +
Решение: Предлагаемый метод заключается в представлении модели глубокого обучения в виде гиперсети (сети, которая генерирует параметры другой сети) с использованием байесовского подхода. Вводятся вероятностные предположения о параметрах моделей глубокого обучения, максимизируется вариационная нижняя оценка байесовской обоснованности модели. Вариационная оценка рассматривается как условная величина, зависящая от информации о данных задачи.
 +
Новизна: предложенный метод позволяет порождать модели в режиме one-shot (практически без переподготовки) для требуемой задачи, что значительно снижает затраты на оптимизацию и дообучение.
 +
 
 +
Ольга Гребенькова и Олег Бахтеев
 +
 
 +
===Задача 129===
 +
* '''Название:''' * '''Название:'''Пространственно-временное прогнозирование с помощью сверточных сетей и тензорных разложений
 +
* '''Описание проблемы:''' Породить набор сверток по имеющимся данным и выбрать лучшую с помощью методов снижения порядка и размерности пространств.
 +
* '''Данные:''' Потребление и цена электроэнергии, океанические течения, движение барханов, воздушные потоки
 +
* '''Литература'''
 +
*# [http://irep.ntu.ac.uk/id/eprint/32719/1/PubSub10184_Sanei.pdf Tensor-based Singular Spectrum Analysis for Automatic Scoring of Sleep EEG]
 +
*# [https://ieeexplore.ieee.org/document/6661921 Tensor based singular spectrum analysis for nonstationary source separation]
 +
* '''Базовый алгоритм:''' Гусеница, тензорная гусеница.
 +
* '''Решение:''' Найти мультиериодический временной ряд, построить его тензорное представление, разложить в спектр, собрать, показать прогноз.
 +
* '''Новизна:''' Показать, что мультилинейная модель является удобным способом построения сверток для измерений в пространстве и времени.
 +
* '''Авторы:''' Эксперт - Стрижов
 +
 
 +
===Задача 130===
 +
* '''Авторы:''' Эксперт - Воронцов, консультант - Полина Потапова
 +
===Задача 131===
 +
* '''Авторы:''' Эксперт - Воронцов, консультант - Василий Алексеев
 +
===Задача 132===
 +
• Название: Ранжирование научных статей для полуавтоматического реферирования
 +
• Задача: Построить модель ранжирования, которая принимает на входе подборку текстов научных статей и выдаёт на выходе последовательность их упоминания в реферате.
 +
• Данные:
 +
• В качестве обучающей выборки используются обзорные разделы (например, Introduction и Related Work) статей из коллекции S2ORC (81.1M англоязычных статей). Объект обучающей выборки – это последовательность ссылок на статьи из списка литературы, упоминаемые в обзорных разделах. Для каждого документа есть набор мета данных - год публикации, журнал, число цитирований, число цитирований автора и др. Также, имеется abstract и, возможно, полный текст статьи.
 +
• В качестве метрики используется Коэффициент ранговой корреляции Кендалла.
 +
•Литература:
 +
◦ Крыжановская С. Ю. «Технология полуавтоматической суммаризации тематических подборок научных статей» [http://www.machinelearning.ru/wiki/images/e/ed/Kryzhanovskaya22msc.pdf]
 +
◦ Власов А. В. «Методы полуавтоматической суммаризации подборок научных статей» [http://www.machinelearning.ru/wiki/images/6/6d/Vlasov2020MSThesis.pdf]
 +
◦ Крыжановская С. Ю., Воронцов К. В. «Технология полуавтоматической суммаризации тематических подборок научных статей» [http://www.machinelearning.ru/wiki/images/f/ff/Idp22.pdf, стр. 371]
 +
◦ S2ORC: The Semantic Scholar Open Research Corpus [https://aclanthology.org/2020.acl-main.447.pdf]
 +
• Базовые алгоритмы:
 +
◦ Попарные (pair-wise) методы ранжирования
 +
◦ Градиентный бустинг
 +
• Решение: Простейшим решением является ранжирование статей в хронологическом порядке, по году их публикации. Для решения задачи предлагается построить модель ранжирования на основе градиентного бустинга. В качестве признаков можно использовать год публикации, цитируемость статьи, цитируемость её авторов, семантическая близость публикации к обзору, к его локальному контексту, и т. д.
 +
• Новизна: Задача является первым этапом для полуавтоматического реферирования тематических подборок научных публикаций (machine aided human summarization, MAHS). После того, как сценарий реферата построен, система генерирует для каждой статьи фразы-подсказки, из которых пользователь выбирает фразы для продолжения своего реферата.
 +
• Автор: Крыжановская Светлана, Константин Воронцов
 +
 
 +
===Задача 133===
 +
 
 +
===Задача 134===
 +
* Название: Дистилляция моделей и данных
 +
* Задача: Существует два подхода по дистилляции знаний. Первый подход - дистилляция моделей. В этом случае большую модель пытаются дистиллировать в маленькую модель с сохранением такого же уровня качества. Второй подход - дистилляция данных. В этом случае создается минимальный набор данных, для обучения модели до нужного качества. На данный момент нет решения, которое может реализовать одновременную дистилляцию модели и знаний.
 +
* Данные: Выборка рукописных цифр MNIST, Выборка изображений CIFAR-10
 +
* Литература: Список научных работ, дополненный 1) формулировкой решаемой задачи, 2) ссылками на новые результаты, 3) основной информацией об исследуемой проблеме.
 +
* Базовой алгоритм: Базовое решение по дистилляции модели - дистилляция Хинтона Базовое решение по дистилляции датасетов - Dataset distillation.
 +
* Решение: Предлагаемое решение задачи и способы проведения исследования. Способы представления и визуализации данных и проведения анализа ошибок, анализа качества алгоритма.
 +
* Новизна: Новизна работы заключается в соединении двух подходов по дистилляции
 +
* Авторы: Андрей Филатов

Текущая версия

Содержание

Задача 112

  • Название: Моделирование показания FMRI по видео показанному человеку
  • Описание проблемы: Требуется построить модель зависимости показания датчиков FMRI и видеоряду, который в этот момент просматривает человек.
  • Данные: Выборка для аппроксимации представлена в работе J. Berezutskay, в которой присутствуют различные типы параллельных сигналов.
  • Литература
    1. Berezutskaya J., et al Open multimodal iEEG-fMRI dataset from naturalistic stimulation with a short audiovisual film // Sci Data 9, 91, 2022.
    2. Код предшественников: https://github.com/intsystems/CreationOfIntelligentSystems_video_fMRI
  • Базовый алгоритм: Запуск кода на основе трансформер моделей.
  • Новизна: Анализ зависимости между показаниями датчиков и восприятиям внешнего мира человеком. Требуется проверить гипотезу зависимости между данными, а также предложить метод апроксимации показаний FMRI по просматриваемому видеоряду.
  • Авторы: Эксперт Грабовой Андрей

Задача 113

  • Название: Моделирование показания FMRI по звуковому ряду, который слышит человек
  • Описание проблемы: Требуется построить модель зависимости показания датчиков FMRI и звуковому сопровождению, который в этот момент прослушивает человек.
  • Данные: Выборка для аппроксимации представлена в работе J. Berezutskay, в которой присутствуют различные типы параллельных сигналов.
  • Литература
    1. Berezutskaya J., et al Open multimodal iEEG-fMRI dataset from naturalistic stimulation with a short audiovisual film // Sci Data 9, 91, 2022.
    2. Код предшественников: https://github.com/intsystems/CreationOfIntelligentSystems_sound_fMRI
  • Базовый алгоритм: Запуск кода на основе трансформер моделей.
  • Новизна: Анализ зависимости между показаниями датчиков и восприятиям внешнего мира человеком. Требуется проверить гипотезу зависимости между данными, а также предложить метод апроксимации показаний FMRI по прослушиваемому звуковому ряду.
  • Авторы: Эксперт Грабовой Андрей

Задача 114

  • Название:Моделирование динамики физических систем с помощью Physics-Informed Neural Networks
  • Описание проблемы: Породить набор сверток по имеющимся данным и выбрать лучшую с помощью методов снижения порядка и размерности пространств.
  • Данные: Биомедицинские данные акселерометра и гироскопа, океанические течения, движение барханов, воздушные потоки
  • Литература базовая работа содержит ссылки
  • Базовый алгоритм: Нейросетевой, лагранжевы нейросети.
  • Решение: Нетерова нейросеть.
  • Новизна: Предложенная сеть учитывает симметрию
  • Авторы: Эксперты - Северилов, Стрижов, консультант - Панченко

Задача 115

  • Название: Дистилляция знаний в глубоких сетях и выравнивание структур моделей
  • Описание проблемы: Требуется построить сеть наиболее простой структуры, модель-ученик, используя модель-учитель высокого качества. Показать насколько изменяется точность и устойчивость ученика. Результатом эксперимента является график сложность-точность-устойчивость, где каждая модель является точной.
  • Данные: Предлагается решать задачу классификации сегментов видеопотока. Базовые данные – классификация сегментов сигнала. Предполагается, что учитель имеет открытую для анализа структуру с большим числом слоев.
  • Литература
    1. Исходная работа Хинтона по дистилляции и туториалы
    2. Работы Грабового
    3. Код полезный, чтобы не писать, а сделать только эксперимент.
    4. Описание эксперимента в работах Марка Потанина.
  • Базовый алгоритм: для сравнения
    1. Обучение (моделей с заданной структурой управляемой сложности) без дистилляции.
    2. Обучение (ditto) с дистилляцией Хинтона.
    3. Обучение с переносом по слоям.
    4. Обучение с переносом по нейронам.
  • Решение:
    1. Как в п. 2, только по слоям.
    2. Построение пути наименьшей стоимости по нейронам. Считаем ковариационные матрицы каждого нейрона каждого слоя для учителя и для ученика. Предлагаем функцию ошибки, включающую цену пути наименьшей стоимости. Предлагаем способ построить путь наименьшей стоимости. Основная идея: перенос идет по парам нейронов и наиболее похожими распределениями (ожидание и ковариационная матрица) от учителя к ученику.
  • Новизна: Предложенный перенос существенно снижает сложность без потери точности и решает проблему взаимозаменяемости нейронов, идентифицируя их.
  • Авторы: Эксперт Бахтеев, Стрижов, консультант - Мария Горпинич

Задача 116

  • Название: Нейронные дифференциальные уравнения для моделирования физической активности – выбор моделей
  • Авторы: Эксперт, консультант - Эдуард Владимиров

Задача 117

  • Название: Поиск зависимости и SSA, теорема Такенса
  • Авторы: Эксперт Стрижов, консультант - Владимиров, Самохина

Задача 118

Denis

Задача 119

Участники Ментор, эксперт - Хританков А.С., эксперт - Афанасьев А.П.

Литература

   Khritankov A., Hidden Feedback Loops in Machine Learning Systems: A Simulation Model and Preliminary Results, https://doi.org/10.1007/978-3-030-65854-0_5
   Khritankov A.. Pilkevich A. Existence Conditions for Hidden Feedback Loops in Online Recommender Systems, https://doi.org/10.1007/978-3-030-91560-5_19
   Каток А.Б., Хасселблат Б. Введение в современную теорию динамических систем.1999. 768 с. ISBN 5-88688-042-9.
   Немыцкий В. В., Степанов В. В. Качественная теория дифференциальных уравнений, год изд.: 1974


   Рассмотрим задачу многократного обучения с учителем, в которой обучающая выборка не фиксирована, а обновляется в зависимости от предсказаний обученной модели на тестовой выборке. Для процесса многократного обучения, предсказания и обновления выборки строим математическую модель и исследуем свойства этого процесса на основе построенной модели.
   Модель
   Пусть f(x) - функция плотности распределения признаков, G - алгоритм обучения модели, формирования предсказаний на тестовой выборке и подмешивания предсказаний в обучающую выборку, в результате применения которого изменяется распределение признаков.
   Пусть задано пространство неотрицательных гладких функций F(x), интеграл которых на R^n равен единице. 
   Рассмотрим автономную (не зависит от времени явно) динамическую систему (есть выделенная переменная - номер шага, которая возрастает), 
   на шаге t и t+1 которой выполняется соотношение 
   f_{t+1}(x) = G(f_{t})(x), 
   где G(f) - оператор эволюции на пространстве указанных функций F и известна начальная функция f_0(x),
   Вообще говоря, G может быть произвольным оператором, не обязательно гладким и/или непрерывным.
   Вопрос 0.
   Найти условия на оператор G, при которых образ G лежит в том же классе функций плотности распределений F. 


   В частности, должен ли G быть ограниченным, операторная норма ||G|| <= 1, для того, чтобы образ G(f) \in F также был функцией плотности распределения для любой f из F? 
   Существует ли в пространстве F единица относительно оператора G и что будет единичной функцией f в таком F?


   Вопрос 1.
   При каких условиях на G будет существовать такое t_0, что для всех t > t_0 хвост последовательности {f} будет ограничен?


   Вопрос 2.
   При каких условиях оператор G будет иметь неподвижную точку?
   Предполагаемый ответ - по видимому, применим принцип сжимающих отображений (теорема Банаха). 
   Существование неподвижной точки может потребовать полноты пространства F, что может не выполняться, например, для последовательности на F, сходящейся к индикаторной функции.
   Какие условия нужно наложить на G, чтобы исключить такие последовательности?
   В вычислительном эксперименте предлагается проверить существенность ограничения / значимость условий, при которых получен ответ на вопросы 0-2.
   Например, для задачи линейной регрессии и/или регрессии с многоуровневой полносвязной нейронной сетью при разных долях подмешиваемых в обучающую выборку предсказаниях на синтетических наборах данных.

Задача 120

  • Название: Дифференцируемый алгоритм поиска ансамблей моделей глубокого обучения с контролем разнообразия
  • Задача: Рассмотривается задача выбора ансамбля моделей. Требуется предложить метод контроля разнообразия базовых моделей на этапе применения.
  • Данные: Fashion-MNIST, CIFAR-10, CIFAR-100 datasets
  • Литература: [1] [Neural Architecture Search with Structure Complexity Control](https://easychair.org/publications/preprint/H5MC), [2] [Neural Ensemble Search via Bayesian Sampling](https://arxiv.org/pdf/2109.02533.pdf), [3] [DARTS: Differentiable Architecture Search](https://arxiv.org/pdf/1806.09055.pdf)
  • Базовой алгоритм: В качестве базового алгоритма предлагается использовать DARTS [3].
  • Решение: Для контроля разнообразия базовых моделей предлагается использовать гиперсеть [1], которая смещает структурные параметры в терминах дивергенции Йенсена—Шеннона. На этапе применения сэмплируются базовые архитектуры с заданным смещением для построения ансамбля.
  • Новизна: Предложенный метод позволяет строить ансамбли с любым количеством базовых моделей без дополнительных вычислительных затрат относительно базового алгоритма.
  • Авторы: К.Д. Яковлев, О.Ю. Бахтеев

Задача 121

Вл. Вановский задача по физикс-информед маншин лернинг?

Задача 122

Исаченко

Задача 123

  • Название: Влияние локдауна на динамику распространения эпидемии
  • Задача: Введение локдауна считается эффективной мерой по борьбе с эпидемией. Однако вопреки интуиции оказалось, что при определенных условиях локдаун может привести к росту эпидемии. Данный эффект отсутствует для классических моделей распространения эпидемии «в среднем», но был выявлен при моделировании эпидемии на графе контактов. Задача заключается в поиске формульных и количественных соотношений между параметрами, при которых локдаун может привести к росту эпидемии. Необходимо как выявить такие соотношения в моделях SEIRS/SEIR/SIS/etc на основе фреймворка распространения эпидений SEIRS+ (и ее модификации), так и теоретически обосновать соотношения, полученные из конкретных реализаций эпидении.
  • Данные: Задача предполагает работу с модельными и синтетическими данными: имеются готовые данные, а также предполагается возможность генерации новых в процессе решения задачи. Данная задача относится к unsupervised обучению, поскольку реализация эпидемии на графе контактов имеет высокую долю случаныйх событий, а потому требует проводить анализ в среднем на многих синтетически сгенерированных реализациях эпидемии
  • Литература:
   - T. Harko, Francisco S. N. Lobo и M. Mak. «Exact analytical solutions of the

Susceptible-Infected-Recovered (SIR) epidemic model and of the SIR model with equal death and birth rates»

   - https://github.com/ryansmcgee/seirsplus
  • Авторы: А.Ю. Бишук, А.В. Зухба

Задача 125

  • Название: детекция изменения стиля машинной генерации
  • Описание проблемы: Требуется предложить метод детекции
  • Данные: Выборка для аппроксимации представлена в работе J. Berezutskay, в которой присутствуют различные типы параллельных сигналов.
  • Литература
    1. G. Gritsay, A. Grabovoy, Y. Chekhovich. Automatic Detection of Machine Generated Texts: Need More Tokens // Ivannikov Memorial Workshop (IVMEM), 2022.
    2. M. Kuznetsov, A. Motrenko, R. Kuznetsova, V. Strijov. Methods for intrinsic plagiarism detection and author diarization // Working Notes of CLEF, 2016, 1609 : 912-919.
    3. Конкурс RuATD --- https://www.dialog-21.ru/en/dialogue-evaluation/competitions/dialogue-evaluation-2022/ruatd-2022/.
  • Базовый алгоритм:
    1. Использование результатов конкурса RuATD в качестве базовых моделей для классификации предложений.
    2. Использовать метод из работы Kuznetsov et all.
  • Новизна: Предложить метод детекции машиносгенерированных фрагментов в тексте используя методы изменения стиля написания.
  • Авторы: Эксперт Грабовой Андрей

Задача 126

Рустем Исламов

Задача 127

Егор Шульгин

Задача 128

Название: Построение модели глубокого обучения в зависимости от данных задачи Задача: рассматривается задача оптимизации модели глубокого обучения для нового датасета. Требуется предложить метод оптимизации модели, позволяющий производить порождение новых моделей для нового датасета с небольшими вычислительными затратами. Данные: CIFAR10, CIFAR100 Литература: [1] вариационный вывод для нейронных сетей https://papers.nips.cc/paper/4329-practical-variational-inference-for-neural-networks.pdf [2] гиперсети https://arxiv.org/abs/1609.09106 [3] похожая работа заточенная под изменение модели в зависимости от заранее заданной сложности https://www.mathnet.ru/links/71cd2117ce84018e028a939bcd0e1507/ia710.pdf (по запросу скинем более новую версию) Базовой алгоритм: Переобучение модели напрямую. Решение: Предлагаемый метод заключается в представлении модели глубокого обучения в виде гиперсети (сети, которая генерирует параметры другой сети) с использованием байесовского подхода. Вводятся вероятностные предположения о параметрах моделей глубокого обучения, максимизируется вариационная нижняя оценка байесовской обоснованности модели. Вариационная оценка рассматривается как условная величина, зависящая от информации о данных задачи. Новизна: предложенный метод позволяет порождать модели в режиме one-shot (практически без переподготовки) для требуемой задачи, что значительно снижает затраты на оптимизацию и дообучение.

Ольга Гребенькова и Олег Бахтеев

Задача 129

  • Название: * Название:Пространственно-временное прогнозирование с помощью сверточных сетей и тензорных разложений
  • Описание проблемы: Породить набор сверток по имеющимся данным и выбрать лучшую с помощью методов снижения порядка и размерности пространств.
  • Данные: Потребление и цена электроэнергии, океанические течения, движение барханов, воздушные потоки
  • Литература
    1. Tensor-based Singular Spectrum Analysis for Automatic Scoring of Sleep EEG
    2. Tensor based singular spectrum analysis for nonstationary source separation
  • Базовый алгоритм: Гусеница, тензорная гусеница.
  • Решение: Найти мультиериодический временной ряд, построить его тензорное представление, разложить в спектр, собрать, показать прогноз.
  • Новизна: Показать, что мультилинейная модель является удобным способом построения сверток для измерений в пространстве и времени.
  • Авторы: Эксперт - Стрижов

Задача 130

  • Авторы: Эксперт - Воронцов, консультант - Полина Потапова

Задача 131

  • Авторы: Эксперт - Воронцов, консультант - Василий Алексеев

Задача 132

• Название: Ранжирование научных статей для полуавтоматического реферирования • Задача: Построить модель ранжирования, которая принимает на входе подборку текстов научных статей и выдаёт на выходе последовательность их упоминания в реферате. • Данные:

       • В качестве обучающей выборки используются обзорные разделы (например, Introduction и Related Work) статей из коллекции S2ORC (81.1M англоязычных статей). Объект обучающей выборки – это последовательность ссылок на статьи из списка литературы, упоминаемые в обзорных разделах. Для каждого документа есть набор мета данных - год публикации, журнал, число цитирований, число цитирований автора и др. Также, имеется abstract и, возможно, полный текст статьи.
       • В качестве метрики используется Коэффициент ранговой корреляции Кендалла.

•Литература:

◦ Крыжановская С. Ю. «Технология полуавтоматической суммаризации тематических подборок научных статей» [1]
◦ Власов А. В.  «Методы полуавтоматической суммаризации подборок научных статей» [2]
◦ Крыжановская С. Ю., Воронцов К. В. «Технология полуавтоматической суммаризации тематических подборок научных статей» стр. 371
◦ S2ORC: The Semantic Scholar Open Research Corpus [3]

• Базовые алгоритмы:

◦ Попарные (pair-wise) методы ранжирования
◦ Градиентный бустинг

• Решение: Простейшим решением является ранжирование статей в хронологическом порядке, по году их публикации. Для решения задачи предлагается построить модель ранжирования на основе градиентного бустинга. В качестве признаков можно использовать год публикации, цитируемость статьи, цитируемость её авторов, семантическая близость публикации к обзору, к его локальному контексту, и т. д. • Новизна: Задача является первым этапом для полуавтоматического реферирования тематических подборок научных публикаций (machine aided human summarization, MAHS). После того, как сценарий реферата построен, система генерирует для каждой статьи фразы-подсказки, из которых пользователь выбирает фразы для продолжения своего реферата. • Автор: Крыжановская Светлана, Константин Воронцов

Задача 133

Задача 134

  • Название: Дистилляция моделей и данных
  • Задача: Существует два подхода по дистилляции знаний. Первый подход - дистилляция моделей. В этом случае большую модель пытаются дистиллировать в маленькую модель с сохранением такого же уровня качества. Второй подход - дистилляция данных. В этом случае создается минимальный набор данных, для обучения модели до нужного качества. На данный момент нет решения, которое может реализовать одновременную дистилляцию модели и знаний.
  • Данные: Выборка рукописных цифр MNIST, Выборка изображений CIFAR-10
  • Литература: Список научных работ, дополненный 1) формулировкой решаемой задачи, 2) ссылками на новые результаты, 3) основной информацией об исследуемой проблеме.
  • Базовой алгоритм: Базовое решение по дистилляции модели - дистилляция Хинтона Базовое решение по дистилляции датасетов - Dataset distillation.
  • Решение: Предлагаемое решение задачи и способы проведения исследования. Способы представления и визуализации данных и проведения анализа ошибок, анализа качества алгоритма.
  • Новизна: Новизна работы заключается в соединении двух подходов по дистилляции
  • Авторы: Андрей Филатов
Личные инструменты