Автоматизация научных исследований в машинном обучении (практика, В.В. Стрижов)/Группа 674, весна 2019

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Список проектов)
(Задача 42)
Строка 207: Строка 207:
=== Задача 42 ===
=== Задача 42 ===
-
* '''Название: Z-learning of linearly-solvable Markov Decision Processes
+
* '''Название''': Z-learning of linearly-solvable Markov Decision Processes
-
* '''Задача: Adapt Z-learning from [1] to the case of Markov Decision Process discussed in [2] in the context of energy systems. Compare it with standard (in reinforcement learning) Q-learning.
+
* '''Задача''': Adapt Z-learning from [1] to the case of Markov Decision Process discussed in [2] in the context of energy systems. Compare it with standard (in reinforcement learning) Q-learning.
-
* '''Данные: We consider a Markov Process described via transition probability matrix. Given initial state vector (probability of being in a state at time zero), we generate data for the time evolution of the state vector. See [2] for an exemplary process describing evolution of an ensemble of energy consumers.
+
* '''Данные''': We consider a Markov Process described via transition probability matrix. Given initial state vector (probability of being in a state at time zero), we generate data for the time evolution of the state vector. See [2] for an exemplary process describing evolution of an ensemble of energy consumers.
-
* '''Литература:
+
* '''Литература''':
1. [1] E. Todorov. Linearly-solvable Markov decision problems https://homes.cs.washington.edu/~todorov/papers/TodorovNIPS06.pdf
1. [1] E. Todorov. Linearly-solvable Markov decision problems https://homes.cs.washington.edu/~todorov/papers/TodorovNIPS06.pdf
2. Ensemble Control of Cycling Energy Loads: Markov Decision Approach. Michael Chertkov, Vladimir Y. Chernyak, Deepjyoti Deka. https://arxiv.org/abs/1701.04941
2. Ensemble Control of Cycling Energy Loads: Markov Decision Approach. Michael Chertkov, Vladimir Y. Chernyak, Deepjyoti Deka. https://arxiv.org/abs/1701.04941
3. Csaba Szepesvári. Algorithms for Reinforcement Learning. https://sites.ualberta.ca/~szepesva/papers/RLAlgsInMDPs.pdf
3. Csaba Szepesvári. Algorithms for Reinforcement Learning. https://sites.ualberta.ca/~szepesva/papers/RLAlgsInMDPs.pdf
-
* '''Базовой алгоритм: Principal comparison should be made with Q learning described in [3]
+
* '''Базовой алгоритм''': Principal comparison should be made with Q learning described in [3]
-
* '''Решение: We suppose that plugging in algorithm from [1] directly into [2] gives faster and more reliable solution.
+
* '''Решение''': We suppose that plugging in algorithm from [1] directly into [2] gives faster and more reliable solution.
-
* '''Новизна: In the area of power systems there is a huge demand on fast reinforcement learning algorithms, but there is still a lack of that (in particular the ones respect the physics/underlying graph)
+
* '''Новизна''': In the area of power systems there is a huge demand on fast reinforcement learning algorithms, but there is still a lack of that (in particular the ones respect the physics/underlying graph)
* '''Авторы''': Yury Maximov (consultant, expert), Michael Chertkov (expert)
* '''Авторы''': Yury Maximov (consultant, expert), Michael Chertkov (expert)

Версия 20:10, 20 февраля 2019

Видео докладов по курсу на канале Machine Learning на Youtube


Содержание


Моя первая научная публикация

Участвуют эксперты, индивидуальные консультанты и студенты кафедры Интеллектуальные системы ФУПМ МФТИ.

Роли

Студент третьего курса очень хочет научиться ставить задачи формально, находить нужную литературу, порождать новые и актуальные идеи и решения задач.

Консультант помогает студенту в пользовании инструментами, отвечает на вопросы по специальности, консультирует выполнение работ, оперативно реагирует на проблемы, проверяет (в среду) результаты, ставит оценки. Предполагается, что консультант сам пишет работу-спутник по этой теме. В конце работы могут быть объединены или выполнены и опубликованы параллельно. По возможности, рекомендуется организовать правки текста студента с целью улучшить стиль изложения таким образом, чтобы студент вносил правки самостоятельно. Возможно, при очной встрече или по скайпу.

Эксперт: поставщик задачи, владелец данных, либо тот, кто гарантирует новизну и актуальность работы.

Результаты

Автор Тема научной работы Ссылки Консультант Рецензент Доклады Буквы \Sigma
Гончаров Алексей (пример) Метрическая классификация временных рядов code,

paper, slides

Мария Попова Задаянчук Андрей BMF AILSBRCVTDSWH>
Фамилия Имя название ссылки консультант рецензент доклад буквы оценка

Расписание

Дата N Что делаем Результат для обсуждения Буква
Февраль 14 1 Организация работы, расписание, инструменты. Инструменты подготовлены к работе.
21 2 ДЗ-1. Выбор задачи Тема в ML и ссылка на работу в SF помещена напротив фамилии.
28 3 Составить список публикаций по выбранной задаче, найти данные. Написать аннотацию и введение с обзором собранной литературы. Аннотация (600 знаков), введение (1-2 страницы), список литературы в bib-файле. Abstract, Introduction, Literature
Март 7 4 Поставить задачу и сделать описание базового алгоритма, подготовить базовый вычислительный эксперимент. Постановка задачи (0.5-1 страница), описание базового алгоритма. Подготовить доклад 45 сек. B-talk, Statement
14 5 Поставить базовый вычислительный эксперимент. Провести первичный анализ работы алгоритма. Показ статьи. Базовый код, отчет о работе базового алгоритма (кратко). Basic code, Report, cHeck-1
21 6 Поставить вычислительный эксперимент на основе предлагаемого алгоритма с учетом предыдущих результатов. Код, визуализация полученных результатов, анализ ошибки, анализ качества. Code, Visualization
28 7 Описать алгоритм. Теоретическая и алгоритмическая часть статьи (второй / третий раздел). Подготовить промежуточный доклад со слайдами, 2-3 минуты. M-talk, Theory
Апрель 4 8 Завершение вычислительного эксперимента. Описание эксперимента с анализом ошибок. Error
11 9 Описание теоретической части и вычислительного эксперимента. Описание рисунков, выводы, заключение. Черновой вариант статьи с разделами «Вычислительный экперимент» и «Заключение». Document
18 10 Контрольная точка — показ статьи в целом, рецензия. Статья в варианте для рецензирования. сHeck-2, RevieW
25 11 Подготовка презентации. Доклады и обсуждение. Final show, Slides
Май 16 12 Доработка статьи. Статья подготовлена к подаче в журнал. Journal


Список проектов

Шаблон описания проекта — научной статьи

  • Название: Название, под которым статья подается в журнал.
  • Задача: Описание или постановка задачи. Желательна постановка в виде задачи оптимизации (в формате argmin). Также возможна ссылка на классическую постановку задачи.
  • Данные: Краткое описание данных, используемых в вычислительном эксперименте, и ссылка на выборку.
  • Литература: Список научных работ, дополненный 1) формулировкой решаемой задачи, 2) ссылками на новые результаты, 3) основной информацией об исследуемой проблеме.
  • Базовой алгоритм: Ссылка на алгоритм, с которым проводится сравнение или на ближайшую по теме работу.
  • Решение: Предлагаемое решение задачи и способы проведения исследования. Способы представления и визуализации данных и проведения анализа ошибок, анализа качества алгоритма.
  • Новизна: Обоснование новизны и значимости идей (для редколлегии и рецензентов журнала).
  • Авторы: эксперт, консультант.

Задача 17

  • Название: Прогнозирование намерений. Исследование свойств локальных моделей при пространственном декодировании сигналов головного мозга
  • Задача: При построении систем нейрокомпьютерного интерфейса (brain-computer interface) используются простые, устойчивые модели. Важным этапом построения такой модели является построение адекватного признакового пространства. Ранее такая задача решалась с помощью выделения признаков из частотных характеристик сигналов.
  • Данные: Наборы данных сигналов мозга ECoG/EEG.
  • Литература:
    1. Motrenko A.P., Strijov V.V. Multi-way feature selection for ECoG-based brain-computer Interface // Expert systems with applications. - 2018.
    2. Eliseyev A., Aksenova T. Stable and artifact-resistant decoding of 3D hand trajectories from ECoG signals using the generalized additive model //Journal of neural engineering. – 2014.
  • Базовый алгоритм: Сравнение предлагается производить с алгоритмом частных наименьших квадратов (partial least squares).
  • Решение: В данном работе предлагается учесть пространственную зависимость между сенсорами, которые считывают данные. Для этого необходимо локально смоделировать пространственный импульс/сигнал и построить прогностическую модель на основе локального описания.
  • Новизна: Предлагается существенно новый способ построения признакового описания в задаче декодирования сигналов. Бонус: анализ изменения структуры модели, адаптация структуры при изменении выборки.
  • Авторы: В.В. Стрижов, Tetiana Aksenova, консультант – Роман Исаченко

Задача 40

  • Название: Предсказание качества для процедуры выбора признаков.
  • Задача: Решение задачи выбора признаков сводится к перебору вершин бинарного куба. Данную процедуру невозможно произвести для выборки с большим числом признаком. Предлагается свести данную задачу к оптимизации в линейном пространстве.
  • Данные: Синтетические данные + простые выборки
  • Литература:
    1. Bertsimas D. et al. Best subset selection via a modern optimization lens //The annals of statistics. – 2016. – Т. 44. – №. 2. – С. 813-852.
    2. Luo R. et al. Neural architecture optimization //Advances in Neural Information Processing Systems. – 2018. – С. 7827-7838.
  • Базовый алгоритм: популярные методы выбора признаков.
  • Решение: В данном работе предлагается построить модель, которая по набору признаков прогнозирует качество на тестовой выборке. Для этого строится отображение бинарного куба в линейное пространство. После этого максимизируется качество модели в линейном пространстве. Для реконструкции решения задачи используется модель обратного отображенияв бинарный куб.
  • Новизна: Предлагается конструктивно новый подход к решению задачи выбора моделей.
  • Авторы: В.В. Стрижов, Tetiana Aksenova, консультант – Роман Исаченко

Задача 42

  • Название: Z-learning of linearly-solvable Markov Decision Processes
  • Задача: Adapt Z-learning from [1] to the case of Markov Decision Process discussed in [2] in the context of energy systems. Compare it with standard (in reinforcement learning) Q-learning.
  • Данные: We consider a Markov Process described via transition probability matrix. Given initial state vector (probability of being in a state at time zero), we generate data for the time evolution of the state vector. See [2] for an exemplary process describing evolution of an ensemble of energy consumers.
  • Литература:

1. [1] E. Todorov. Linearly-solvable Markov decision problems https://homes.cs.washington.edu/~todorov/papers/TodorovNIPS06.pdf 2. Ensemble Control of Cycling Energy Loads: Markov Decision Approach. Michael Chertkov, Vladimir Y. Chernyak, Deepjyoti Deka. https://arxiv.org/abs/1701.04941 3. Csaba Szepesvári. Algorithms for Reinforcement Learning. https://sites.ualberta.ca/~szepesva/papers/RLAlgsInMDPs.pdf

  • Базовой алгоритм: Principal comparison should be made with Q learning described in [3]
  • Решение: We suppose that plugging in algorithm from [1] directly into [2] gives faster and more reliable solution.
  • Новизна: In the area of power systems there is a huge demand on fast reinforcement learning algorithms, but there is still a lack of that (in particular the ones respect the physics/underlying graph)
  • Авторы: Yury Maximov (consultant, expert), Michael Chertkov (expert)
Личные инструменты