Автоматизация научных исследований в машинном обучении (практика, В.В. Стрижов)/Группа 694, весна 2019

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Задача 7)
(Результаты)
 
(172 промежуточные версии не показаны)
Строка 1: Строка 1:
{{Main|Численные методы обучения по прецедентам (практика, В.В. Стрижов)}}
{{Main|Численные методы обучения по прецедентам (практика, В.В. Стрижов)}}
{{tip| [https://www.youtube.com/channel/UC90B3Y_FbBRrRQk5TCiKgSA Видео докладов по курсу на канале Machine Learning на Youtube]}}
{{tip| [https://www.youtube.com/channel/UC90B3Y_FbBRrRQk5TCiKgSA Видео докладов по курсу на канале Machine Learning на Youtube]}}
-
<!-- __NOTOC__ -->
+
__NOTOC__
-
 
+
<!-- __TOC__ -->
-
__TOC__
+
Строка 9: Строка 8:
Участвуют эксперты, индивидуальные консультанты и студенты кафедры [[Интеллектуальные системы (кафедра МФТИ)|Интеллектуальные системы]] [[ФУПМ]] [[МФТИ]].
Участвуют эксперты, индивидуальные консультанты и студенты кафедры [[Интеллектуальные системы (кафедра МФТИ)|Интеллектуальные системы]] [[ФУПМ]] [[МФТИ]].
* [http://svn.code.sf.net/p/mvr/code/lectures/MLEducation/Strijov2014MLCourseShort.pdf?format=raw Описание курса]
* [http://svn.code.sf.net/p/mvr/code/lectures/MLEducation/Strijov2014MLCourseShort.pdf?format=raw Описание курса]
-
* Результаты предыдущих курсов
+
* История [[Автоматизация научных исследований в машинном обучении (практика, В.В. Стрижов)/Группа 674, весна 2019|2019 (674)]] — [[Численные методы обучения по прецедентам (практика, В.В. Стрижов)/Группа 574, весна 2018 | 2018]] — [[Численные методы обучения по прецедентам (практика, В.В. Стрижов)/Группа 474, весна 2017 | 2017]] — [[Численные методы обучения по прецедентам (практика, В.В. Стрижов)/Группа 374, весна 2016 | 2016]] — [[Численные методы обучения по прецедентам (практика, В.В. Стрижов)/Группа 274, весна 2015 | 2015]] — [[Численные методы обучения по прецедентам (практика, В.В. Стрижов)/Группа 174, весна 2014 | 2014]] — [[Численные методы обучения по прецедентам (практика, В.В. Стрижов)/Группа 074, весна 2013 | 2013]]
-
** [[Численные методы обучения по прецедентам (практика, В.В. Стрижов)/Группа 574, весна 2018 | 2018]]
+
-
** [[Численные методы обучения по прецедентам (практика, В.В. Стрижов)/Группа 474, весна 2017 | 2017]]
+
-
** [[Численные методы обучения по прецедентам (практика, В.В. Стрижов)/Группа 374, весна 2016 | 2016]]
+
-
** [[Численные методы обучения по прецедентам (практика, В.В. Стрижов)/Группа 274, весна 2015 | 2015]]
+
-
** [[Численные методы обучения по прецедентам (практика, В.В. Стрижов)/Группа 174, весна 2014 | 2014]]
+
-
** [[Численные методы обучения по прецедентам (практика, В.В. Стрижов)/Группа 074, весна 2013 | 2013]]
+
<!--** [[Численные методы обучения по прецедентам (практика, В.В. Стрижов)/Группа 874, весна 2012 | 2012]]
<!--** [[Численные методы обучения по прецедентам (практика, В.В. Стрижов)/Группа 874, весна 2012 | 2012]]
** [[Численные методы обучения по прецедентам (практика, В.В. Стрижов)/Группа 874, весна 2011 | 2011]]
** [[Численные методы обучения по прецедентам (практика, В.В. Стрижов)/Группа 874, весна 2011 | 2011]]
* [[Численные методы обучения по прецедентам (практика, В.В. Стрижов)/Рекомендуемые базовые и дополнительные учебники| Рекомендуемые учебники]]-->
* [[Численные методы обучения по прецедентам (практика, В.В. Стрижов)/Рекомендуемые базовые и дополнительные учебники| Рекомендуемые учебники]]-->
* [https://www.youtube.com/channel/UC90B3Y_FbBRrRQk5TCiKgSA Видео докладов по курсу на канале Machine Learning на Youtube]
* [https://www.youtube.com/channel/UC90B3Y_FbBRrRQk5TCiKgSA Видео докладов по курсу на канале Machine Learning на Youtube]
-
<!--* Короткая ссылка на эту страницу: [http://bit.ly/2Esrdrk http://bit.ly/2Esrdrk] -->
+
* Короткая ссылка на эту страницу: [http://bit.ly/M1_2019_694 http://bit.ly/M1_2019_694]
== Роли ==
== Роли ==
Строка 39: Строка 32:
! Консультант
! Консультант
! Рецензент
! Рецензент
-
! Доклады
 
-
! Буквы
 
-
! <tex>\Sigma</tex>
 
!
!
|-
|-
-
|[[Участник:Goncharovalex|Гончаров Алексей (пример)]]
+
|[[Участник:Ninavishn|Вишнякова Нина]]
-
|Метрическая классификация временных рядов
+
|Optimal Approximation of Non-linear Power Flow Problem
-
|[http://svn.code.sf.net/p/mlalgorithms/code/Group274/Goncharov2015MetricClassification/code code],
+
|[https://docs.google.com/document/d/1TvMgA1ytOMrCm1Fx35UsrnMSASvECnr249x0Nvy7TaY/edit LinkReview] [https://github.com/Intelligent-Systems-Phystech/2019-Project-41/raw/master/report/Optimal_Approximation_of_Non_linear_Power_Flow_Problem.pdf paper] [https://github.com/Intelligent-Systems-Phystech/2019-Project-41 code] [https://github.com/Intelligent-Systems-Phystech/2019-Project-41/raw/master/report/Vishnyakova_nina_2019_41_Talk.pdf presentation] [https://youtu.be/QINA00S1_Bo video]
-
[http://svn.code.sf.net/p/mlalgorithms/code/Group274/Goncharov2015MetricClassification/doc/Goncharov2015MetricClassification.pdf paper],
+
|[[Участник:Yury.maximov|Yury Maximov]]
-
[http://svn.code.sf.net/p/mlalgorithms/code/Group274/Goncharov2015MetricClassification/doc/GoncharovAlexey2015PresentationMetricClassification.pdf slides]
+
|рецензент [[Участник:Loginov-ra|Логинов Роман]]
-
|[[Участник:Mpopova|Мария Попова]]
+
[https://github.com/Intelligent-Systems-Phystech/2019-Project-41/raw/master/report/Vishnyakova2019Project41_Review.pdf review]
-
|Задаянчук Андрей
+
-
|BMF
+
-
|AILSBRCVTDSWH>
+
|
|
 +
|-
 +
|[[Участник:Polinakud|Кудрявцева Полина]]
 +
|Прогнозирование намерений. Построение оптимальной модели декодирования сигналов при моделировании нейрокомпьютерного интерфейса.
 +
|[https://github.com/Intelligent-Systems-Phystech/2019-Project-18/tree/master/code code]
 +
[https://docs.google.com/document/d/1sRFisJeQ7QVNtlIh7k1CX47bAk7peuneiPZRxHeFigM/edit?usp=sharing LinkReview]
 +
[https://github.com/Intelligent-Systems-Phystech/2019-Project-18/raw/master/doc/Kudryavtseva2019Project18.pdf paper] [https://www.youtube.com/watch?v=wo-nJU3uG1I video]
 +
[https://github.com/Intelligent-Systems-Phystech/2019-Project-18/raw/master/doc/Kudryavtseva2019Slides.pdf presentation]
 +
|[[Участник:Isachenkoroma|Роман Исаченко]]
 +
|Нечепуренко Иван
 +
[https://docs.google.com/document/d/1i6WuDNEozojFYMkJHu5DcaItE5qrsr_Tt3ubBE298DQ/edit review]
 +
|
 +
|-
 +
|[[Участник:Loginov-ra|Логинов Роман]]
 +
|Мультимоделирование как универсальный способ описания выборки общего вида
 +
|[https://github.com/Intelligent-Systems-Phystech/2019-Project-28/tree/master/code code]
 +
[https://docs.google.com/document/d/1cCEttJpkGTtB10QieS2TWHI0COv_BUKgCckd4refcFE/edit LinkReview]
 +
[https://github.com/Intelligent-Systems-Phystech/2019-Project-28/raw/master/Loginov2019MultimodellingAdaptive/Loginov2019MultimodellingAdaptive.pdf paper]
 +
[https://hangouts.google.com/group/rRyggcQjYKF81nrE2 ChatInvite]
 +
[https://github.com/Intelligent-Systems-Phystech/2019-Project-28/raw/master/report/Loginov2019MultimodellingTime.pdf presentation]
 +
[https://www.youtube.com/watch?v=GCl7VSAz-Xg video]
 +
|[[Участник:Aduenko|Адуенко А. А.]]
 +
|Макаров Михаил [http://www.machinelearning.ru/wiki/images/9/92/Loginov2019Project28_Review.rtf review]
 +
|
 +
|-
 +
|[[Участник:Makarov.mv|Михаил Макаров]]
 +
|Определение местоположения по сигналам акселерометра
 +
|[https://github.com/Intelligent-Systems-Phystech/2018-Project-26/tree/master/code code]
 +
[https://docs.google.com/document/d/1er3SgPu9bBBWkLk1yVev-9Ue42BOPapOkLn6sL0GAGA/edit LinkReview]
 +
[https://github.com/Intelligent-Systems-Phystech/2018-Project-26/raw/master/Makarov2019Project26/Makarov2019Project26.pdf paper]
 +
[https://github.com/Intelligent-Systems-Phystech/2018-Project-26/raw/master/pres/Project26presentation.pdf презентация]
 +
[https://www.youtube.com/watch?v=OEe9xmoNUNQ video]
 +
|[[Участник:Anastasiya|Анастасия Мотренко]]
 +
|Черепков Антон: [https://github.com/Intelligent-Systems-Phystech/2018-Project-26/raw/master/Makarov2019Project26/Makarov2019_review.pdf review]
 +
|
 +
|-
 +
|[[Участник:Alex-kozinov|Козинов Алексей]]
 +
|Задача поиска символов в изображениях
 +
|[https://docs.google.com/document/d/1P_osIW236MTBPe_aMJUI-EEHgUhheQR9bqlKCN97e8M/edit?usp=sharing LinkReview]
 +
[https://github.com/Intelligent-Systems-Phystech/2019-Project-45/raw/master/Kozinov2019Project45/Kozinov2019Project45.pdf paper]
 +
[https://github.com/Intelligent-Systems-Phystech/2019-Project-45/tree/master/code code]
 +
| М. Апишев,
 +
Д. Лемтюжникова
 +
|Грачёва Анастасия [https://github.com/Intelligent-Systems-Phystech/2019-Project-15/raw/master/review.pdf (рецензия)]
|
|
|-
|-
-
|[[Участник:login|Фамилия Имя]]
+
|[[Участник:Buchnev.valentin|Бучнев Валентин]]
-
|название
+
|Раннее прогнозирование достаточного объема выборки для обобщенной линейной модели.
-
|ссылки
+
|[https://docs.google.com/document/d/1-xpsWSbI-hlX8PQXdVZ5gMOQC03LH0oM8u4dpTDMSKs/edit?usp=sharing LinkReview]
-
|консультант
+
[https://github.com/Intelligent-Systems-Phystech/2019-Project-44/raw/master/Buchnev2019Project44/Buchnev2019Project44.pdf paper]
 +
[https://github.com/Intelligent-Systems-Phystech/2019-Project-44/ code] [https://github.com/Intelligent-Systems-Phystech/2019-Project-44/raw/master/report/Buchnev2019Project44presentation.pdf presentation]
 +
[https://www.youtube.com/watch?v=0SJL6Xx5VnU video]
 +
|[[Участник:Andriygav|Грабовой А. В.]]
|рецензент
|рецензент
-
|доклад
+
|
-
|буквы
+
|-
-
|оценка
+
|[[Участник: Ivan.nechepurenco|Нечепуренко Иван]]
-
|
+
|Мультимоделирование, привилегированное обучение
 +
|[https://github.com/Intelligent-Systems-Phystech/2019-Project-48/tree/master/code code],
 +
[https://github.com/Intelligent-Systems-Phystech/2019-Project-48/raw/master/Nechepurenco2019Project48/Nechepurenco2019Project48.pdf paper],
 +
[https://docs.google.com/document/d/1DJNwFfFXCipPictxTUWd8dBfj_Zv6zrfp86L5p_cfTI/edit?usp=sharing LinkReview]
 +
[https://github.com/Intelligent-Systems-Phystech/2019-Project-48/raw/master/slides/Nechepurenco2019.pdf презентация]
 +
|[[Участник:Neychev|Р. Г. Нейчев]]
 +
|Кудрявцева Полина
 +
|
 +
|-
 +
|[[Участник: Gracheva.as|Грачева Анастасия]]
 +
|Оценка энергии связывания белка и маленьких молекул
 +
|[https://github.com/Intelligent-Systems-Phystech/2019-Project-15 code]
 +
[https://github.com/Intelligent-Systems-Phystech/2019-Project-15/raw/master/Gracheva2019Project15/Gracheva2019Title.pdf paper]
 +
[https://docs.google.com/document/d/1INJAFAXNjEyvqDME6KiGiCnRJ6qQ9b_3dM_fzePgU7U/edit LinkReview]
 +
[https://github.com/Intelligent-Systems-Phystech/2019-Project-15/raw/master/presentations/Gracheva_presentation.pdf presentation]
 +
[https://www.youtube.com/watch?v=smj4XwMnE-4 video]
 +
|Сергей Грудинин,
 +
Мария Кадукова
 +
|рецензент
 +
|
 +
|-
 +
|[[Участник: Anthonycherepkov|Черепков Антон]]
 +
|Привилегированное обучение в задаче аппроксимации границ радужки глаза
 +
|[https://github.com/Intelligent-Systems-Phystech/2019-Project-7/raw/master/report/Cherepkov_2019_Iris_circle_problem.pdf paper], [https://github.com/Intelligent-Systems-Phystech/2019-Project-7/raw/master/slides/Cherepkov_2019_Iris_circle_problem.pdf slides], [https://github.com/Intelligent-Systems-Phystech/2019-Project-7/tree/master/code code], [https://docs.google.com/document/d/140k6Qrf63iOHUqHcG9IO8cCa1PXEypY5zgboQ3S0LoU/edit?usp=sharing LinkReview]
 +
[https://www.youtube.com/watch?v=cI3x-vjOAIo video]
 +
|[[Участник:Neychev|Р. Г. Нейчев]]
 +
|[[Участник: Mlepekhin|Лепехин Михаил]]
 +
[https://github.com/Intelligent-Systems-Phystech/2019-Project-7/raw/master/review/Cherepkov2019_review.pdf preliminary review]
 +
|
 +
|-
 +
|[[Участник: Mlepekhin|Лепехин Михаил]]
 +
|Создание ранжирующих моделей для систем информационного поиска. Алгоритм прогнозирования структуры локально-оптимальных моделей
 +
|[https://github.com/Intelligent-Systems-Phystech/2019-Project-27/blob/master/code code]
 +
[https://docs.google.com/document/d/1oVnIwD6T1VEegE1Pieo8-b5JyBPbIzrh0Cdk3V-BlO4/edit?usp=sharing LinkReview]
 +
[https://github.com/Intelligent-Systems-Phystech/2019-Project-27/raw/master/Lepekhin2019Project27/Lepekhin2019Project27.pdf paper]
 +
[https://github.com/Intelligent-Systems-Phystech/2019-Project-27/raw/master/slides/report.pdf presentation]
 +
[https://www.youtube.com/watch?v=AL6Q7u3daPw video]
 +
|Андрей Кулунчаков
 +
|[[Участник:Ninavishn|Вишнякова Нина]], [https://github.com/Intelligent-Systems-Phystech/2019-Project-41/raw/master/report/Рецензия%20на%20статью%20Лепехина%20Михаила.pdf рецензия]
 +
|
 +
|-
 +
|[[Участник: Gridasovii|Гридасов Илья]]
 +
|Автоматическое построение нейросети оптимальной сложности
 +
|[https://docs.google.com/document/d/1RcUfc9dKu-hO9r9sqS9hXUu7QofHeDfvHTuJqM8BgU4/edit?usp=sharing LinkReview]
 +
[https://github.com/Intelligent-Systems-Phystech/2019-Project-11/raw/master/Gridasov2019Project11/paper/Gridasov2019Project11.pdf paper]
 +
[https://github.com/Intelligent-Systems-Phystech/2019-Project-11/raw/master/Gridasov2019Project11/presentation/Gridasov2019Project11Presentation.pdf Presentation]
 +
[https://github.com/Intelligent-Systems-Phystech/2019-Project-11/tree/master/Gridasov2019Project11/code code]
 +
|О. Ю. Бахтеев, В. В. Стрижов
 +
|[[Участник:Buchnev.valentin|Бучнев Валентин]]
 +
|
 +
|-
 +
|[[Участник: Telenkov-Dmitry|Теленков Дмитрий]]
 +
|Декодирование сигналов мозга и прогнозирование намерений
 +
|[https://docs.google.com/document/d/1pTzCafRueWf1hTYCY2uwatNEAFia_nbZSlsgYGYoWnY LinkReview]
 +
[https://github.com/Intelligent-Systems-Phystech/2019-Project-49 git]
 +
[https://github.com/Intelligent-Systems-Phystech/2019-Project-49/raw/master/Telenkov2019Article49/Telenkov2019Article49.pdf The paper]
 +
[https://github.com/Intelligent-Systems-Phystech/2019-Project-49/raw/master/report/Presentation.pdf Presentation]
 +
[https://github.com/Intelligent-Systems-Phystech/2019-Project-49/blob/master/report/Experiment.ipynb code]
 +
|Андрей Задаянчук
 +
|рецензент
 +
|
|-
|-
|}
|}
Строка 83: Строка 176:
|Организация работы, расписание, инструменты.
|Организация работы, расписание, инструменты.
|Инструменты подготовлены к работе.
|Инструменты подготовлены к работе.
-
|
+
| ([https://goo.gl/forms/vdAbKHJRmsNMpPz03 Анкета])
|-
|-
|
|
Строка 90: Строка 183:
|ДЗ-1. Выбор задачи
|ДЗ-1. Выбор задачи
|Тема в ML и ссылка на работу в SF помещена напротив фамилии.
|Тема в ML и ссылка на работу в SF помещена напротив фамилии.
-
|
+
| ([https://goo.gl/forms/hHOPBy8fREymch6z1 Анкета])
|-
|-
|
|
Строка 96: Строка 189:
|3
|3
|Составить список публикаций по выбранной задаче, найти данные. Написать аннотацию и введение с обзором собранной литературы.
|Составить список публикаций по выбранной задаче, найти данные. Написать аннотацию и введение с обзором собранной литературы.
-
|Аннотация (600 знаков), введение (1-2 страницы), список литературы в bib-файле.
+
|Аннотация (600 знаков), введение (1 страница), список литературы в bib-файле. Подготовить доклад 45 сек.
-
|'''A'''bstract, '''I'''ntroduction, '''L'''iterature
+
|'''A'''bstract, '''I'''ntroduction, '''L'''iterature, '''B*'''-talk ([https://goo.gl/forms/nPosqP4HQ154Wjf02 Анкета])
|-
|-
|Март
|Март
Строка 103: Строка 196:
|4
|4
|Поставить задачу и сделать описание базового алгоритма, подготовить базовый вычислительный эксперимент.
|Поставить задачу и сделать описание базового алгоритма, подготовить базовый вычислительный эксперимент.
-
|Постановка задачи (0.5-1 страница), описание базового алгоритма. Подготовить доклад 45 сек.
+
|Постановка задачи (0.5-1 страница), описание базового алгоритма.
-
|'''B'''-talk, '''S'''tatement
+
|'''S'''tatement ([https://goo.gl/forms/c7SEQfQicmdoEEyF2 Анкета])
|-
|-
|
|
Строка 117: Строка 210:
|6
|6
|Поставить вычислительный эксперимент на основе предлагаемого алгоритма с учетом предыдущих результатов.
|Поставить вычислительный эксперимент на основе предлагаемого алгоритма с учетом предыдущих результатов.
-
|Код, визуализация полученных результатов, анализ ошибки, анализ качества.
+
|Код, визуализация полученных результатов, анализ ошибки, анализ качества. Подготовить промежуточный доклад со слайдами, 2-3 минуты.
-
|'''C'''ode, '''V'''isualization
+
|'''M'''-talk, '''C'''ode, '''V'''isualization
|-
|-
|
|
Строка 124: Строка 217:
|7
|7
|Описать алгоритм.
|Описать алгоритм.
-
|Теоретическая и алгоритмическая часть статьи (второй / третий раздел). Подготовить промежуточный доклад со слайдами, 2-3 минуты.
+
|Теоретическая и алгоритмическая часть статьи (второй / третий раздел).
-
|'''M'''-talk, '''T'''heory
+
|'''T'''heory
|-
|-
|Апрель
|Апрель
Строка 255: Строка 348:
===Задача 44 ===
===Задача 44 ===
 +
*'''Название''': Ранее прогнозирование достаточного объема выборки для обобщенно линейной модели.
 +
*'''Задача''': Исследуется проблема планирования эксперимента. Решается задача оценивания достаточного объема выборки по данным. Предполагается, что выборка является простой. Она описывается адекватной моделью. Иначе, выборка порождается фиксированной вероятностной моделью из известного класса моделей. Объем выборки считается достаточным, если модель восстанавливается с достаточной достоверностью. Требуется, зная модель, оценить достаточный объем выборки на ранних этапах сбора данных.
 +
*'''Данные''': Для вычислительного эксперимента предлагается использовать классические выборки из UCI репозитория. Ссылка на выборки https://github.com/ttgadaev/SampleSize/tree/master/datasets
 +
*'''Литература''':
 +
*# [Обзор методов для оценки объема выборки]
 +
*# http://svn.code.sf.net/p/mlalgorithms/code/PhDThesis/..
 +
*# Метод бутстреп. https://projecteuclid.org/download/pdf_1/euclid.aos/1..
 +
Bishop, C. 2006. Pattern Recognition and Machine Learning. Berlin: Springer. 758 p.
 +
*'''Базовый алгоритм''': Будем говорить, что объем выборки достаточный, если логарифм правдоподобия имеет малую дисперсию, на подборке размера m, посчитанную при помощи бутстрепа.
 +
Пытаемся аппроксимировать зависимость среднего значения log-likelihood и его дисперсии от размера выборки.
 +
*'''Решение''': Методы описанные в обзоре являются асимптотическими или же требуют заведомо большого размера выборки. Новый метод должен заключаться в том, чтобы прогнозировать объем на начальных этапах планирования эксперимента, то есть когда данных мало.
 +
*'''Авторы''': Грабовой А. В. (консультант), Гадаев Т. Т Стрижов В. В. (эксперты)
 +
* Примечание: для определения простоты выборки предлагается новое определение сложности ([http://www.machinelearning.ru/wiki/images/3/37/Ivanychev18BachelorThesis_%28merged%29.pdf Сергей Иванычев]). Это отдельная работа, +1 задача 44a (? Катруца).
-
'''Название''': Ранее прогнозирование достаточного объема выборки для обобщенно линейной модели.
+
===Задача 15 ===
 +
* '''Название''': Формулировка и решение задачи оптимизации, сочетающей классификацию и регрессию, для оценки энергии связывания белка и маленьких молекул. Описание задачи [https://www.overleaf.com/read/rjdnyyxpdkyj]
 +
* '''Задача''': С точки зрения биоинформатики, задача заключается в оценке свободной энергии связывания белка с маленькой молекулой (лигандом): наилучший лиганд в своем наилучшем положении имеет ''наименьшую свободную энергию'' взаимодействия с белком. (Далее большой текст, см. файл по ссылке вверху.)
 +
* '''Данные''':
 +
** Данные для бинарной классификации. Около 12,000 комплексов белков с лигандами: для каждого из них есть 1 нативная поза и 18 ненативных. Основными дескрипторами являются гистограммы распределений расстояний между различными атомами белка и лиганда, размерность вектора дескрипторов ~ 20,000. В случае продолжения исследования и публикации в профильном журнале набор дескрипторов может быть расширен. Данные будут предоставлены в виде бинарных файлов со скриптом на python для чтения.
 +
** Данные для регрессии. Для каждого из представленных комплексов известно значение величины, которую можно интерпретировать как энергию связывания.
 +
* '''Литература''':
 +
** SVM [http://cs229.stanford.edu/notes/cs229-notes3.pdf]
 +
** Ridge Regression [http://scikit-learn.org/stable/modules/linear_model.html#ridge-regression]
 +
** [https://alex.smola.org/papers/2003/SmoSch03b.pdf] (секция 1)
 +
* '''Базовый алгоритм''': [https://hal.inria.fr/hal-01591154/] В задаче классификации мы использовали алгоритм, похожий на линейный SVM, связь которого с оценкой энергии, выходящей за рамки задачи классификации, описана в указанной выше статье. В задаче регрессии можно использовать различные функции потерь.
 +
* '''Решение''': Необходимо связать использованную ранее оптимизационную задачу с задачей регрессии и решить стандартными методами. Для проверки работы алгоритма будет использована кросс-валидация. Есть отдельный тестовый сет, состоящий из (1) 195 комплексов белков и лигандов, для которых нужно найти наилучшую позу лиганда (алгоритм получения положений лиганда отличается от используемого при обучении), (2) комплексов белков и лигандов, для нативных поз которых нужно предсказать энергию связывания, и (3) 65 белков, для которых нужно найти наиболее сильно связывающийся лиганд.
 +
* '''Новизна''': В первую очередь, интерес представляет ''объединение задач классификации и регрессии. Правильная оценка качества связывания белка и лиганда используется при разработке лекарства для поиска молекул, наиболее сильно взаимодействующих с исследуемым белком. Использование описанной выше задачи классификации для предсказания энергии связывания приводит к недостаточно высокой корреляции предсказаний с экспериментальными значениями, в то время как использование одной лишь задачи регрессии приводит к переобучению.
 +
* '''Авторы''' Сергей Грудинин, Мария Кадукова
-
'''Задача''': Исследуется проблема планирования эксперимента. Решается задача оценивания достаточного объема выборки по данным. Предполагается, что выборка является простой. Она описывается адекватной моделью. Иначе, выборка порождается фиксированной вероятностной моделью из известного класса моделей. Объем выборки считается достаточным, если модель восстанавливается с достаточной достоверностью. Требуется, зная модель, оценить достаточный объем выборки на ранних этапах сбора данных.
+
=== Задача 27 ===
 +
* '''Название''': Создание ранжирующих моделей для систем информационного поиска. Алгоритм прогнозирования структуры локально-оптимальных моделей
 +
* '''Задача''': Требуется спрогнозировать временной ряд с помощью некоторой параметрической суперпозицией алгебраических функций. Предлагается не стоить прогностическую модель, а спрогнозировать ее, то есть предсказать структуру аппроксимирующей суперпозиции. Вводится класс рассматриваемых суперпозиций, и на множестве таких структурных описаний проводится поиск локально-оптимальной модели для рассматриваемой задачи. Задача состоит в 1) поиске подходящего структурного описания модели 2) описания алгоритма поиска той структуры, которая будет соответствовать оптимальной модели 3) описания алгоритма обратного построения модели по ее структурному описанию. В качестве уже имеющегося примера ответа на вопросы 1-3, смотри работы А. А. Варфоломеевой.
 +
* '''Данные''':
 +
** Коллекция текстовых документов TREC (!)
 +
** Набор временных рядов, который подразумевает восстановление функциональных зависимостей. Предлагается сначала использовать синтетические данные или сразу применить алгоритм к прогнозированию временных рядов 1) потребления электроэнергии 2) физической активности с последующим анализом получающихся структур.
 +
* '''Литература''':
 +
*# (!) Kulunchakov A.S., Strijov V.V. Generation of simple structured Information Retrieval functions by genetic algorithm without stagnation // [http://strijov.com/papers/Kulunchakov2014RankingBySimpleFun.pdf Expert Systems with Applications, 2017, 85 : 221—230.]
 +
*# А. А. Варфоломеева Выбор признаков при разметке библиографических списков методами структурного обучения, 2013, [http://www.machinelearning.ru/wiki/images/f/f2/Varfolomeeva2013Diploma.pdf?format=raw]
 +
*# Bin Cao, Ying Li and Jianwei Yin Measuring Similarity between Graphs Based on the Levenshtein Distance, 2012, [http://naturalspublishing.com/files/published/92cn7jm44d8wt1.pdf?format=raw]
 +
* '''Базовой алгоритм''': Описан в [1]. Развит в работе команды группы 974. Предлагается использовать их код и эксперимент.
 +
* '''Решение''': Предлагается попробовать повторить эксперимент А. А. Варфоломеевой для другого структурного описания, чтобы понять, что происходит. Суперпозиция алгебраических функций задает ордерево, на вершинах которого заданы метки соответствующих алгебраических функций или переменных. Поэтому структурным описанием такой суперпозиции может являться ее DFS-code. Это строка, состоящая из меток вершин, записанных в порядке обхода дерева поиском в глубину. Зная арности соответствующих алгебраических функций, можем любой такой DFS-code восстановить за O(n) и получить обратно суперпозицию функций. На множестве подобных строковых описаний предлагается искать то строковое описание, которое будет соответствовать оптимальной модели.
 +
* '''Авторы''': консультант [https://www.inria.fr/centre/grenoble Андрей Кулунчаков (Inria Montbonnot)], эксперт В. В. Стрижов
-
'''Данные''': Для вычислительного эксперимента предлагается использовать классические выборки из UCI репозитория. Ссылка на выборки https://github.com/ttgadaev/SampleSize/tree/master/da..
+
=== Задача 26 ===
 +
* '''Название''': Определение местоположения по сигналам акселерометра
 +
* '''Задача''': Даны исходные координаты, сигналы акселерометра, дополнительная информация (сигналы гироскопа, магнетометра). Возможно, дана неточная карта (задача [https://en.wikipedia.org/wiki/Simultaneous_localization_and_mapping SLAM])
 +
* '''Данные''': из работы [1], данные, собранные самостоятельно.
 +
* '''Литература''':
 +
*# https://arxiv.org/pdf/1712.09004.pdf
 +
*# https://ieeexplore.ieee.org/document/1528431
 +
* '''Базовый алгоритм''': из работы [1].
 +
* '''Решение''': Поиск априорной и дополнительной информации, которая позволяет повысить точность позиционирования.
 +
* '''Новизна''': Постановка задачи в терминах Projection to Latent Spaces
 +
* '''Авторы''': консультант [http://www.forecsys.ru/ru/site/projects/solut2/ Анастасия Мотренко], эксперт [https://www.huawei.com/en/ Илья Гарцеев], В. В. Стрижов
-
'''Литература''':
+
=== Задача 45 ===
-
Обзор методов для оценки объема выборки. http://svn.code.sf.net/p/mlalgorithms/code/Group574/G..
+
* Название: Задача поиска символов в изображениях
-
http://svn.code.sf.net/p/mlalgorithms/code/PhDThesis/..
+
* Задача: Данная задача в одном из вариантов постановки может быть сведена к двум последовательным операциям: 1) поиск объектов на изображении и определение их класса 2) поиск в базе данных информации о символическом смысле найденных объектов. Основная сложность решения задачи заключена в поиске объектов на изображении. Однако следующая классификация также может быть затруднительной в связи с тем, что изображение объекта может быть неполным, необычно стилизованным и т.п.
-
Метод бутстреп. https://projecteuclid.org/download/pdf_1/euclid.aos/1..
+
* Данные: Словарь символов
 Сайты-музеи
 Image-net

-
Bishop, C. 2006. Pattern Recognition and Machine Learning. Berlin: Springer. 758 p.
+
* Литература:
 +
*# http://www.machinelearning.ru/wiki/images/e/e2/IDP18.pdf (с. 116)
 +
*# http://www.image-net.org
 +
* Базовый алгоритм: CNN
 +
* Решение: Предлагается сравнить работы нескольких state-of-the-art алгоритмов. Предложить метрику качества поиска и классификации объектов. Определить применимость методов.
 +
* Новизна: Предлагаемый подход к анализу изображений используется экспертами в ручном режиме и не был автоматизирован
 +
* Авторы: М. Апишев (консультант), Д. Лемтюжникова
-
'''Базовый алгоритм''':
+
=== Задача 28 ===
-
Будем говорить, что объем выборки достаточный, если логарифм правдоподобия имеет малую дисперсию, на подборке размера m, посчитанную при помощи бутстрепа.
+
* Название: Мультимоделирование как универсальный способ описания выборки общего вида
-
Пытаемся аппроксимировать зависимость среднего значения log-likelihood и его дисперсии от размера выборки.
+
* Задача: Построить метод инкрементального уточнения структуры мультимодели при появлении новых объектов. Разработка и сравнение разных алгоритмов обновления структуры мультимоделей. Построение оптимальной схемы уточнения структуры мультимодели в зависимости от полного размера выборки.
 +
* Данные: На начальном этапе работы используются синтетические данные с известной статистической структурой. Тестирование разработанных методов производится на реальных данных из репозитория UCI.
 +
* Литература:
 +
# Bishop, Christopher M. «Pattern recognition and machine learning». Springer, New York (2006).
 +
# Gelman, Andrew, et al. Bayesian data analysis, 3rd edition. Chapman and Hall/CRC, 2013.
 +
# MacKay, David JC. «The evidence framework applied to classification networks.» Neural computation 4.5 (1992): 720—736.
 +
# Адуенко А. А. «Выбор мультимоделей в задачах классификации» кандидатская диссертация
 +
# Motrenko, Anastasiya, Vadim Strijov, and Gerhard-Wilhelm Weber. «Sample size determination for logistic regression.» Journal of Computational and Applied Mathematics 255 (2014): 743—752.
 +
* Базовой алгоритм: Алгоритм построения адекватных мультимоделей из #4.
 +
* Решение: Байесовский подход к задаче выбора моделей на основании обоснованности. Анализ свойств обоснованности и ее связи со статистической значимостью.
 +
* Новизна: Предлагается метод построения оптимальной схемы обновления структуры мультимодели при появлении новых объектов. Исследована связь обоснованности и статистической значимости для некоторых классов моделей.
 +
* Авторы: Стрижов Вадим Викторович, Адуенко Александр Александрович (GMT-5)
 +
 
 +
=== Задача 11 ===
 +
* '''Название''': Автоматическое построение нейросети оптимальной сложности
 +
* '''Задача''': Рассматривается задача нахождения устойчивой (и не избыточной по параметрам) структуры нейросети. Нейросеть рассматривается как вычислительный граф, ребрами которого выступают примитивные функции, а вершинами --- промежуточные представления выборки, полученные под действием этих функций. Требуется выбрать подграф модели, при котором итоговая нейросеть будет давать приемлемое качество классификации при небольшом количестве параметров.
 +
* '''Данные:''' Выборки Boston, MNIST, CIFAR-10
 +
* '''Литература''':
 +
*# [http://strijov.com/papers/BakhteevEvidenceArticle3.pdf Бахтеев О.Ю., Стрижов В.В. Выбор моделей глубокого обучения субоптимальной сложности с использованием вариационной оценки правдоподобия // Автоматика и телемеханика, 2018.]
 +
*# [http://strijov.com/papers/SmerdovBakhteevStrijov_Paraphrase2017.pdf Смердов А.Н., Бахтеев О.Ю., Стрижов В.В. Выбор оптимальной модели рекуррентной сети в задачах поиска парафраза // Информатика и ее применения, 2018.]
 +
*# [https://papers.nips.cc/paper/4329-practical-variational-inference-for-neural-networks] Вариационный вывод.
 +
*# [https://arxiv.org/abs/1611.00712] Релаксация на основе вариационного вывода.
 +
*# [https://arxiv.org/abs/1806.09055] DARTS.
 +
* '''Базовый алгоритм:''' случайный поиск и алгоритм DARTS (выбор модели с использованием релаксации без вариационного вывода).
 +
* '''Решение'''Предлагается выбирать структуру нейросети на основе вариационного вывода. Для выбора оптимальной структуры используется релаксация: от строго выбора одной из нескольких рассматриваемых подмоделей нейросети предлагается перейти к композиции этих моделей с различным весом каждой из них.
 +
* '''Новизна''': Предложен метод автоматического построения модели, учитывающий неточности при оптимизации параметров модели и позволяющий находить наиболее устойчивые модели.
 +
* '''Авторы''': О.Ю. Бахтеев, В.В. Стрижов
 +
 
 +
=== Задача 48 ===
 +
* '''Название''': Мультимоделирование, привилегированное обучение
 +
* '''Задача''': Рассматривается задача обучения одной модели с помощью другой
 +
* '''Данные:''' Выборки временных рядов
 +
* '''Литература''':
 +
*# https://github.com/neychev/distillation_n_privileged_info_torch
 +
*# https://github.com/neychev/Multitask_forecast_code
 +
*# Статья по Mixture Experts
 +
*# Диплом Нейчева http://www.machinelearning.ru/wiki/images/3/36/NeyhevMS_Thesis.pdf
 +
* '''Базовый алгоритм:''' Смесь экспертов, привилегоированное обучение, дистилляция
 +
* '''Решение''' Выполнить эксперимент, иллюстрирующий эти подходы
 +
* '''Новизна''': Предложен метод прогнозирования, использующий апроорную информацию о принадлежности выборки модели (опубликовать полученные результаты).
 +
* '''Авторы''': Р.Г. Нейчев (консультант), В.В. Стрижов
-
‘''Решение''': Методы описанные в обзоре являются асимптотическими или же требуют заведомо большого размера выборки. Новый метод должен заключаться в том, чтобы прогнозировать объем на начальных этапах планирования эксперимента, то есть когда данных мало.
 
-
‘’'Авторы''': Грабовой А. В. (консультант) Стрижов В. В., Гадаев Т. Т (эксперты)
+
=== Задача 49 ===
 +
* Название: Декодирование сигналов мозга и прогнозирование намерений
 +
* Задача: Требуется построить модель, восстанавливающую движение конечностей по кортикограмме.
 +
* Данные: neurotycho.org [9] (или пальцы)
 +
* Литература:
 +
** Нейчев Р.Г., Катруца А.М., Стрижов В.В. Выбор оптимального набора признаков из мультикоррелирующего множества в задаче прогнозирования // Заводская лаборатория. Диагностика материалов, 2016, 82(3) : 68-74. [10]
 +
** Isachenko R.V., Strijov V.V. Quadratic Programming Optimization with Feature Selection for Non-linear Models // Lobachevskii Journal of Mathematics, 2018, 39(9) : 1179-1187. Article
 +
* Базовый алгоритм: Partial Least Squares[11]
 +
* Решение: Создать алгоритм выбора признаков, альтернативный PLS и учитывающий неортогональную структуру взаимозависимости признаков.
 +
* Новизна: Предложен способ выбора признаков, учитывающий закономерности как и независимой, так и в зависимой переменной. Бонус: исследовать изменения структуры модели при изменении характера выборки.
 +
* Авторы: Андрей Задаянчук, В.В. Стрижов

Текущая версия

Видео докладов по курсу на канале Machine Learning на Youtube



Моя первая научная публикация

Участвуют эксперты, индивидуальные консультанты и студенты кафедры Интеллектуальные системы ФУПМ МФТИ.

Роли

Студент третьего курса очень хочет научиться ставить задачи формально, находить нужную литературу, порождать новые и актуальные идеи и решения задач.

Консультант помогает студенту в пользовании инструментами, отвечает на вопросы по специальности, консультирует выполнение работ, оперативно реагирует на проблемы, проверяет (в среду) результаты, ставит оценки. Предполагается, что консультант сам пишет работу-спутник по этой теме. В конце работы могут быть объединены или выполнены и опубликованы параллельно. По возможности, рекомендуется организовать правки текста студента с целью улучшить стиль изложения таким образом, чтобы студент вносил правки самостоятельно. Возможно, при очной встрече или по скайпу.

Эксперт: поставщик задачи, владелец данных, либо тот, кто гарантирует новизну и актуальность работы.

Результаты

Автор Тема научной работы Ссылки Консультант Рецензент
Вишнякова Нина Optimal Approximation of Non-linear Power Flow Problem LinkReview paper code presentation video Yury Maximov рецензент Логинов Роман

review

Кудрявцева Полина Прогнозирование намерений. Построение оптимальной модели декодирования сигналов при моделировании нейрокомпьютерного интерфейса. code

LinkReview paper video presentation

Роман Исаченко Нечепуренко Иван

review

Логинов Роман Мультимоделирование как универсальный способ описания выборки общего вида code

LinkReview paper ChatInvite presentation video

Адуенко А. А. Макаров Михаил review
Михаил Макаров Определение местоположения по сигналам акселерометра code

LinkReview paper презентация video

Анастасия Мотренко Черепков Антон: review
Козинов Алексей Задача поиска символов в изображениях LinkReview

paper code

М. Апишев,

Д. Лемтюжникова

Грачёва Анастасия (рецензия)
Бучнев Валентин Раннее прогнозирование достаточного объема выборки для обобщенной линейной модели. LinkReview

paper code presentation video

Грабовой А. В. рецензент
Нечепуренко Иван Мультимоделирование, привилегированное обучение code,

paper, LinkReview презентация

Р. Г. Нейчев Кудрявцева Полина
Грачева Анастасия Оценка энергии связывания белка и маленьких молекул code

paper LinkReview presentation video

Сергей Грудинин,

Мария Кадукова

рецензент
Черепков Антон Привилегированное обучение в задаче аппроксимации границ радужки глаза paper, slides, code, LinkReview

video

Р. Г. Нейчев Лепехин Михаил

preliminary review

Лепехин Михаил Создание ранжирующих моделей для систем информационного поиска. Алгоритм прогнозирования структуры локально-оптимальных моделей code

LinkReview paper presentation video

Андрей Кулунчаков Вишнякова Нина, рецензия
Гридасов Илья Автоматическое построение нейросети оптимальной сложности LinkReview

paper Presentation code

О. Ю. Бахтеев, В. В. Стрижов Бучнев Валентин
Теленков Дмитрий Декодирование сигналов мозга и прогнозирование намерений LinkReview

git The paper Presentation code

Андрей Задаянчук рецензент

Расписание

Дата N Что делаем Результат для обсуждения Буква
Февраль 14 1 Организация работы, расписание, инструменты. Инструменты подготовлены к работе. (Анкета)
21 2 ДЗ-1. Выбор задачи Тема в ML и ссылка на работу в SF помещена напротив фамилии. (Анкета)
28 3 Составить список публикаций по выбранной задаче, найти данные. Написать аннотацию и введение с обзором собранной литературы. Аннотация (600 знаков), введение (1 страница), список литературы в bib-файле. Подготовить доклад 45 сек. Abstract, Introduction, Literature, B*-talk (Анкета)
Март 7 4 Поставить задачу и сделать описание базового алгоритма, подготовить базовый вычислительный эксперимент. Постановка задачи (0.5-1 страница), описание базового алгоритма. Statement (Анкета)
14 5 Поставить базовый вычислительный эксперимент. Провести первичный анализ работы алгоритма. Показ статьи. Базовый код, отчет о работе базового алгоритма (кратко). Basic code, Report, cHeck-1
21 6 Поставить вычислительный эксперимент на основе предлагаемого алгоритма с учетом предыдущих результатов. Код, визуализация полученных результатов, анализ ошибки, анализ качества. Подготовить промежуточный доклад со слайдами, 2-3 минуты. M-talk, Code, Visualization
28 7 Описать алгоритм. Теоретическая и алгоритмическая часть статьи (второй / третий раздел). Theory
Апрель 4 8 Завершение вычислительного эксперимента. Описание эксперимента с анализом ошибок. Error
11 9 Описание теоретической части и вычислительного эксперимента. Описание рисунков, выводы, заключение. Черновой вариант статьи с разделами «Вычислительный экперимент» и «Заключение». Document
18 10 Контрольная точка — показ статьи в целом, рецензия. Статья в варианте для рецензирования. сHeck-2, RevieW
25 11 Подготовка презентации. Доклады и обсуждение. Final show, Slides
Май 16 12 Доработка статьи. Статья подготовлена к подаче в журнал. Journal


Список проектов

Шаблон описания проекта — научной статьи

  • Название: Название, под которым статья подается в журнал.
  • Задача: Описание или постановка задачи. Желательна постановка в виде задачи оптимизации (в формате argmin). Также возможна ссылка на классическую постановку задачи.
  • Данные: Краткое описание данных, используемых в вычислительном эксперименте, и ссылка на выборку.
  • Литература: Список научных работ, дополненный 1) формулировкой решаемой задачи, 2) ссылками на новые результаты, 3) основной информацией об исследуемой проблеме.
  • Базовой алгоритм: Ссылка на алгоритм, с которым проводится сравнение или на ближайшую по теме работу.
  • Решение: Предлагаемое решение задачи и способы проведения исследования. Способы представления и визуализации данных и проведения анализа ошибок, анализа качества алгоритма.
  • Новизна: Обоснование новизны и значимости идей (для редколлегии и рецензентов журнала).
  • Авторы: эксперт, консультант.

Задача 18

  • Название: Прогнозирование намерений. Построение оптимальной модели декодирования сигналов при моделировании нейрокомпьютерного интерфейса.
  • Задача: Нейрокомпьютерный интерфейс (BCI) позволяет помочь людям с ограниченными возможностями вернуть их мобильность. По имеющемуся описанию сигнала прибора необходимо смоделировать поведение субъекта.
  • Данные: Наборы данных сигналов мозга ECoG/EEG.
  • Литература:
    • Motrenko A.P., Strijov V.V. Multi-way feature selection for ECoG-based brain-computer Interface // Expert systems with applications. - 2018.
  • Базовый алгоритм: Сравнение предлагается производить с алгоритмом частных наименьших квадратов (partial least squares).
  • Решение: В данной работе предлагается построить единую систему, решающую задачу декодирования сигналов. В качестве этапов построения такой системы предлагается решить задачи предобработки данных, выделения признакового пространства, снижения размерности и выбора модели оптимальной сложности. Предлагается использовать тензорный вариант PLS с отбором признаков.
  • Новизна: В постановке задачи учитывается комплексная природа сигнала: непрерывная траектория движения, наличие дискретных структурных переменных (пальцы или движение суставов), наличие непрерывных переменных (позиция пальца или конечности).
  • Авторы: В.В. Стрижов, Tetiana Aksenova, консультант – Роман Исаченко

Задача 41

  • Название: Optimal Approximation of Non-linear Power Flow Problem
  • Задача: Our goal is to approximate the solution of non-linear non-convex optimal power flow problem by solving a sequence of convex optimization problems (aka trust region approach). On this way we propose to compare various approaches for approximate solution of this problem with adaptive approximation of the power flow non-linearities with a sequence of quadratic and/or piece-wise linear functions
  • Данные: Matpower module from MATLAB contains all necessary test cases. Start considering with IEEE 57 bus case.
  • Литература:
    1. Molzahn, D. K., & Hiskens, I. A. (2019). A survey of relaxations and approximations of the power flow equations. Foundations and Trends in Electric Energy Systems, 4(1-2), 1-221. https://www.nowpublishers.com/article/DownloadSummary/EES-012
    2. The QC Relaxation: A Theoretical and Computational Study on Optimal Power Flow. Carleton Coffrin  ; Hassan L. Hijazi ; Pascal Van Hentenryck https://ieeexplore.ieee.org/abstract/document/7271127/
    3. Convex Relaxations in Power System Optimization: A Brief Introduction. Carleton Coffrin and Line Roald. https://arxiv.org/pdf/1807.07227.pdf
    4. Optimal Adaptive Linearizations of the AC Power Flow Equations. Sidhant Misra, Daniel K. Molzahn, and Krishnamurthy Dvijotham https://molzahn.github.io/pubs/misra_molzahn_dvijotham-adaptive_linearizations2018.pdf
  • Базовой алгоритм: A set of algorithms described in [1] should be considered to compare with, details behind the proposed method would be shared by the consultant (a draft of the paper)
  • Решение: to figure out the quality of the solution we propose to compare it with the ones given by IPOPT and numerous relaxations, and do some reverse engineering regarding to our method
  • Новизна: The OPF is a truly hot topic in power systems, and is of higher interest by the discrete optimization community (as a general QCQP problem). Any advance in this area is of higher interest by the community
  • Авторы: Yury Maximov (consultant and expert), Michael Chertkov (expert)
  • Замечания: the problem has both the computational and the theoretical focuses, so 2 students are ok to work on this topic

Задача 4

  • Название: Автоматическая настройка параметров АРТМ под широкий класс задач.
  • Задача: Открытая библиотека bigARTM позволяет строить тематические модели, используя широкий класс возможных регуляризаторов. Однако такая гибкость приводит к тому, что задача настройки коэффициентов оказывается очень сложной. Эту настройку можно значительно упростить, используя механизм относительных коэффициентов регуляризации и автоматический выбор N-грамм. Нужно проверить гипотезу о том, что существует универсальный набор относительных коэффициентов регуляризации, дающий "достаточно хорошие" результаты на широком классе задач. Дано несколько датасетов с каким-то внешним критерием качества (например, классификация документов по категориям или ранжирование). Находим лучшие параметры для конкретного датасета, дающие "локально лучшую модель". Находим алгоритм инициализации bigARTM, производящий тематические модели с качеством, сравнимым с "локально лучшей моделью" на её датасете. Критерий сравнимости по качеству: на данном датасете качество "универсальной модели" не более чем на 5% хуже, чем у "локально лучшей модели".
  • Данные: Victorian Era Authorship Attribution Data Set, 20 Newsgroups, МКБ-10, триплеты для поиска/ранжирования.
  • Литература:
    1. ВКР Никиты Дойкова: http://www.machinelearning.ru/wiki/images/9/9f/2015_417_DoykovNV.pdf
    2. Презентация Виктора Булатова на научном семинаре: https://drive.google.com/file/d/19pJ21LRPeeOxY4mkcSnQCRm93zOO4J5b/view
    3. Черновик с формулами: https://drive.google.com/open?id=1AqS7snUsSJ18ZYBtC-6uP_2dMTDJSGeD
  • Базовый алгоритм: PLSA / LDA / логрегрессия.
  • Решение: bigARTM с фоновыми темами и регуляризаторами сглаживания, разреживания и декорреляции (коэффициенты подобраны автоматически), а также с автоматически выделенными N-граммами.
  • Новизна: Потребность в автоматизированной настройке параметров модели и отсутствие подобных реализаций в научном сообществе.
  • Авторы: консультант Виктор Булатов, эксперт К.В. Воронцов.

Задача 2

  • Название: Исследование опорных объектов в задаче метрической классификации временных рядов.
  • Задача: Функция DTW - это расстояние между двумя временными рядами, которые могут быть нелинейно деформированы друг относительно друга. Она ищет наилучшее выравнивание между двумя объектами, поэтому ее можно использовать в задаче метрической классификации объектов. Один из методов решения задачи метрической классификации - измерение расстояний до опорных объектов и использование вектора этих расстояний в качестве признакового описания объекта. Метод DBA - это алгоритм построения центроидов (опорных объектов) для временных рядов на основе расстояния DTW. При построении расстояния между временным рядом и центроидом различные пары значений (например пиковые значения) более характерны для одного из классов, и влияние таких совпадений на значение расстояния должна быть выше.

Необходимо исследовать различные способы построения опорных объектов, а также определение их оптимального числа. Критерием является качество работы метрического классификатора в задаче. В методе DBA для каждого центроида предлагается создавать вектор весов, который демонстрирует "значимость" измерений центроида, и использовать его в модифицированной функции расстояния weighted-DTW.

  • Данные: Данные описывают 6 классов временных рядов с акселерометра мобильного телефона. https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group274/Goncharov2015MetricClassification/data/
  • Литература:
    1. DTW: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.215.7850&rep=rep1&type=pdf
    2. DBA: https://hal.sorbonne-universite.fr/hal-01630288/document
    3. weighted DTW: http://www.mathnet.ru/php/archive.phtml?wshow=paper&jrnid=ia&paperid=414&option_lang=rus
  • Базовый алгоритм: Реализовать базовые методы:
    1. Выбор подмножества объектов обучающей выборки как опорных
    2. Предварительная обработка аномальных объектов
    3. Кластеризация объектов обучающей выборки для построения центроидов внутри кластера
    4. Использование метода DBA для построения опорных объектов
    5. Использование методов численной оптимизации для поиска оптимального вектора весов с заданными ограничениями
  • Решение: Расширение типов ограничений на вид вектора весов: бинарный вектор, одинаковый вектор для всех центроидов, бинарный одинаковый вектор для всех центроидов. Такое решение позволит экономить затраты энергии при работе датчиков мобильного устройства.

Исследование литературы и комбинация up-to-date методов.

  • Новизна: Не проводилось комплексного исследования различных способов построения центроидов и опорных элементов вместе с выбором их оптимального числа.
  • Авторы: Алексей Гончаров - консультант, эксперт, В.В. Стрижов - эксперт

Задача 7

  • Название: Привилегированное обучение в задаче аппроксимации границ радужки глаза
  • Задача: По изображению человеческого глаза определить окружности, аппроксимирующие внутреннюю и внешнюю границу радужки.
  • Данные: Растровые монохромные изображения, типичный размер 640*480 пикселей (однако, возможны и другие размеры)[1], [2].
  • Литература:
    • Адуенко А.А. Выбор мультимоделей в задачах классификации (научный руководитель В.В. Стрижов). Московский физико-технический институт, 2017. [3]
    • К.А.Ганькин, А.Н.Гнеушев, И.А.Матвеев Сегментация изображения радужки глаза, основанная на приближенных методах с последующими уточнениями // Известия РАН. Теория и системы управления, 2014, № 2, с. 78–92.
    • Duda, R. O. Use of the Hough transformation to detect lines and curves in pictures / R. O. Duda, P. E. Hart // Communications of the ACM. 1972. Vol. 15, no. 1. Pp.
  • Базовый алгоритм: Ефимов Юрий. Поиск внешней и внутренней границ радужки на изображении глаза методом парных градиентов, 2015.
  • Решение: См. Iris_circle_problem.pdf
  • Новизна: Предложен быстрый беспереборный алгоритм аппроксимации границ с помощью линейных мультимоделей. Дополнительно капсульные нейросети.
  • Консультант: Радослав Нейчев (автор Стрижов В.В., эксперт Матвеев И.А.)

Задача 44

  • Название: Ранее прогнозирование достаточного объема выборки для обобщенно линейной модели.
  • Задача: Исследуется проблема планирования эксперимента. Решается задача оценивания достаточного объема выборки по данным. Предполагается, что выборка является простой. Она описывается адекватной моделью. Иначе, выборка порождается фиксированной вероятностной моделью из известного класса моделей. Объем выборки считается достаточным, если модель восстанавливается с достаточной достоверностью. Требуется, зная модель, оценить достаточный объем выборки на ранних этапах сбора данных.
  • Данные: Для вычислительного эксперимента предлагается использовать классические выборки из UCI репозитория. Ссылка на выборки https://github.com/ttgadaev/SampleSize/tree/master/datasets
  • Литература:
    1. [Обзор методов для оценки объема выборки]
    2. http://svn.code.sf.net/p/mlalgorithms/code/PhDThesis/..
    3. Метод бутстреп. https://projecteuclid.org/download/pdf_1/euclid.aos/1..

Bishop, C. 2006. Pattern Recognition and Machine Learning. Berlin: Springer. 758 p.

  • Базовый алгоритм: Будем говорить, что объем выборки достаточный, если логарифм правдоподобия имеет малую дисперсию, на подборке размера m, посчитанную при помощи бутстрепа.

Пытаемся аппроксимировать зависимость среднего значения log-likelihood и его дисперсии от размера выборки.

  • Решение: Методы описанные в обзоре являются асимптотическими или же требуют заведомо большого размера выборки. Новый метод должен заключаться в том, чтобы прогнозировать объем на начальных этапах планирования эксперимента, то есть когда данных мало.
  • Авторы: Грабовой А. В. (консультант), Гадаев Т. Т Стрижов В. В. (эксперты)
  • Примечание: для определения простоты выборки предлагается новое определение сложности (Сергей Иванычев). Это отдельная работа, +1 задача 44a (? Катруца).

Задача 15

  • Название: Формулировка и решение задачи оптимизации, сочетающей классификацию и регрессию, для оценки энергии связывания белка и маленьких молекул. Описание задачи [4]
  • Задача: С точки зрения биоинформатики, задача заключается в оценке свободной энергии связывания белка с маленькой молекулой (лигандом): наилучший лиганд в своем наилучшем положении имеет наименьшую свободную энергию взаимодействия с белком. (Далее большой текст, см. файл по ссылке вверху.)
  • Данные:
    • Данные для бинарной классификации. Около 12,000 комплексов белков с лигандами: для каждого из них есть 1 нативная поза и 18 ненативных. Основными дескрипторами являются гистограммы распределений расстояний между различными атомами белка и лиганда, размерность вектора дескрипторов ~ 20,000. В случае продолжения исследования и публикации в профильном журнале набор дескрипторов может быть расширен. Данные будут предоставлены в виде бинарных файлов со скриптом на python для чтения.
    • Данные для регрессии. Для каждого из представленных комплексов известно значение величины, которую можно интерпретировать как энергию связывания.
  • Литература:
    • SVM [5]
    • Ridge Regression [6]
    • [7] (секция 1)
  • Базовый алгоритм: [8] В задаче классификации мы использовали алгоритм, похожий на линейный SVM, связь которого с оценкой энергии, выходящей за рамки задачи классификации, описана в указанной выше статье. В задаче регрессии можно использовать различные функции потерь.
  • Решение: Необходимо связать использованную ранее оптимизационную задачу с задачей регрессии и решить стандартными методами. Для проверки работы алгоритма будет использована кросс-валидация. Есть отдельный тестовый сет, состоящий из (1) 195 комплексов белков и лигандов, для которых нужно найти наилучшую позу лиганда (алгоритм получения положений лиганда отличается от используемого при обучении), (2) комплексов белков и лигандов, для нативных поз которых нужно предсказать энергию связывания, и (3) 65 белков, для которых нужно найти наиболее сильно связывающийся лиганд.
  • Новизна: В первую очередь, интерес представляет объединение задач классификации и регрессии. Правильная оценка качества связывания белка и лиганда используется при разработке лекарства для поиска молекул, наиболее сильно взаимодействующих с исследуемым белком. Использование описанной выше задачи классификации для предсказания энергии связывания приводит к недостаточно высокой корреляции предсказаний с экспериментальными значениями, в то время как использование одной лишь задачи регрессии приводит к переобучению.
  • Авторы Сергей Грудинин, Мария Кадукова

Задача 27

  • Название: Создание ранжирующих моделей для систем информационного поиска. Алгоритм прогнозирования структуры локально-оптимальных моделей
  • Задача: Требуется спрогнозировать временной ряд с помощью некоторой параметрической суперпозицией алгебраических функций. Предлагается не стоить прогностическую модель, а спрогнозировать ее, то есть предсказать структуру аппроксимирующей суперпозиции. Вводится класс рассматриваемых суперпозиций, и на множестве таких структурных описаний проводится поиск локально-оптимальной модели для рассматриваемой задачи. Задача состоит в 1) поиске подходящего структурного описания модели 2) описания алгоритма поиска той структуры, которая будет соответствовать оптимальной модели 3) описания алгоритма обратного построения модели по ее структурному описанию. В качестве уже имеющегося примера ответа на вопросы 1-3, смотри работы А. А. Варфоломеевой.
  • Данные:
    • Коллекция текстовых документов TREC (!)
    • Набор временных рядов, который подразумевает восстановление функциональных зависимостей. Предлагается сначала использовать синтетические данные или сразу применить алгоритм к прогнозированию временных рядов 1) потребления электроэнергии 2) физической активности с последующим анализом получающихся структур.
  • Литература:
    1. (!) Kulunchakov A.S., Strijov V.V. Generation of simple structured Information Retrieval functions by genetic algorithm without stagnation // Expert Systems with Applications, 2017, 85 : 221—230.
    2. А. А. Варфоломеева Выбор признаков при разметке библиографических списков методами структурного обучения, 2013, [9]
    3. Bin Cao, Ying Li and Jianwei Yin Measuring Similarity between Graphs Based on the Levenshtein Distance, 2012, [10]
  • Базовой алгоритм: Описан в [1]. Развит в работе команды группы 974. Предлагается использовать их код и эксперимент.
  • Решение: Предлагается попробовать повторить эксперимент А. А. Варфоломеевой для другого структурного описания, чтобы понять, что происходит. Суперпозиция алгебраических функций задает ордерево, на вершинах которого заданы метки соответствующих алгебраических функций или переменных. Поэтому структурным описанием такой суперпозиции может являться ее DFS-code. Это строка, состоящая из меток вершин, записанных в порядке обхода дерева поиском в глубину. Зная арности соответствующих алгебраических функций, можем любой такой DFS-code восстановить за O(n) и получить обратно суперпозицию функций. На множестве подобных строковых описаний предлагается искать то строковое описание, которое будет соответствовать оптимальной модели.
  • Авторы: консультант Андрей Кулунчаков (Inria Montbonnot), эксперт В. В. Стрижов

Задача 26

  • Название: Определение местоположения по сигналам акселерометра
  • Задача: Даны исходные координаты, сигналы акселерометра, дополнительная информация (сигналы гироскопа, магнетометра). Возможно, дана неточная карта (задача SLAM)
  • Данные: из работы [1], данные, собранные самостоятельно.
  • Литература:
    1. https://arxiv.org/pdf/1712.09004.pdf
    2. https://ieeexplore.ieee.org/document/1528431
  • Базовый алгоритм: из работы [1].
  • Решение: Поиск априорной и дополнительной информации, которая позволяет повысить точность позиционирования.
  • Новизна: Постановка задачи в терминах Projection to Latent Spaces
  • Авторы: консультант Анастасия Мотренко, эксперт Илья Гарцеев, В. В. Стрижов

Задача 45

  • Название: Задача поиска символов в изображениях
  • Задача: Данная задача в одном из вариантов постановки может быть сведена к двум последовательным операциям: 1) поиск объектов на изображении и определение их класса 2) поиск в базе данных информации о символическом смысле найденных объектов. Основная сложность решения задачи заключена в поиске объектов на изображении. Однако следующая классификация также может быть затруднительной в связи с тем, что изображение объекта может быть неполным, необычно стилизованным и т.п.
  • Данные: Словарь символов
 Сайты-музеи
 Image-net

  • Литература:
    1. http://www.machinelearning.ru/wiki/images/e/e2/IDP18.pdf (с. 116)
    2. http://www.image-net.org
  • Базовый алгоритм: CNN
  • Решение: Предлагается сравнить работы нескольких state-of-the-art алгоритмов. Предложить метрику качества поиска и классификации объектов. Определить применимость методов.
  • Новизна: Предлагаемый подход к анализу изображений используется экспертами в ручном режиме и не был автоматизирован
  • Авторы: М. Апишев (консультант), Д. Лемтюжникова

Задача 28

  • Название: Мультимоделирование как универсальный способ описания выборки общего вида
  • Задача: Построить метод инкрементального уточнения структуры мультимодели при появлении новых объектов. Разработка и сравнение разных алгоритмов обновления структуры мультимоделей. Построение оптимальной схемы уточнения структуры мультимодели в зависимости от полного размера выборки.
  • Данные: На начальном этапе работы используются синтетические данные с известной статистической структурой. Тестирование разработанных методов производится на реальных данных из репозитория UCI.
  • Литература:
  1. Bishop, Christopher M. «Pattern recognition and machine learning». Springer, New York (2006).
  2. Gelman, Andrew, et al. Bayesian data analysis, 3rd edition. Chapman and Hall/CRC, 2013.
  3. MacKay, David JC. «The evidence framework applied to classification networks.» Neural computation 4.5 (1992): 720—736.
  4. Адуенко А. А. «Выбор мультимоделей в задачах классификации» кандидатская диссертация
  5. Motrenko, Anastasiya, Vadim Strijov, and Gerhard-Wilhelm Weber. «Sample size determination for logistic regression.» Journal of Computational and Applied Mathematics 255 (2014): 743—752.
  • Базовой алгоритм: Алгоритм построения адекватных мультимоделей из #4.
  • Решение: Байесовский подход к задаче выбора моделей на основании обоснованности. Анализ свойств обоснованности и ее связи со статистической значимостью.
  • Новизна: Предлагается метод построения оптимальной схемы обновления структуры мультимодели при появлении новых объектов. Исследована связь обоснованности и статистической значимости для некоторых классов моделей.
  • Авторы: Стрижов Вадим Викторович, Адуенко Александр Александрович (GMT-5)

Задача 11

Задача 48

  • Название: Мультимоделирование, привилегированное обучение
  • Задача: Рассматривается задача обучения одной модели с помощью другой
  • Данные: Выборки временных рядов
  • Литература:
    1. https://github.com/neychev/distillation_n_privileged_info_torch
    2. https://github.com/neychev/Multitask_forecast_code
    3. Статья по Mixture Experts
    4. Диплом Нейчева http://www.machinelearning.ru/wiki/images/3/36/NeyhevMS_Thesis.pdf
  • Базовый алгоритм: Смесь экспертов, привилегоированное обучение, дистилляция
  • Решение Выполнить эксперимент, иллюстрирующий эти подходы
  • Новизна: Предложен метод прогнозирования, использующий апроорную информацию о принадлежности выборки модели (опубликовать полученные результаты).
  • Авторы: Р.Г. Нейчев (консультант), В.В. Стрижов


Задача 49

  • Название: Декодирование сигналов мозга и прогнозирование намерений
  • Задача: Требуется построить модель, восстанавливающую движение конечностей по кортикограмме.
  • Данные: neurotycho.org [9] (или пальцы)
  • Литература:
    • Нейчев Р.Г., Катруца А.М., Стрижов В.В. Выбор оптимального набора признаков из мультикоррелирующего множества в задаче прогнозирования // Заводская лаборатория. Диагностика материалов, 2016, 82(3) : 68-74. [10]
    • Isachenko R.V., Strijov V.V. Quadratic Programming Optimization with Feature Selection for Non-linear Models // Lobachevskii Journal of Mathematics, 2018, 39(9) : 1179-1187. Article
  • Базовый алгоритм: Partial Least Squares[11]
  • Решение: Создать алгоритм выбора признаков, альтернативный PLS и учитывающий неортогональную структуру взаимозависимости признаков.
  • Новизна: Предложен способ выбора признаков, учитывающий закономерности как и независимой, так и в зависимой переменной. Бонус: исследовать изменения структуры модели при изменении характера выборки.
  • Авторы: Андрей Задаянчук, В.В. Стрижов
Личные инструменты