Выбор моделей в машинном обучении (теория и практика, О.Ю. Бахтеев, В.В. Стрижов)/Группа 574, осень 2020

Материал из MachineLearning.

Основная статья: Численные методы обучения по прецедентам (практика, В.В. Стрижов)

https://us04web.zoom.us/j/71655633948?pwd=QnRCNFRnTDZiaWt5dVhPRFp1cS9YUT09 занятие в среду 9 сентября в 10:30

Серия семинаров и докладов на тему выбора моделей машинного обучения. Обсуждаются теоретические аспекты и практика байесовского подхода к выбору моделей. Цель семинаров - обсудить роль априорной информации (информативного априорного распределения, informative prior) в методах выбора интерпретируемых моделей с заданными свойствами. Основные вопросы:

1. Как учитывать экспертные знания при назначении АР (постановка задач байесовского выбора моделей)?
2. Каким образом связаны теоретические модели прикладной области с информативным АР (интерпретируемость моделей с точки зрения теории)?
3. Как использовать новую информацию, полученную в результате вывода, при дальнейшем назначении АР (непрерывное обучение)?

Короткий адрес страницы bit.ly/IS_prior, таблица для редактирования

Курс - это cерия семинаров c разбором задач и теоретических новинок с прикладной составляющей (систематизация без популяризации).

Цель быть понятным, когда речь идет о сложных вопросах

На каждом семинаре повышается квалификация докладчика:

• способность систематизировать теоретические работы и представить в виде единого ясного непротиворечивого сообщения,
• способность увидеть в прикладной задаче систематическую формальную постановку, которая приведет к быстрому качественному решению коммерческого проекта (в отличие от неформальной, при которой программисты работают с черными ящиками и решают проблему исходя не из алгебраической и статистической постановки задачи, а из доступного инструментария). Основная ошибка при подготовке к лекциям - сам разобрался недостаточно подробно и скопировал материал статьи. Опорных статей доблжно быть несколько. На них следует ссылаться внутри слайдов и в конце доклада.

Требования к семинарам, теория

1. Единая нотация
2. Решаемая проблема
3. Основные положения, гипотезы
4. Решение
5. Свойства и ограничения решения
6. Альтернативные решения
7. Теоретическая значимость
8. Применение на практике

Понимать технологическую новость как будто сам сделал этот проект

Требования к семинарам, практика

1. Примеры прикладной задачи
2. Неформальная постановка задачи
3. Формальная постановка (в рекомендуемых обозначениях Кузнецов-Катруца-Мотренко-Адуенко-Бахтеев TODO ссылки) в которой есть
   • алгебраические структуры на данных
   • гипотезы порождения данных
   • функции ошибки
4. Возможные детали:
   • виды моделей, выбор моделей, методы оптимизации
   • инструменты для прораммирования

Темы семинаров

1. Байесовский вывод (повторение).
2. Вариационный вывод, семплирование, VAR, GAN (повторение)
3. Оптимизация структур моделей и распределения структурных параметров
4. Смеси моделей, смеси экспертов и их применение
5. Прямое, обратное преобразование Фурье, его аппроксимация и АР
6. Спектральная теория графов и АР
7. Применение байесовских методов в биологии и в EM, SRF микроскопии
8. Применение байесовских методов в теоретической физике
9. Экспертное обучение и способы назначения априорных распределений
10. GAN и порождение структур агностических моделей
11. Байесовский подход в теории игр и задачи ИИ
12. Байесовское программирование и задачи порождения рукописных текстов
13. Необходимый размер выборки и его приложения в обучении с подкреплением

Темы на выбор

Указать в таблице одну из тем:

Расписание

Дата	Тема	Тема	Тема
16	Стрижов, Мотивация курса
23	Бахтеев, Критический анализ методов выбора моделей	Грабовой Message passing	Моргачев, Приложения Muiti-Head attention
30	Грабовой, Привилегированное обучение и дистилляция моделей		Новицкий, GAN для решения задач ATLAS
7 октября	Грабовой, Стрижов, Обучение экспертов
14	Нейчев, Построение информативных априорных моделей в задачах привилегированного обучения	Моргачев, Обзор обзоров GCNN	Самохина, Generalization in Deep Reinforcement Learning и приложения
21	Потанин, Автоэнкодеры для порождения моделей
28	Адуенко, Байесовский подход к теоретико-игровым задачам	Плетнев, Flows for manifold learning и приложения в моделировании	Грабовой, BERT - теория и анализ свойств с прилоожениями
4 ноября
11	Бахтеев, Байесовское программирование Руслана Салахутдинова - что было и чем закончилось	Плетнев, Авторегрессионные потоки и VAR	Самохина, Self-Attention и априорные знания
18	Исаченко, Стрижов, Априорные предположения при множественном прогнозе PLS	Новицкий, Проблемы и развитие GAN
25	Никитин, генерация графов	Кириллов, Алгоритм Герхберга-Сакстона и его вариации
2 декабря		Кислинский Самообучение
9	Стрижов, Что думает научное сообщество про учет теорий при построении моделей	Кириллов, Байесовский подход к определению структуры в криоэлектронной микроскопии
16		Кислинский Нейронные дифференциальные уравнения	Гадаев Фильтр Калмана

Зачеты

• По семинарам: присутствие на семинарах и собеседование в конце, вопросы.
• По практике: две лекции на 40 минут по заданным темам с голосованием.

Литература

1. Стрижов В.В. Функция ошибки в задачах восстановления регрессии // Заводская лаборатория. Диагностика материалов, 2013, 79(5) : 65-73.
2. Kuznetsov M.P., Tokmakova A.A., Strijov V.V. Analytic and stochastic methods of structure parameter estimation // Informatica, 2016, 27(3) : 607-624.
3. Зайцев А.А., Стрижов В.В., Токмакова А.А. Оценка гиперпараметров регрессионных моделей методом максимального правдоподобия // Информационные технологии, 2013, 2 : 11-15.
4. Bakhteev O.Y., Strijov V.V. Deep learning model selection of suboptimal complexity // Automation and Remote Control, 2018, 79(8) : 1474–1488.
5. Bakhteev O.Y., Strijov V.V. Comprehensive analysis of gradient-based hyperparameter optimization algorithmss // Annals of Operations Research, 2020 : 1-15.