Математические методы прогнозирования (практика, В.В. Стрижов)/Группа 674, весна 2020

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Расписание докладов)
(Расписание докладов)
 
(16 промежуточных версий не показаны.)
Строка 52: Строка 52:
|19 февраля
|19 февраля
| Теорема о сингулярном разложении Молер-Форсайт, МГК, и другие разложения
| Теорема о сингулярном разложении Молер-Форсайт, МГК, и другие разложения
-
| Роман Исаченко
+
|
|
|
|-
|-
Строка 87: Строка 87:
| 8 апреля
| 8 апреля
|Метрические пространства: RKHS Аронжайн, теорема Мерсера
|Метрические пространства: RKHS Аронжайн, теорема Мерсера
-
| Алексей Гончаров
+
|
|
|
|-
|-
Строка 176: Строка 176:
|Метод проекций в скрытые пространства: PLS, HOPLS, NLPLS <!--- Байесовские решающие деревья в задачах анализа текстов-->
|Метод проекций в скрытые пространства: PLS, HOPLS, NLPLS <!--- Байесовские решающие деревья в задачах анализа текстов-->
|Маркин Валерий
|Маркин Валерий
-
|
+
| [https://github.com/ValeriyMarkin/Study/raw/master/Presentation_PLS.pdf Презентация] [https://docs.google.com/document/d/16YI73vqpQJ2dycoInwmRCnlfTXwiIXACXd6lClARmOc/edit?usp=sharing Вопросы]
|-
|-
| 18 марта
| 18 марта
|Порождающие модели (гетерогенные, Исаченко)
|Порождающие модели (гетерогенные, Исаченко)
|Садиев Абдурахмон
|Садиев Абдурахмон
-
|
+
|[https://drive.google.com/file/d/1UxdNmDoHoCmbb-icUSdgjKGkeDt8APlB/view?usp=sharing Презентация] [https://docs.google.com/document/d/1UPl7IaXaXNIrovTci5576IDOsgABsukfSAoJ6l9oeVk/edit?usp=sharing Вопросы]
|-
|-
| 25 марта
| 25 марта
|Привилегированное обучение и дистилляция сетей, что-то более обоснованное, чем пишет Хинтон
|Привилегированное обучение и дистилляция сетей, что-то более обоснованное, чем пишет Хинтон
|Григорьев Алексей
|Григорьев Алексей
-
|
+
|[https://drive.google.com/file/d/1H-43N15nmC35KAzHd59NKQ37-z2J7N-J/view?usp=sharing презентация]
|-
|-
| 1 апреля
| 1 апреля
|Частичное обучение (Semi-supervised learning, Transductive learning)
|Частичное обучение (Semi-supervised learning, Transductive learning)
|Вареник Наталия
|Вареник Наталия
-
|
+
|[https://drive.google.com/file/d/1qQmbr_y6TtwQOIeINZlThIUCqYRnu79r/view?usp=sharing презентация] [https://drive.google.com/file/d/1jbrm8F8ILsWjX9Ar3WDSlgRuw2BesILH/view?usp=sharing вопросы]
|-
|-
| 8 апреля
| 8 апреля
|Косвенное обучение (Transfer learning)
|Косвенное обучение (Transfer learning)
|Северилов Павел
|Северилов Павел
-
|[https://github.com/severilov/random/raw/master/transfer.pdf презентация] [https://drive.google.com/file/d/1G-yd1lBXqGS53YhB7Ev8Z579Zl5Mg5cC/view?usp=sharing вопросы]
+
|[[Медиа:Transfer_new.pdf|презентация]] [https://drive.google.com/file/d/1G-yd1lBXqGS53YhB7Ev8Z579Zl5Mg5cC/view?usp=sharing вопросы]
|-
|-
| 15 апреля
| 15 апреля
|Инварианты в задачах глубокого обучения, откуда берутся, как их проектировать в структуре сетей
|Инварианты в задачах глубокого обучения, откуда берутся, как их проектировать в структуре сетей
|Безносиков Александр
|Безносиков Александр
-
|[https://drive.google.com/file/d/1oazLZr7CLP_777sAiQsIALZ79_5cWF_c/view?usp=sharing презентация]
+
|[https://drive.google.com/file/d/1oazLZr7CLP_777sAiQsIALZ79_5cWF_c/view?usp=sharing Презентация] [https://drive.google.com/file/d/1deXUD3nrqgLFRhtHzeIPCnTKEeaIOGSV/view?usp=sharing Вопросы]
|-
|-
| 22 апреля
| 22 апреля
|Active learning
|Active learning
|Юсупов Игорь
|Юсупов Игорь
-
|
+
|[https://drive.google.com/file/d/18LV2LI3QxmnLtdlg85MlhWyqp7NUP5_T/view?usp=sharing презентация]
|-
|-
| 29 апреля
| 29 апреля
|Атаки на сети: теоретический анализ
|Атаки на сети: теоретический анализ
|Панченко Святослав
|Панченко Святослав
-
|
+
|[https://drive.google.com/file/d/1qvXv6IIlAN1AaJan9Kb9rhllRM6qgniH/view?usp=sharing Презентация к докладу]
 +
[https://docs.google.com/document/d/1UbDTqHPS5vKqfXrzdPXJUcMg4i3Q0B4wxtstqdiZV14/edit?usp=sharing Вопросы]
|-
|-
| 6 мая
| 6 мая

Текущая версия

Фундаментальные теоремы машинного обучения

Мотивация

  • Диссертации к.ф.-м.н. должны содержать обоснованный математический аппрат и теоремы. Студенческие дипломные работы с теоремами приветствуются.
  • Подготовка сборника коллективом авторов.

Содержание

Темы лекций

  1. Теорема о сингулярном разложении Молер-Форсайт и другие разложения
  2. Метод главных компонент Рао и разложение Карунена-Лоэва
  3. Теоремы Колмогорова и Арнольда, теорема об универсальном аппроксиматоре Цыбенко, теорема о глубоких нейросетях
  4. Теорема о бесплатных обедах в машинном обучении, Волперт
  5. Метрические пространства: RKHS Аронжайн, теорема Мерсера
  6. Теорема схем, Холланд
  7. Теорема о свертке (Фурье, свертка, автокорреляция) с примерами сверточных сетей
  8. Обратная теорема Фурье, теорема Парсеваля (равномерная и неравномерная сходимость)
  9. РАС-learning, теорема о том, что сжатие предполагает обучаемость
  10. Representer theorem, Schölkopf, Herbrich, and Smola
  11. Вариационная аппроксимация
  12. Сходимость про вероятности при выборе моделей
  13. Теорема о связи распределений в экспонентном семействе
  14. (? Теорема про бандитов)
  15. (? Копулы и теорема Скляра)
  16. The Gauss-Markov Theorem

Предлагаемый план изложения материала:

  1. Введение: основное сообщение теоремы в понятном (не обязательно строгом) изложении
  2. Вводная часть: определение терминов и сведения, необходимые для изложения (обозначения можно использовать авторские или [ссылка на обозначения Б.А.С.])
  3. Формулировка и доказательство теоремы в строгом изложении (можно отходить от авторского варианта, если нужно для ясности)
  4. Значимость теоремы: обзор методов и приложений, иллюстрирующих теорему

Сылка на проект

Расписание лекций

Дата (можно менять, но согласовывать с другими) Тема Лектор Ссылки
19 февраля Теорема о сингулярном разложении Молер-Форсайт, МГК, и другие разложения
26 февраля Теоремы Колмогорова и Арнольда, теорема об универсальном аппроксиматоре Цыбенко, теорема о глубоких нейросетях Марк Потанин
4 марта Берштейн - фон Мизес Андрей Грабовой
11 марта РАС обучаемость, теорема о том, что сжатие предполагает обучаемость Тамаз Гадаев
18 марта Теорема о бесплатных обедах в машинном обучении, Волперт Радослав Нейчев
25 марта Сходимость про вероятности при выборе моделей Марк Потанин
1 апреля Теорема схем, Холланд Радослав Нейчев
8 апреля Метрические пространства: RKHS Аронжайн, теорема Мерсера
15 апреля Теорема о свертке (Фурье, свертка, автокорреляция) с примерами сверточных сетей Филипп Никитин
22 апреля Representer theorem, Schölkopf, Herbrich, and Smola
29 апреля Обратная теорема Фурье, теорема Парсеваля (равномерная и неравномерная сходимость) Филипп Никитин
6 мая Вариационная аппроксимация, теорема о байесовском выборе моделей Олег Бахтеев

Темы докладов

Источник: научные статьи последних лет. Продолжительность: 30 минут.

Цели:

  1. Раскрыть проблему постановки и решения задачи машинного обучения и анализа данных в данной теме.
  2. Подобрать примеры постановки и решения известных (а может и узкоспециальных) задач.

Рекомендации к стилю изложения:

  • дать основные определения этой области,
  • вводимые обозначения должны быть удобны и непротиворечивы,
  • используемые термины должны быть точны,
  • дать теоретические постановки задач,
  • желательно (!) привести теоретические примеры решения и его основные свойства,
  • представить математические методы,
  • привести примеры прикладных задач.

Тест 5-10 минут: докладчик готовит 5 вопросов, требующих краткий ответ на понимание и акцентирующих внимание на важных элементах доклада.

Не рекомендуется:

  • копипаста из статей, особенно бессмысленная,
  • увеличение объема материала за счет снижения качества,
  • использование картинок, по которым нельзя однозначно восстановить модель (алгоритм) или понять свойства.

Principle of definitions, ССС: Correct, Complete, Concise (корректно, полно, сжато).

  1. Байесовское программирование, проблемы и тренды (Салахутдинов)
  2. Онлайновое обучение, проблемы и новости
  3. Байесовские решающие деревья в задачах анализа текстов
  4. Порождающие модели (гетерогенные, Исаченко)
  5. Достижения и проблемы RL
  6. Active learning
  7. Привилегированное обучение
  8. Частичное обучение (Semi-supervised learning, Transductive learning)
  9. Косвенное обучение (Transfer learning)
  10. Инварианты в задачах глубокого обучения, откуда берутся, как их проектировать в структуре сетей
  11. Атаки на сети: теоретический анализ

Расписание докладов

Дата (можно менять, но согласовывать с другими) Тема Докладчик Ссылки
19 февраля Достижения и проблемы RL Гришанов Алексей презентация
26 февраля Онлайновое обучение, новости и проблемы
4 марта Анализ апостериорного распределения в сетях глубокого обучения Аминов Тимур презентация
11 марта Метод проекций в скрытые пространства: PLS, HOPLS, NLPLS Маркин Валерий Презентация Вопросы
18 марта Порождающие модели (гетерогенные, Исаченко) Садиев Абдурахмон Презентация Вопросы
25 марта Привилегированное обучение и дистилляция сетей, что-то более обоснованное, чем пишет Хинтон Григорьев Алексей презентация
1 апреля Частичное обучение (Semi-supervised learning, Transductive learning) Вареник Наталия презентация вопросы
8 апреля Косвенное обучение (Transfer learning) Северилов Павел презентация вопросы
15 апреля Инварианты в задачах глубокого обучения, откуда берутся, как их проектировать в структуре сетей Безносиков Александр Презентация Вопросы
22 апреля Active learning Юсупов Игорь презентация
29 апреля Атаки на сети: теоретический анализ Панченко Святослав Презентация к докладу

Вопросы

6 мая Байесовское программирование, проблемы и тренды (Салахутдинов)

Для справки

  • Оценивание 50 курс А.А., 25 теоремы, 18 доклад, 7 ответы на вопросы.
  • Короткий адрес страницы http://bit.ly/2U3ExKd
  • 29 апреля прездащита (слайды, текст), 20 мая зачет НИР, 10 июня предзащита, 24 июня защита бакалаврских работ
  • Основная статья

О защите дипломных работ

Структура введения

Структура презентации

Отзыв научного руководителя

Личные инструменты