Математические методы прогнозирования (практика, В.В. Стрижов)/Группа 674, весна 2020

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Расписание лекций)
(Темы докладов)
Строка 126: Строка 126:
* представить математические методы,
* представить математические методы,
* привести примеры прикладных задач.
* привести примеры прикладных задач.
-
Тест: готовит лектор, 5 вопросов, требующих краткий ответ на понимание.
+
Доклад 30 и 10 на тест. Тест: готовит лектор, 5 вопросов, требующих краткий ответ на понимание.
Не рекомендуется:
Не рекомендуется:
Строка 151: Строка 151:
# Онлайновое обучение, проблемы и новости
# Онлайновое обучение, проблемы и новости
# Атаки на сети: теоретический анализ
# Атаки на сети: теоретический анализ
 +
 +
 +
 +
 +
 +
 +
 +
 +
 +
 +
 +
 +
 +
 +
 +
 +
 +
 +
 +
== Расписание докладов
 +
{|class="wikitable"
 +
|-
 +
! Дата (можно менять, но согласовывать с другими)
 +
! Тема
 +
! Докладчик
 +
! Ссылки
 +
|-
 +
|19 февраля
 +
| Достижения и проблемы RL
 +
|
 +
|
 +
|-
 +
| 26 февраля
 +
| Байесовское программирование, проблемы и тренды (Салахутдинов)
 +
|
 +
|
 +
|-
 +
| 4 марта
 +
|Онлайновое обучение, новости и проблемы
 +
|
 +
|
 +
|-
 +
| 11 марта
 +
|Байесовские решающие деревья в задачах анализа текстов
 +
|
 +
|
 +
|-
 +
| 18 марта
 +
|Порождающие модели (гетерогенные, Исаченко)
 +
| Радослав Нейчев
 +
|
 +
|-
 +
| 25 марта
 +
|Привилегированное обучение, что-то более обоснованное, чем пишет Хинтон
 +
|
 +
|
 +
|-
 +
| 1 апреля
 +
|Частичное обучение (Semi-supervised learning, Transductive learning)
 +
|
 +
|
 +
|-
 +
| 8 апреля
 +
|Косвенное обучение (Transfer learning)
 +
|
 +
|
 +
|-
 +
| 15 апреля
 +
|Инварианты в задачах глубокого обучения, откуда берутся, как их проектировать в структуре сетей
 +
|
 +
|
 +
|-
 +
| 22 апреля
 +
|Онлайновое обучение, проблемы и новости
 +
|
 +
|
 +
|-
 +
| 29 апреля
 +
|Атаки на сети: теоретический анализ
 +
|
 +
|
 +
|-
 +
| 6 мая
 +
|
 +
|
 +
|
 +
|}
==   ==
==   ==

Версия 22:19, 11 февраля 2020

Фундаментальные теоремы машинного обучения Мотивация

  • Диссертации к.ф.-м.н. должны содержать обоснованный математический аппрат и теоремы. Студенческие дипломные работы с теоремами приветствуются.
  • Подготовка сборника коллективом авторов.

Содержание

Темы лекций

  1. Теорема о сингулярном разложении Молер-Форсайт и другие разложения
  2. Метод главных компонент Рао и разложение Карунена-Лоэва
  3. Теоремы Колмогорова и Арнольда, теорема об универсальном аппроксиматоре Цыбенко, теорема о глубоких нейросетях
  4. Теорема о бесплатных обедах в машинном обучении, Волперт
  5. Метрические пространства: RKHS Аронжайн, теорема Мерсера
  6. Теорема схем, Холланд
  7. Теорема о свертке (Фурье, свертка, автокорреляция) с примерами сверточных сетей
  8. Обратная теорема Фурье, теорема Парсеваля (равномерная и неравномерная сходимость)
  9. РАС-learning, теорема о том, что сжатие предполагает обучаемость
  10. Representer theorem, Schölkopf, Herbrich, and Smola
  11. Вариационная аппроксимация
  12. Сходимость про вероятности при выборе моделей
  13. Теорема о связи распределений в экспонентном семействе
  14. (? Теорема про бандитов)
  15. (? Копулы и теорема Скляра)



Предлагаемый план изложения материала:

  1. Введение: основное сообщение теоремы в понятном (не обязательно строгом) изложении
  2. Вводная часть: определение терминов и сведения, необходимые для изложения (обозначения можно использовать авторские или [ссылка на обозначения Б.А.С.])
  3. Формулировка и доказательство теоремы в строгом изложении (можно отходить от авторского варианта, если нужно для ясности)
  4. Значимость теоремы: обзор методов и приложений, иллюстрирующих теорему

Сылка на проект

Расписание лекций

Дата (можно менять, но согласовывать с другими) Тема Лектор Ссылки
19 февраля Теорема о сингулярном разложении Молер-Форсайт и другие разложения Роман Исаченко
26 февраля Теоремы Колмогорова и Арнольда, теорема об универсальном аппроксиматоре Цыбенко, теорема о глубоких нейросетях Марк Потанин
4 марта Обобщенно-линейные модели теорема о связи распределений в экспонентном семействе Андрей Грабовой
11 марта РАС обучаемость, теорема о том, что сжатие предполагает обучаемость Тамаз Гадаев
18 марта Теорема о бесплатных обедах в машинном обучении, Волперт Радослав Нейчев
25 марта Сходимость про вероятности при выборе моделей Марк Потанин
1 апреля Теорема схем, Холланд Радослав Нейчев
8 апреля Метрические пространства: RKHS Аронжайн, теорема Мерсера Алексей Гончаров
15 апреля Теорема о свертке (Фурье, свертка, автокорреляция) с примерами сверточных сетей Филипп Никитин
22 апреля Representer theorem, Schölkopf, Herbrich, and Smola
29 апреля Обратная теорема Фурье, теорема Парсеваля (равномерная и неравномерная сходимость) Филипп Никитин
6 мая Вариационная аппроксимация, теорема о байесовском выборе моделей Олег Бахтеев

Темы докладов

Источник: научные статьи последних лет. Продолжительность: 30 минут.

Цели:

  1. Раскрыть проблему постановки и решения задачи машинного обучения и анализа данных в данной теме.
  2. Подобрать примеры постановки и решения известных (а может и узкоспециальных) задач.

Рекомендации к стилю изложения:

  • дать основные определения этой области,
  • вводимые обозначения должны быть удобны и непротиворечивы,
  • используемые термины должны быть точны,
  • дать теоретические постановки задач,
  • желательно (!) привести теоретические примеры решения и его основные свойства,
  • представить математические методы,
  • привести примеры прикладных задач.

Доклад 30 и 10 на тест. Тест: готовит лектор, 5 вопросов, требующих краткий ответ на понимание.

Не рекомендуется:

  • копипаста из статей, особенно бессмысленная,
  • увеличение объема материала за счет снижения качества,
  • использование картинок, по которым нельзя однозначно восстановить модель (алгоритм) или понять свойства.

Principle of definitions, ССС: Correct, Complete, Concise (корректно, полно, сжато).

  1. Байесовское программирование, проблемы и тренды (Салахутдинов)
  2. Онлайновое обучение
  3. Байесовские решающие деревья в задачах анализа текстов
  4. Порождающие модели (гетерогенные, Исаченко)
  5. Достижения и проблемы RL
  6. Active learning
  7. Привилегированное обучение
  8. Частичное обучение (Semi-supervised learning, Transductive learning)
  9. Косвенное обучение (Transfer learning)
  10. Инварианты в задачах глубокого обучения, откуда берутся, как их проектировать в структуре сетей
  11. Онлайновое обучение, проблемы и новости
  12. Атаки на сети: теоретический анализ










== Расписание докладов

Дата (можно менять, но согласовывать с другими) Тема Докладчик Ссылки
19 февраля Достижения и проблемы RL
26 февраля Байесовское программирование, проблемы и тренды (Салахутдинов)
4 марта Онлайновое обучение, новости и проблемы
11 марта Байесовские решающие деревья в задачах анализа текстов
18 марта Порождающие модели (гетерогенные, Исаченко) Радослав Нейчев
25 марта Привилегированное обучение, что-то более обоснованное, чем пишет Хинтон
1 апреля Частичное обучение (Semi-supervised learning, Transductive learning)
8 апреля Косвенное обучение (Transfer learning)
15 апреля Инварианты в задачах глубокого обучения, откуда берутся, как их проектировать в структуре сетей
22 апреля Онлайновое обучение, проблемы и новости
29 апреля Атаки на сети: теоретический анализ
6 мая

 

Личные инструменты