Математические методы прогнозирования (практика, В.В. Стрижов)/Группа 674, весна 2020
Материал из MachineLearning.
(Различия между версиями)
(→Расписание докладов) |
(→Расписание лекций) |
||
(15 промежуточных версий не показаны.) | |||
Строка 21: | Строка 21: | ||
# (? Теорема про бандитов) | # (? Теорема про бандитов) | ||
# (? Копулы и теорема Скляра) | # (? Копулы и теорема Скляра) | ||
+ | # The Gauss-Markov Theorem | ||
<!-- | <!-- | ||
Теорема Рао — Блэквелла — Колмогорова --> | Теорема Рао — Блэквелла — Колмогорова --> | ||
Строка 50: | Строка 51: | ||
|- | |- | ||
|19 февраля | |19 февраля | ||
- | | Теорема о сингулярном разложении Молер-Форсайт и другие разложения | + | | Теорема о сингулярном разложении Молер-Форсайт, МГК, и другие разложения |
| Роман Исаченко | | Роман Исаченко | ||
| | | | ||
Строка 60: | Строка 61: | ||
|- | |- | ||
| 4 марта | | 4 марта | ||
- | | | + | | [[Media:BershteinFonMises.pdf|Берштейн - фон Мизес]] |
| Андрей Грабовой | | Андрей Грабовой | ||
| | | | ||
Строка 159: | Строка 160: | ||
|19 февраля | |19 февраля | ||
| Достижения и проблемы RL | | Достижения и проблемы RL | ||
- | | | + | |Гришанов Алексей |
- | | | + | |[https://docs.google.com/presentation/d/177NPDTLEt2z0ezF3769TrpLV-rwgbymRurD5M94AWmg/edit?usp=sharing презентация] |
|- | |- | ||
| 26 февраля | | 26 февраля | ||
- | | | + | | Онлайновое обучение, новости и проблемы |
| | | | ||
| | | | ||
|- | |- | ||
| 4 марта | | 4 марта | ||
- | | | + | | Анализ апостериорного распределения в сетях глубокого обучения |
- | | | + | |Аминов Тимур |
- | | | + | | [https://github.com/aminovT/NIR/raw/master/pres.pdf презентация] |
|- | |- | ||
| 11 марта | | 11 марта | ||
- | |Байесовские решающие деревья в задачах анализа текстов | + | |Метод проекций в скрытые пространства: PLS, HOPLS, NLPLS <!--- Байесовские решающие деревья в задачах анализа текстов--> |
- | | | + | |Маркин Валерий |
| | | | ||
|- | |- | ||
| 18 марта | | 18 марта | ||
|Порождающие модели (гетерогенные, Исаченко) | |Порождающие модели (гетерогенные, Исаченко) | ||
- | | | + | |Садиев Абдурахмон |
| | | | ||
|- | |- | ||
| 25 марта | | 25 марта | ||
- | |Привилегированное обучение, что-то более обоснованное, чем пишет Хинтон | + | |Привилегированное обучение и дистилляция сетей, что-то более обоснованное, чем пишет Хинтон |
- | | | + | |Григорьев Алексей |
| | | | ||
|- | |- | ||
| 1 апреля | | 1 апреля | ||
|Частичное обучение (Semi-supervised learning, Transductive learning) | |Частичное обучение (Semi-supervised learning, Transductive learning) | ||
- | | | + | |Вареник Наталия |
| | | | ||
|- | |- | ||
Строка 199: | Строка 200: | ||
| 15 апреля | | 15 апреля | ||
|Инварианты в задачах глубокого обучения, откуда берутся, как их проектировать в структуре сетей | |Инварианты в задачах глубокого обучения, откуда берутся, как их проектировать в структуре сетей | ||
- | | | + | |Безносиков Александр |
| | | | ||
|- | |- | ||
| 22 апреля | | 22 апреля | ||
- | | | + | |Active learning |
- | | | + | |Юсупов Игорь |
| | | | ||
|- | |- | ||
Строка 213: | Строка 214: | ||
|- | |- | ||
| 6 мая | | 6 мая | ||
- | | | + | |Байесовское программирование, проблемы и тренды (Салахутдинов) |
| | | | ||
| | | |
Версия 20:53, 8 марта 2020
Фундаментальные теоремы машинного обучения
Мотивация
- Диссертации к.ф.-м.н. должны содержать обоснованный математический аппрат и теоремы. Студенческие дипломные работы с теоремами приветствуются.
- Подготовка сборника коллективом авторов.
Содержание |
Темы лекций
- Теорема о сингулярном разложении Молер-Форсайт и другие разложения
- Метод главных компонент Рао и разложение Карунена-Лоэва
- Теоремы Колмогорова и Арнольда, теорема об универсальном аппроксиматоре Цыбенко, теорема о глубоких нейросетях
- Теорема о бесплатных обедах в машинном обучении, Волперт
- Метрические пространства: RKHS Аронжайн, теорема Мерсера
- Теорема схем, Холланд
- Теорема о свертке (Фурье, свертка, автокорреляция) с примерами сверточных сетей
- Обратная теорема Фурье, теорема Парсеваля (равномерная и неравномерная сходимость)
- РАС-learning, теорема о том, что сжатие предполагает обучаемость
- Representer theorem, Schölkopf, Herbrich, and Smola
- Вариационная аппроксимация
- Сходимость про вероятности при выборе моделей
- Теорема о связи распределений в экспонентном семействе
- (? Теорема про бандитов)
- (? Копулы и теорема Скляра)
- The Gauss-Markov Theorem
Предлагаемый план изложения материала:
- Введение: основное сообщение теоремы в понятном (не обязательно строгом) изложении
- Вводная часть: определение терминов и сведения, необходимые для изложения (обозначения можно использовать авторские или [ссылка на обозначения Б.А.С.])
- Формулировка и доказательство теоремы в строгом изложении (можно отходить от авторского варианта, если нужно для ясности)
- Значимость теоремы: обзор методов и приложений, иллюстрирующих теорему
Сылка на проект
Расписание лекций
Дата (можно менять, но согласовывать с другими) | Тема | Лектор | Ссылки |
---|---|---|---|
19 февраля | Теорема о сингулярном разложении Молер-Форсайт, МГК, и другие разложения | Роман Исаченко | |
26 февраля | Теоремы Колмогорова и Арнольда, теорема об универсальном аппроксиматоре Цыбенко, теорема о глубоких нейросетях | Марк Потанин | |
4 марта | Берштейн - фон Мизес | Андрей Грабовой | |
11 марта | РАС обучаемость, теорема о том, что сжатие предполагает обучаемость | Тамаз Гадаев | |
18 марта | Теорема о бесплатных обедах в машинном обучении, Волперт | Радослав Нейчев | |
25 марта | Сходимость про вероятности при выборе моделей | Марк Потанин | |
1 апреля | Теорема схем, Холланд | Радослав Нейчев | |
8 апреля | Метрические пространства: RKHS Аронжайн, теорема Мерсера | Алексей Гончаров | |
15 апреля | Теорема о свертке (Фурье, свертка, автокорреляция) с примерами сверточных сетей | Филипп Никитин | |
22 апреля | Representer theorem, Schölkopf, Herbrich, and Smola | ||
29 апреля | Обратная теорема Фурье, теорема Парсеваля (равномерная и неравномерная сходимость) | Филипп Никитин | |
6 мая | Вариационная аппроксимация, теорема о байесовском выборе моделей | Олег Бахтеев |
Темы докладов
Источник: научные статьи последних лет. Продолжительность: 30 минут.
Цели:
- Раскрыть проблему постановки и решения задачи машинного обучения и анализа данных в данной теме.
- Подобрать примеры постановки и решения известных (а может и узкоспециальных) задач.
Рекомендации к стилю изложения:
- дать основные определения этой области,
- вводимые обозначения должны быть удобны и непротиворечивы,
- используемые термины должны быть точны,
- дать теоретические постановки задач,
- желательно (!) привести теоретические примеры решения и его основные свойства,
- представить математические методы,
- привести примеры прикладных задач.
Тест 5-10 минут: докладчик готовит 5 вопросов, требующих краткий ответ на понимание и акцентирующих внимание на важных элементах доклада.
Не рекомендуется:
- копипаста из статей, особенно бессмысленная,
- увеличение объема материала за счет снижения качества,
- использование картинок, по которым нельзя однозначно восстановить модель (алгоритм) или понять свойства.
Principle of definitions, ССС: Correct, Complete, Concise (корректно, полно, сжато).
- Байесовское программирование, проблемы и тренды (Салахутдинов)
- Онлайновое обучение, проблемы и новости
- Байесовские решающие деревья в задачах анализа текстов
- Порождающие модели (гетерогенные, Исаченко)
- Достижения и проблемы RL
- Active learning
- Привилегированное обучение
- Частичное обучение (Semi-supervised learning, Transductive learning)
- Косвенное обучение (Transfer learning)
- Инварианты в задачах глубокого обучения, откуда берутся, как их проектировать в структуре сетей
- Атаки на сети: теоретический анализ
Расписание докладов
Дата (можно менять, но согласовывать с другими) | Тема | Докладчик | Ссылки |
---|---|---|---|
19 февраля | Достижения и проблемы RL | Гришанов Алексей | презентация |
26 февраля | Онлайновое обучение, новости и проблемы | ||
4 марта | Анализ апостериорного распределения в сетях глубокого обучения | Аминов Тимур | презентация |
11 марта | Метод проекций в скрытые пространства: PLS, HOPLS, NLPLS | Маркин Валерий | |
18 марта | Порождающие модели (гетерогенные, Исаченко) | Садиев Абдурахмон | |
25 марта | Привилегированное обучение и дистилляция сетей, что-то более обоснованное, чем пишет Хинтон | Григорьев Алексей | |
1 апреля | Частичное обучение (Semi-supervised learning, Transductive learning) | Вареник Наталия | |
8 апреля | Косвенное обучение (Transfer learning) | Северилов Павел | |
15 апреля | Инварианты в задачах глубокого обучения, откуда берутся, как их проектировать в структуре сетей | Безносиков Александр | |
22 апреля | Active learning | Юсупов Игорь | |
29 апреля | Атаки на сети: теоретический анализ | Панченко Святослав | |
6 мая | Байесовское программирование, проблемы и тренды (Салахутдинов) |
Для справки
- Оценивание 50 курс А.А., 25 теоремы, 18 доклад, 7 ответы на вопросы.
- Короткий адрес страницы http://bit.ly/2U3ExKd
- 29 апреля прездащита (слайды, текст), 20 мая зачет НИР, 10 июня предзащита, 24 июня защита бакалаврских работ
- Основная статья
О защите дипломных работ
Структура введения
Структура презентации
Отзыв научного руководителя