Фундаментальные теоремы машинного обучения/Группа 674 (практика, М.С. Потанин, В.В. Стрижов)
Материал из MachineLearning.
(Различия между версиями)
м («Математические методы прогнозирования (лекции, В.В. Стрижов)/Группа 674, весна 2021» переименована в «[[Фундаментальные теоремы машинного о) |
|||
Строка 1: | Строка 1: | ||
+ | {{Main|Численные методы обучения по прецедентам (практика, В.В. Стрижов)}} | ||
+ | |||
+ | ==Мотивация и план курса== | ||
+ | |||
Цель курса — повысить качество студенческих научных работ на кафедре, сделать статьи и дипломные работы более обоснованными, изучить технику и практику формулировок доказательства теорем в области машинного обучения. Результат курса - теоретически обоснованные сообщения дипломных работ бакалавра. | Цель курса — повысить качество студенческих научных работ на кафедре, сделать статьи и дипломные работы более обоснованными, изучить технику и практику формулировок доказательства теорем в области машинного обучения. Результат курса - теоретически обоснованные сообщения дипломных работ бакалавра. | ||
- | Каждое занятие курса: | + | ===Каждое занятие курса:=== |
- | # Доклад лектора — одна из | + | # Доклад лектора — одна из фундаментальных теорем (40' = 30' + 10' обсуждение) |
# Два студенческих доклада (20'=15'+5' обсуждение) | # Два студенческих доклада (20'=15'+5' обсуждение) | ||
- | Каждый студент делает два доклада: | + | ===Каждый студент делает два доклада:=== |
# С теоремой взятой из литературы, по которой выполняется дипломная работа | # С теоремой взятой из литературы, по которой выполняется дипломная работа | ||
# С собственной теоремой, обосновывающей решение, предлагаемое в дипломное работе | # С собственной теоремой, обосновывающей решение, предлагаемое в дипломное работе | ||
- | Приветствуются! | + | ===Приветствуются!=== |
* Варианты собственных формулировок и доказательств | * Варианты собственных формулировок и доказательств | ||
* Значимые высказывания ведущих исследователей, оформленные в виде теорем (пример изложения Кристофера Бишопа) | * Значимые высказывания ведущих исследователей, оформленные в виде теорем (пример изложения Кристофера Бишопа) | ||
- | План изложения материала: | + | ===План изложения материала:=== |
# Введение: основное сообщение теоремы в понятном (не обязательно строгом) изложении | # Введение: основное сообщение теоремы в понятном (не обязательно строгом) изложении | ||
# Вводная часть: определение терминов и сведения, необходимые для изложения (обозначения можно использовать авторские или [ссылка на обозначения Б.А.С.]) | # Вводная часть: определение терминов и сведения, необходимые для изложения (обозначения можно использовать авторские или [ссылка на обозначения Б.А.С.]) | ||
# Формулировка и доказательство теоремы в '''строгом''' изложении (но можно отходить от авторского варианта, если это нужно для ясности) | # Формулировка и доказательство теоремы в '''строгом''' изложении (но можно отходить от авторского варианта, если это нужно для ясности) | ||
# Значимость теоремы: ссылки или обзор методов и приложений, иллюстрирующих теорему | # Значимость теоремы: ссылки или обзор методов и приложений, иллюстрирующих теорему | ||
+ | |||
+ | ===Оформление:=== | ||
+ | * В виде страницы текста, пример [ссылка], шаблон [ссылка] | ||
+ | * Слайды приветствуются, но необязательны | ||
+ | * Очень приветствуются поясняющие рисунки, диаграммы, графики (можно от руки) | ||
+ | |||
+ | ===Материалы курса:=== | ||
+ | * Проект на GitHub для загрузки докладов [https://github.com/Intelligent-Systems-Phystech/FundamentalTheoremsML Intelligent-Systems-Phystech/FundamentalTheoremsML] | ||
+ | * Канал Youtube [https://www.youtube.com/channel/UC90B3Y_FbBRrRQk5TCiKgSA Machine Learning] | ||
+ | * Ссылка на сессию Zoom | ||
+ | |||
+ | ===Оценивание:=== | ||
+ | * Доклад и материалы к нему 0-4 балла (по сравнению) | ||
+ | * Не по расписанию делим на два | ||
+ | * Экзамен 2 балла | ||
==Расписание докладов== | ==Расписание докладов== | ||
Строка 184: | Строка 203: | ||
|- | |- | ||
|} | |} | ||
+ | |||
+ | ==Литература== |
Версия 18:29, 27 января 2021
Содержание |
Мотивация и план курса
Цель курса — повысить качество студенческих научных работ на кафедре, сделать статьи и дипломные работы более обоснованными, изучить технику и практику формулировок доказательства теорем в области машинного обучения. Результат курса - теоретически обоснованные сообщения дипломных работ бакалавра.
Каждое занятие курса:
- Доклад лектора — одна из фундаментальных теорем (40' = 30' + 10' обсуждение)
- Два студенческих доклада (20'=15'+5' обсуждение)
Каждый студент делает два доклада:
- С теоремой взятой из литературы, по которой выполняется дипломная работа
- С собственной теоремой, обосновывающей решение, предлагаемое в дипломное работе
Приветствуются!
- Варианты собственных формулировок и доказательств
- Значимые высказывания ведущих исследователей, оформленные в виде теорем (пример изложения Кристофера Бишопа)
План изложения материала:
- Введение: основное сообщение теоремы в понятном (не обязательно строгом) изложении
- Вводная часть: определение терминов и сведения, необходимые для изложения (обозначения можно использовать авторские или [ссылка на обозначения Б.А.С.])
- Формулировка и доказательство теоремы в строгом изложении (но можно отходить от авторского варианта, если это нужно для ясности)
- Значимость теоремы: ссылки или обзор методов и приложений, иллюстрирующих теорему
Оформление:
- В виде страницы текста, пример [ссылка], шаблон [ссылка]
- Слайды приветствуются, но необязательны
- Очень приветствуются поясняющие рисунки, диаграммы, графики (можно от руки)
Материалы курса:
- Проект на GitHub для загрузки докладов Intelligent-Systems-Phystech/FundamentalTheoremsML
- Канал Youtube Machine Learning
- Ссылка на сессию Zoom
Оценивание:
- Доклад и материалы к нему 0-4 балла (по сравнению)
- Не по расписанию делим на два
- Экзамен 2 балла
Расписание докладов
Докладчик | Литература | Диплом |
---|---|---|
Бишук Антон | 17.2 link | 31.3 link |
Вайсер Кирилл | 17.2 link | 31.3 link |
Гребенькова Ольга | 24.2 link | 7.4 link |
Гунаев Руслан | 24.2 link | 7.4 link |
Жолобов Владимир | 3.3 link | 14.4 link |
Исламов Рустем | 3.3 link | 14.4 link |
Панкратов Виктор | 10.3 link | 21.4 link |
Савельев Николай | 10.3 link | 21.4 link |
Филатов Андрей | 10.3 link | 21.4 link |
Филиппова Анастасия | 17.3 link | 28.4 link |
Харь Александра | 17.3 link | 28.4 link |
Христолюбов Максим | 24.3 link | 5.5 link |
Шокоров Вячеслав | 24.3 link | 5.5 link |
Темы лекций
- Теорема Гаусса-Маркова
- Теорема о сингулярном разложении Молер-Форсайт и другие разложения
- Метод главных компонент Рао и разложение Карунена-Лоэва
- Теоремы Колмогорова и Арнольда, теорема об универсальном аппроксиматоре Цыбенко, теорема о глубоких нейросетях
- Теорема о бесплатных обедах в машинном обучении, Волперт
- Метрические пространства: RKHS Аронжайн, теорема Мерсера
- Теорема схем, Холланд
- Теорема о свертке (Фурье, свертка, автокорреляция) с примерами сверточных сетей
- Обратная теорема Фурье, теорема Парсеваля (равномерная и неравномерная сходимость)
- РАС-learning, теорема о том, что сжатие предполагает обучаемость
- Representer theorem, Schölkopf, Herbrich, and Smola
- Вариационная аппроксимация
- Сходимость про вероятности при выборе моделей
- Теорема о связи распределений в экспонентном семействе
- Теорема о многоруких бандитах
- Копулы и теорема Скляра
Расписание лекций
Дата | Тема | Лектор | Ссылки |
---|---|---|---|
10 февраля | Вводное занятие | Стрижов, Потанин | |
17 февраля | Теоремы Колмогорова и Арнольда, теорема об универсальном аппроксиматоре Цыбенко, теорема о глубоких нейросетях | Марк Потанин | |
24 февраля | Теорема о сингулярном разложении Молер-Форсайт, МГК, и другие разложения | ||
4 марта | Берштейн - фон Мизес | Андрей Грабовой | |
10 марта | РАС обучаемость, теорема о том, что сжатие предполагает обучаемость | Тамаз Гадаев | |
17 марта | Теорема о бесплатных обедах в машинном обучении, Волперт | Радослав Нейчев | |
24 марта | Сходимость про вероятности при выборе моделей | Марк Потанин | |
31 марта | Теорема схем, Холланд | Радослав Нейчев | |
7 апреля | Метрические пространства: RKHS Аронжайн, теорема Мерсера | Алексей Гончаров | |
14 апреля | Теорема о свертке (Фурье, свертка, автокорреляция) с примерами сверточных сетей | Филипп Никитин | |
21 апреля | Representer theorem, Schölkopf, Herbrich, and Smola | ||
28 апреля | Обратная теорема Фурье, теорема Парсеваля (равномерная и неравномерная сходимость) | Филипп Никитин | |
5 мая | Вариационная аппроксимация, теорема о байесовском выборе моделей | Олег Бахтеев | |
12 мая | Разбор и обсуждение письменных работ: теоремы их доказательства (входящие в диплом) | Потанин, Стрижов | |
26 мая | Экзамен: схемы доказательства различных теорем (тест на время, как в гос по физике, и обсуждение) | Потанин, Адуенко, Бахтеев |