Фундаментальные теоремы машинного обучения/Группа 674 (практика, М.С. Потанин, В.В. Стрижов)

Материал из MachineLearning.

Версия 18:29, 27 января 2021

Основная статья: Численные методы обучения по прецедентам (практика, В.В. Стрижов)

Мотивация и план курса

Цель курса — повысить качество студенческих научных работ на кафедре, сделать статьи и дипломные работы более обоснованными, изучить технику и практику формулировок доказательства теорем в области машинного обучения. Результат курса - теоретически обоснованные сообщения дипломных работ бакалавра.

Каждое занятие курса:

1. Доклад лектора — одна из фундаментальных теорем (40' = 30' + 10' обсуждение)
2. Два студенческих доклада (20'=15'+5' обсуждение)

Каждый студент делает два доклада:

1. С теоремой взятой из литературы, по которой выполняется дипломная работа
2. С собственной теоремой, обосновывающей решение, предлагаемое в дипломное работе

Приветствуются!

• Варианты собственных формулировок и доказательств
• Значимые высказывания ведущих исследователей, оформленные в виде теорем (пример изложения Кристофера Бишопа)

План изложения материала:

1. Введение: основное сообщение теоремы в понятном (не обязательно строгом) изложении
2. Вводная часть: определение терминов и сведения, необходимые для изложения (обозначения можно использовать авторские или [ссылка на обозначения Б.А.С.])
3. Формулировка и доказательство теоремы в строгом изложении (но можно отходить от авторского варианта, если это нужно для ясности)
4. Значимость теоремы: ссылки или обзор методов и приложений, иллюстрирующих теорему

Оформление:

• В виде страницы текста, пример [ссылка], шаблон [ссылка]
• Слайды приветствуются, но необязательны
• Очень приветствуются поясняющие рисунки, диаграммы, графики (можно от руки)

Материалы курса:

• Проект на GitHub для загрузки докладов Intelligent-Systems-Phystech/FundamentalTheoremsML
• Канал Youtube Machine Learning
• Ссылка на сессию Zoom

Оценивание:

• Доклад и материалы к нему 0-4 балла (по сравнению)
• Не по расписанию делим на два
• Экзамен 2 балла

Расписание докладов

Темы лекций

1. Теорема Гаусса-Маркова
2. Теорема о сингулярном разложении Молер-Форсайт и другие разложения
3. Метод главных компонент Рао и разложение Карунена-Лоэва
4. Теоремы Колмогорова и Арнольда, теорема об универсальном аппроксиматоре Цыбенко, теорема о глубоких нейросетях
5. Теорема о бесплатных обедах в машинном обучении, Волперт
6. Метрические пространства: RKHS Аронжайн, теорема Мерсера
7. Теорема схем, Холланд
8. Теорема о свертке (Фурье, свертка, автокорреляция) с примерами сверточных сетей
9. Обратная теорема Фурье, теорема Парсеваля (равномерная и неравномерная сходимость)
10. РАС-learning, теорема о том, что сжатие предполагает обучаемость
11. Representer theorem, Schölkopf, Herbrich, and Smola
12. Вариационная аппроксимация
13. Сходимость про вероятности при выборе моделей
14. Теорема о связи распределений в экспонентном семействе
15. Теорема о многоруких бандитах
16. Копулы и теорема Скляра

Расписание лекций

Литература