Фундаментальные теоремы машинного обучения/Группа 674 (практика, М.С. Потанин, В.В. Стрижов)

Материал из MachineLearning.

Версия 17:55, 27 января 2021

Цель курса — повысить качество студенческих научных работ на кафедре, сделать статьи и дипломные работы более обоснованными, изучить технику и практику формулировок доказательства теорем в области машинного обучения. Результат курса - теоретически обоснованные сообщения дипломных работ бакалавра.

Каждое занятие курса:

1. Доклад лектора — одна из фундаметнальных теорем (40' = 30' + 10' обсуждение)
2. Два студенческих доклада (20'=15'+5' обсуждение)

Каждый студент делает два доклада:

1. С теоремой взятой из литературы, по которой выполняется дипломная работа
2. С собственной теоремой, обосновывающей решение, предлагаемое в дипломное работе

Приветствуются!

• Варианты собственных формулировок и доказательств
• Значимые высказывания ведущих исследователей, оформленные в виде теорем (пример изложения Кристофера Бишопа)

План изложения материала:

1. Введение: основное сообщение теоремы в понятном (не обязательно строгом) изложении
2. Вводная часть: определение терминов и сведения, необходимые для изложения (обозначения можно использовать авторские или [ссылка на обозначения Б.А.С.])
3. Формулировка и доказательство теоремы в строгом изложении (но можно отходить от авторского варианта, если это нужно для ясности)
4. Значимость теоремы: ссылки или обзор методов и приложений, иллюстрирующих теорему

Расписание докладов

Темы лекций

1. Теорема Гаусса-Маркова
2. Теорема о сингулярном разложении Молер-Форсайт и другие разложения
3. Метод главных компонент Рао и разложение Карунена-Лоэва
4. Теоремы Колмогорова и Арнольда, теорема об универсальном аппроксиматоре Цыбенко, теорема о глубоких нейросетях
5. Теорема о бесплатных обедах в машинном обучении, Волперт
6. Метрические пространства: RKHS Аронжайн, теорема Мерсера
7. Теорема схем, Холланд
8. Теорема о свертке (Фурье, свертка, автокорреляция) с примерами сверточных сетей
9. Обратная теорема Фурье, теорема Парсеваля (равномерная и неравномерная сходимость)
10. РАС-learning, теорема о том, что сжатие предполагает обучаемость
11. Representer theorem, Schölkopf, Herbrich, and Smola
12. Вариационная аппроксимация
13. Сходимость про вероятности при выборе моделей
14. Теорема о связи распределений в экспонентном семействе
15. Теорема о многоруких бандитах
16. Копулы и теорема Скляра

Расписание лекций