Методы оптимизации в машинном обучении (курс лекций)/2020

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Лекции)
Строка 42: Строка 42:
| 7
| 7
| Задачи условной оптимизации, теорема ККТ. || [https://youtu.be/oyjetycMeWY видео]
| Задачи условной оптимизации, теорема ККТ. || [https://youtu.be/oyjetycMeWY видео]
 +
|-
 +
| 8
 +
| Метод Ньютона и метод логарифмических барьеров для выпуклых задач условной оптимизации. || [https://youtu.be/ShKWvMtisc0 видео]
|-
|-
|}
|}
Строка 57: Строка 60:
| 7
| 7
| Задачи условной оптимизации, теорема ККТ. || [https://youtu.be/-0TFkqqVt_A видео]
| Задачи условной оптимизации, теорема ККТ. || [https://youtu.be/-0TFkqqVt_A видео]
 +
|-
 +
| 8
 +
| Двойственность, эквивалентные преобразование задач. ||
|-
|-
|}
|}

Версия 15:55, 3 апреля 2020

Настройка модели алгоритмов по данным — это задача оптимизации, от эффективности решения которой зависит практическая применимость метода машинного обучения. В эпоху больших данных многие классические алгоритмы оптимизации становятся неприменимы, т.к. здесь требуется решать задачи оптимизации функций за время меньшее, чем необходимо для вычисления значения функции в одной точке. Таким требованиям можно удовлетворить в случае грамотного комбинирования известных подходов в оптимизации с учётом конкретной специфики решаемой задачи. Курс посвящен изучению классических и современных методов решения задач непрерывной оптимизации (в том числе невыпуклой), а также особенностям применения этих методов в задачах оптимизации, возникающих в машинном обучении. Наличие у слушателей каких-либо предварительных знаний по оптимизации не предполагается, все необходимые понятия разбираются в ходе занятий. Основной акцент в изложении делается на практические аспекты реализации и использования методов. Целью курса является выработка у слушателей навыков по подбору подходящего метода для своей задачи, наиболее полно учитывающего её особенности.

Преподаватели: Кропотов Д.А., Бобров Евгений, Таскынов Ануар, Шаповалов Никита, Гадецкий Артём, Гринберг Вадим.

Занятия проходят: по пятницам, лекция с 14-35 до 16-10, семинар с 16-20 до 17-55. Ссылка на zoom.

Инвайт в AnyTask: EMdZUhf

Таблица с оценками: ???

Все вопросы по курсу можно задавать в Telegram группе

Система выставления оценок по курсу

Лекции

№ п/п Занятие Материалы
1 Введение в курс. Классы функций в оптимизации. Скорости сходимости. Неточная одномерная оптимизация. Скорости сходимости последовательностей
2 Метод градиентного спуска.
3 Матричные разложения и метод Ньютона.
4 Метод сопряжённых градиентов для решения СЛАУ.
5 Неточный/безгессианный метод Ньютона.
6 Квазиньютоновские методы.
7 Задачи условной оптимизации, теорема ККТ. видео
8 Метод Ньютона и метод логарифмических барьеров для выпуклых задач условной оптимизации. видео

Семинары

№ п/п Занятие Материалы
1 Метод градиентного спуска.
7 Задачи условной оптимизации, теорема ККТ. видео
8 Двойственность, эквивалентные преобразование задач.

Дополнительный материал

  1. Матрично-векторные скалярные произведения и нормы.
  2. Методы сопряженных градиентов.
  3. Самосогласованные функции и метод Ньютона.
  4. Метод зеркального спуска.

Домашние задания

Практические задания

Литература

  1. J. Nocedal, S. Wright. Numerical Optimization, Springer, 2006.
  2. A. Ben-Tal, A. Nemirovski. Optimization III. Lecture Notes, 2013.
  3. Y. Nesterov. Introductory Lectures on Convex Optimization: A Basic Course, Springer, 2003.
  4. Ю.Е. Нестеров. Методы выпуклой оптимизации, МЦНМО, 2010
  5. S. Boyd, L. Vandenberghe. Convex Optimization, Cambridge University Press, 2004.
  6. J.-P. Hiriart-Urruty, C. Lemaréchal. Convex Analysis and Minimization Algorithms I: Fundamentals and Convex Analysis and Minimization Algorithms II: Advanced Theory and Bundle Methods, Springer-Verlag Berlin Heidelberg, 1993.
  7. D. Bertsekas. Convex Analysis and Optimization, Athena Scientific, 2003.
  8. Б.Т. Поляк. Введение в оптимизацию, Наука, 1983.
  9. J. Duchi. Introductory Lectures on Stochastic Optimization, Graduate Summer School Lectures, 2016.
  10. S. Sra et al.. Optimization for Machine Learning, MIT Press, 2011.

Архив

2018 год

2017 год

2016 год

2015 год

2014 год

2012 год

См. также

Курс «Графические модели»

Курс «Байесовские методы в машинном обучении»

Спецсеминар «Байесовские методы машинного обучения»

Математические методы прогнозирования (кафедра ВМиК МГУ)

Личные инструменты