Математические основы теории прогнозирования (курс лекций)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
Строка 1: Строка 1:
__NOTOC__
__NOTOC__
-
[[Изображение:MOTP_intro_fig1.jpg|200px|left]]
+
{| border="0"
 +
|[[Изображение:MOTP_intro_fig1.jpg|200px]]  
 +
| valign="top"|Курс посвящен основным математическим методам решения задач [[Машинное обучение|машинного обучения]] (распознавания, классификации, прогнозирования, анализа данных). Эти методы широко используются при решении задач из разных прикладных областей (экономика, финансы, медицина, бизнес, геология, химия и др.), например, прогноз результатов лечения, предсказание свойств химических соединений, распознавание речи, анализ поведения, диагностика состояния оборудования, прогноз урожайности и т.д. Задачей курса также является ознакомление с основными математическими теориями, которые используются при построении алгоритмов распознавания, такими как алгебра, математическая статистика, методы оптимизации, дискретная математика и др.
 +
|}
-
Курс посвящен основным математическим методам решения задач [[Машинное обучение|машинного обучения]] (распознавания, классификации, прогнозирования, анализа данных). Эти методы широко используются при решении задач из разных прикладных областей (экономика, финансы, медицина, бизнес, геология, химия и др.), например, прогноз результатов лечения, предсказание свойств химических соединений, распознавание речи, анализ поведения, диагностика состояния оборудования, прогноз урожайности и т.д. Задачей курса также является ознакомление с основными математическими теориями, которые используются при построении алгоритмов распознавания, такими как алгебра, математическая статистика, методы оптимизации, дискретная математика и др.
+
Лектор: [[Участник:Сенько Олег|д.ф.-м.н. Сенько Олег Валентинович]]
-
 
+
-
== Контрольная работа ==
+
-
 
+
-
Для получения допуска к экзамену необходимо успешно написать контрольную работу. Оценка за контрольную работу будет учитываться на экзамене.
+
-
 
+
-
[[Media:MOTP11_test_sum.pdf|Примерный вариант задания на контрольной (PDF)]]
+
-
 
+
-
[[Media:MOTP11_comments.pdf|Комментарии по результатам первой контрольной работы (PDF)]]
+
-
 
+
-
=== Список студентов, допущенных к экзамену по результатам двух попыток написаний контрольной работы ===
+
-
В фамилиях и номерах групп возможны неточности, т.к. почерк не всегда легко разобрать.
+
-
 
+
-
{| class="standard"
+
-
!Группа 420|| Группа 421 || Группа 422 || Группа 424 || Группа 425 || Группа 427 || Группа 428 || СФ
+
-
|-
+
-
|Степанец А.|| Чернышов Ю. || Плакунов А. || Крутов В. || Капитанова В. || Касимова А. || Гисков Г. || Сребняк
+
-
|-
+
-
|Исламгулов И.|| Гончаров А. || Беликов || Кривобородов Е. || Джумаев С. || Борзилов || Спихальский Д.
+
-
|-
+
-
|Бикинеев А. || Жданов В. || Носеевич Г. || Куликов В. || Лисицкий В. || Бакулин М. || Черникова Т.
+
-
|-
+
-
|Бакмеев А. || Еремина О. || Вдовин П. || Творогов || Бурцев М. || Кадысев М. || Мандрыкин М.
+
-
|-
+
-
|Федорова А. || Ермишин || Касьяненко || Ульянов А. || Родионов А. || Варманов С. || Карпулевич Е.
+
-
|-
+
-
|Станченко || Зипа || Зотов И. || Иванкова || Джигайло П. || Фомичев Н. || Рязанцев Д.
+
-
|-
+
-
|Лихогруд || Лебедев || Субботин Н. || Кудасов || Боловинцева || Зуев А. || Куприн И.
+
-
|-
+
-
|Веселый || Пестун М. || Зайцев || Родимова П. || Рощупкин А. || Майков А. || Щербамкин Е.
+
-
|-
+
-
|Бурдаков Д. || Афанасьев В.|| Гребенкина || Медведев А. || Мытрова М. || Лагута А. || Рябов С.
+
-
|-
+
-
|Новиков К. || Русланова А. || Лопухина || Клычков Д. || Жаров С. || Бочкарев П. || Пироженко А.
+
-
|-
+
-
|Смоляров И. || Сахаров А. || Мартьянов || Кондратова || Власенко А. || Коваленко А. || Крылов В.
+
-
|-
+
-
|Никеров А. || Клименко || Щербинина А. || Струнов || Волков || Платонов В. || Сергеев Н.
+
-
|-
+
-
|Васильев А. || || Раздобаров || || || Перту Л. || Баранов Л.
+
-
|-
+
-
|Воробьев Д. || || Снегирев Л. || || || Кошелев В. || Суханова
+
-
|-
+
-
|Сильвестров А. || || || || || Ермаков || Камаев
+
-
|-
+
-
|Киселев || || || || || Щербина || Сиващенко
+
-
|-
+
-
| || || || || || Меркулов Д. || Утехин
+
-
|-
+
-
| || || || || || Аноховский С. || Стариков
+
-
|-
+
-
| || || || || || Пантелеев И. || Бартунов С.
+
-
|-
+
-
| || || || || || Терещенко В. || Буздалов
+
-
|-
+
-
| || || || || || Рязанов В. ||
+
-
|-
+
-
| || || || || || Павлович ||
+
-
|-
+
-
|}
+
-
 
+
-
Список студентов, допущенных к пересдаче по результатам контрольной:
+
-
 
+
-
{| class="standard"
+
-
|Коваленко П., 427
+
-
|-
+
-
|Селезнев В., 428
+
-
|-
+
-
|Мяков П., 421
+
-
|-
+
-
|Гейнрихс А., 428
+
-
|-
+
-
|Серов, 425
+
-
|-
+
-
|Швец П., 420
+
-
|-
+
-
|Межбицкий А., 425
+
-
|-
+
-
|Талалуев, СФ
+
-
|-
+
-
|Корольков С., СФ
+
-
|-
+
-
|Тупицин П., 425
+
-
|-
+
-
|Григорян К., 421
+
-
|-
+
-
|}
+
-
 
+
-
Следующие студенты не допущены к пересдаче экзамена:
+
-
{| class="standard"
+
-
|Нетребко С., 424
+
-
|-
+
-
|Маргасюк А., 421
+
-
|-
+
-
|}
+
-
 
+
-
== Экзамен ==
+
-
К экзамену допускаются только те студенты, которые успешно справились с контрольной работой. На экзамене при подготовке билета разрешается пользоваться любыми материалами. При ответе ничем пользоваться нельзя.
+
-
 
+
-
[[Media:MOTP11_exam_questions.pdf|Вопросы к экзамену (PDF, 145Кб)]]
+
-
 
+
-
[[Media:MOTP11_exam_teormin.pdf|Теоретический минимум (PDF, 105Кб)]]
+
-
 
+
-
== Практическое задание ==
+
-
Всем студентам, имеющим задолженность по курсу (в первую очередь, студентам Севастопольского филиала), предлагается возможность выполнить [[Математические основы теории прогнозирования (курс лекций, Ю.И. Журавлев, Д.П. Ветров)/2011/Задание СФ|практическое задание]]. Оценка за это задание будет засчитана в качестве итоговой оценки за курс (при условии наличия допуска к экзамену по результатам контрольной работы). Выполнение данного задания не является обязательным для московских студентов ВМиК. Оно является лишь альтернативой пересдаче осенью.
+
== Программа курса ==
== Программа курса ==
-
 
-
=== ЧАСТЬ 1 (лектор [[Участник:Dmitry Vetrov|Д.П. Ветров]]) ===
 
==== Различные постановки задач [[Машинное обучение|машинного обучения]] ====
==== Различные постановки задач [[Машинное обучение|машинного обучения]] ====
Строка 118: Строка 14:
''Ликбез'': основные понятия теории вероятностей (математическое ожидание, дисперсия, ковариационная матрица, плотность вероятности, функция правдоподобия)
''Ликбез'': основные понятия теории вероятностей (математическое ожидание, дисперсия, ковариационная матрица, плотность вероятности, функция правдоподобия)
-
 
-
[[Media:MOTP11_1.pdf‎|Презентация (PDF, 229 КБ)]]
 
-
 
-
<u>Настоятельно рекомендуется к прочтению:</u> [[Media:Voron-ML-Intro1.pdf|Вводная лекция]] из курса [[Машинное обучение (курс лекций, К.В.Воронцов)|Машинное обучение]] [[Участник:Vokov|К.В. Воронцова]].
 
==== Методы [[Многомерная линейная регрессия|линейной]] и [[Логистическая регрессия|логистической]] регрессии. Регуляризация обучения. ====
==== Методы [[Многомерная линейная регрессия|линейной]] и [[Логистическая регрессия|логистической]] регрессии. Регуляризация обучения. ====
Строка 127: Строка 19:
''Ликбез'': [[Нормальное распределение|нормальное распределение]], псевдообращение матриц и нормальное псевдорешение.
''Ликбез'': [[Нормальное распределение|нормальное распределение]], псевдообращение матриц и нормальное псевдорешение.
-
 
-
[[Media:MOTP11_2.pdf| Презентация (PDF, 593 КБ)]]
 
==== [[Машина опорных векторов|Метод опорных векторов]] ====
==== [[Машина опорных векторов|Метод опорных векторов]] ====
Строка 134: Строка 24:
''Ликбез'': решение задач условной оптимизации, правило множителей Лагранжа, переход к двойственной задаче.
''Ликбез'': решение задач условной оптимизации, правило множителей Лагранжа, переход к двойственной задаче.
-
 
-
[[Media:MOTP11_3.pdf|Презентация (PDF, 393 Кб)]]
 
-
 
-
<u>Настоятельно рекомендуется к прочтению:</u> [[Media:SMAIS11_SVM.pdf|Лекция]] из курса [[Структурные методы анализа изображений и сигналов (курс лекций)|СМАИС]].
 
-
 
-
==== Скрытые марковские модели (СММ). Алгоритм сегментации сигнала. ====
 
-
 
-
Примеры задач сегментации сигналов. Обучение СММ с учителем. Поиск наиболее вероятной последовательности состояний. [[ЕМ-алгоритм|ЕМ-алгоритм]] и его использование для решения задачи кластеризации.
 
-
 
-
''Ликбез'': динамическое программирование
 
-
 
-
[[Media:MOTP11_4.pdf|Презентация (PDF, 723 Кб)]]
 
==== Уменьшение размерности описания данных. [[Метод главных компонент]] ====
==== Уменьшение размерности описания данных. [[Метод главных компонент]] ====
Проблема анализа многомерных данных. Метод главных компонент. Выбор размерности редуцированного пространства. Эффективные формулы метода главных компонент для случая, когда число объектов меньше числа признаков. Ядровая версия метода главных компонент.
Проблема анализа многомерных данных. Метод главных компонент. Выбор размерности редуцированного пространства. Эффективные формулы метода главных компонент для случая, когда число объектов меньше числа признаков. Ядровая версия метода главных компонент.
-
 
-
[[Media:MOTP11_5.pdf| Конспект лекции (PDF, 881Кб)]]
 
-
 
-
=== ЧАСТЬ 2 (лектор [[Журавлев, Юрий Иванович|Ю.И. Журавлев]]) ===
 
Стандартная задача распознавания. Алгоритм «Кора».
Стандартная задача распознавания. Алгоритм «Кора».
Строка 166: Строка 40:
Представление алгоритма как композиции распознающего оператора и фиксированного решающего правила. Алгебры над алгоритмами. Отмеченные точки в контрольной матрице. Построение корректного алгоритма, если найдена совокупность операторов, отмечающих все единичные точки информационных векторов контрольной матрицы.
Представление алгоритма как композиции распознающего оператора и фиксированного решающего правила. Алгебры над алгоритмами. Отмеченные точки в контрольной матрице. Построение корректного алгоритма, если найдена совокупность операторов, отмечающих все единичные точки информационных векторов контрольной матрицы.
-
 
-
[[Media:MOTP08_Zhuravlev.pdf|Конспекты лекций 2008 года (PDF, 402Кб)]]
 
== Литература ==
== Литература ==
Строка 175: Строка 47:
# Ветров Д.П., Кропотов Д.А. ''Байесовские методы машинного обучения'', учебное пособие по спецкурсу, 2007 ([[Медиа:BayesML-2007-textbook-1.pdf|Часть 1, PDF 1.22МБ]]; [[Медиа:BayesML-2007-textbook-2.pdf|Часть 2, PDF 1.58МБ]])
# Ветров Д.П., Кропотов Д.А. ''Байесовские методы машинного обучения'', учебное пособие по спецкурсу, 2007 ([[Медиа:BayesML-2007-textbook-1.pdf|Часть 1, PDF 1.22МБ]]; [[Медиа:BayesML-2007-textbook-2.pdf|Часть 2, PDF 1.58МБ]])
# Bishop C.M. [http://research.microsoft.com/en-us/um/people/cmbishop/prml/ ''Pattern Recognition and Machine Learning''.] Springer, 2006.
# Bishop C.M. [http://research.microsoft.com/en-us/um/people/cmbishop/prml/ ''Pattern Recognition and Machine Learning''.] Springer, 2006.
 +
 +
== Страницы курса прошлых лет ==
 +
[[МОТП/2011|2011 год]]
== Ссылки ==
== Ссылки ==

Версия 13:11, 3 февраля 2012


   Курс посвящен основным математическим методам решения задач машинного обучения (распознавания, классификации, прогнозирования, анализа данных). Эти методы широко используются при решении задач из разных прикладных областей (экономика, финансы, медицина, бизнес, геология, химия и др.), например, прогноз результатов лечения, предсказание свойств химических соединений, распознавание речи, анализ поведения, диагностика состояния оборудования, прогноз урожайности и т.д. Задачей курса также является ознакомление с основными математическими теориями, которые используются при построении алгоритмов распознавания, такими как алгебра, математическая статистика, методы оптимизации, дискретная математика и др.

Лектор: д.ф.-м.н. Сенько Олег Валентинович

Программа курса

Различные постановки задач машинного обучения

Обзор задач анализа данных: классификация, регрессия, кластеризация, идентификация, прогнозирование. Примеры. Историческая справка. Основные проблемы теории распознавания образов: переобучение, противоречивость информации, малый объем выборки. Иллюстративные примеры переобучения, связь переобучения и объема выборки.

Ликбез: основные понятия теории вероятностей (математическое ожидание, дисперсия, ковариационная матрица, плотность вероятности, функция правдоподобия)

Методы линейной и логистической регрессии. Регуляризация обучения.

Метод максимального правдоподобия. Формальные обозначения, генеральная совокупность, критерии качества обучения как точности на генеральной совокупности. Вывод выражения для идеальных решающих правил. Способы введения функции правдоподобия для задачи регрессии и классификации. Выражение для коэффициентов линейной регрессии, хэт-матрица. Метод наименьших квадратов с итеративно-перевзвешивающимися весами. Необходимость ридж-оценивания для устранения вырожденности гессиана.

Ликбез: нормальное распределение, псевдообращение матриц и нормальное псевдорешение.

Метод опорных векторов

Линейный классификатор. Гиперплоскость, максимизирующая зазор между классами. Обучение классификатора как задача квадратичного программирования. Получение двойственной задачи для задачи квадратичного программирования. Ядровой переход. Опорные объекты. Настройка параметров метода.

Ликбез: решение задач условной оптимизации, правило множителей Лагранжа, переход к двойственной задаче.

Уменьшение размерности описания данных. Метод главных компонент

Проблема анализа многомерных данных. Метод главных компонент. Выбор размерности редуцированного пространства. Эффективные формулы метода главных компонент для случая, когда число объектов меньше числа признаков. Ядровая версия метода главных компонент.

Стандартная задача распознавания. Алгоритм «Кора».

Тестовый алгоритм. Система уравнений, определяющих тупиковые тесты. Таблица обучения с двумя классами объектов. Основные упрощающие формулы при умножении левых частей тестовых уравнений.

Обоснование способа построения всех тупиковых тестов через приведение системы тестовых уравнений к неупрощаемой ДНФ.

Алгоритм вычисления оценок (АВО). Шаги определения, полный перечень параметров. Итоговая формула для числа голосов.

Эффективные формулы вычисления оценок в АВО.

Представление алгоритма как композиции распознающего оператора и фиксированного решающего правила. Алгебры над алгоритмами. Отмеченные точки в контрольной матрице. Построение корректного алгоритма, если найдена совокупность операторов, отмечающих все единичные точки информационных векторов контрольной матрицы.

Литература

  1. Журавлёв Ю.И. Избранные научные труды. – М.: «Магистр», 1998.– 420с.
  2. Журавлев Ю.И., Рязанов В.В., Сенько О.В. Распознавание. Математические методы. Программная система. Практические применения, М.: Фазис, 2006. (ISBN 5-7036-0108-8)
  3. Дьяконов А.Г. Алгебра над алгоритмами вычисления оценок: Учебное пособие. – М.: Издательский отдел ф-та ВМиК МГУ им. М.В. Ломоносова, 2006. – 72с. (ISBN 5-89407-252-2)
  4. Ветров Д.П., Кропотов Д.А. Байесовские методы машинного обучения, учебное пособие по спецкурсу, 2007 (Часть 1, PDF 1.22МБ; Часть 2, PDF 1.58МБ)
  5. Bishop C.M. Pattern Recognition and Machine Learning. Springer, 2006.

Страницы курса прошлых лет

2011 год

Ссылки

Машинное обучение (курс лекций, К.В. Воронцов)

Алгоритмы, модели, алгебры (курс лекций, Ю.И. Журавлев, А.Г. Дьяконов)

Байесовские методы машинного обучения (спецкурс, Д.П. Ветров, Д.А. Кропотов, А.А. Осокин)

Структурные методы анализа изображений и сигналов (спецкурс, Д.П. Ветров, Д.А. Кропотов, А.А. Осокин)

Форум студентов ВМиК с обсуждением курса

Информация о курсе на викиресурсе Esyr

Математические методы прогнозирования (кафедра ВМиК МГУ)

Источник — «http://www.machinelearning.ru/wiki/index.php?title=%D0%9C%D0%B0%D1%82%D0%B5%D0%BC%D0%B0%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B5_%D0%BE%D1%81%D0%BD%D0%BE%D0%B2%D1%8B_%D1%82%D0%B5%D0%BE%D1%80%D0%B8%D0%B8_%D0%BF%D1%80%D0%BE%D0%B3%D0%BD%D0%BE%D0%B7%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F_%28%D0%BA%D1%83%D1%80%D1%81_%D0%BB%D0%B5%D0%BA%D1%86%D0%B8%D0%B9%29»
Личные инструменты