Прикладной регрессионный анализ (курс лекций, B.В. Стрижов)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Линейные методы)
Текущая версия (06:28, 10 сентября 2013) (править) (отменить)
 
(27 промежуточных версий не показаны.)
Строка 1: Строка 1:
 +
Новое название: «Структурное обучение»
 +
Курс лекций «Прикладной регрессионный анализ» посвящен проблеме порождения и выбора регрессионных моделей и иллюстрирован практическими задачами. Он состоит из 12 лекций и рассчитан на слушателей, владеющих основами линейной алгебры и математической статистики.
Курс лекций «Прикладной регрессионный анализ» посвящен проблеме порождения и выбора регрессионных моделей и иллюстрирован практическими задачами. Он состоит из 12 лекций и рассчитан на слушателей, владеющих основами линейной алгебры и математической статистики.
-
 
-
{{tip|Страница редактируется для группы 674 вплоть до 15 сентября 2011. --[[Участник:Strijov|Strijov]] 15:25, 21 июня 2011 (MSD)}}
 
{{TOCright}}
{{TOCright}}
-
== Введение ==
 
-
* Задача регрессионного анализа, терминология
 
-
* Что такое регрессионная модель
 
-
* Примеры постановки задач регрессионного анализа
 
-
* Подстановки в линейных моделях
 
-
* Авторегрессионные модели
 
-
* Моделирование геометрических измерений
 
-
* Моделирование в финансовой математике
 
-
* Экспертно-статистические методы
 
 +
== Введение ==
 +
* [[Регрессионный анализ]]
 +
* [[Регрессионная модель]]
 +
* [[Линейная регрессия (пример)|Подстановки в линейных моделях]]
 +
* [https://mlalgorithms.svn.sourceforge.net/svnroot/mlalgorithms/Leonteva2011ElectricityConsumption/doc/Leonteva2011ElectricityConsumption.pdf Авторегрессионные модели]
 +
* [[Media:strijov08ln.pdf|Примеры постановки задач регрессионного анализа]] (с. 47-53)
 +
* [https://dmba.svn.sourceforge.net/svnroot/dmba/Slides/DMBA_Part13_Energy,Options.pdf Моделирование в финансовой математике]
 +
* [https://dmba.svn.sourceforge.net/svnroot/dmba/Slides/DMBA_Part4,5_Indicators.pdf Экспертно-статистические методы]
 +
* [[Численные методы обучения по прецедентам (практика, В.В. Стрижов)/Рекомендуемые обозначения|Обозначения]]
== Линейные и существенно-нелинейные модели ==
== Линейные и существенно-нелинейные модели ==
-
* Линейная регрессия
+
* [[Линейная регрессия]]
-
* Метод наименьших квадратов
+
* [[Метод наименьших квадратов]]
-
* Нелинейная регрессия
+
* [[Нелинейная регрессия]]
-
* Основные модели нелинейной регрессии
+
* [[Часто используемые регрессионные модели]]
-
* Матрица Якоби и Гессе
+
* [[Вычисление матриц Якоби и Гессе|Матрица Якоби и Гессе]]
-
* Метод Ньютона
+
* [http://ru.wikipedia.org/wiki/%D0%9C%D0%B5%D1%82%D0%BE%D0%B4_%D0%9D%D1%8C%D1%8E%D1%82%D0%BE%D0%BD%D0%B0#.D0.9C.D0.B5.D1.82.D0.BE.D0.B4_.D0.93.D0.B0.D1.83.D1.81.D1.81.D0.B0_.E2.80.94_.D0.9D.D1.8C.D1.8E.D1.82.D0.BE.D0.BD.D0.B0 Метод Ньютона]
-
* Алгоритм Левенберга-Марквардта
+
* [[Алгоритм Левенберга-Марквардта]]
-
* Ранговая регрессия
+
* [[Media:Kuznetsov2011trudi.pdf|Ранговая регрессия]]
== Линейные методы ==
== Линейные методы ==
-
* Метод главных компонент
+
* [[Метод главных компонент]]
-
* Максимальное правдоподобие МГК
+
* Максимальное правдоподобие МГК (К.С.)
-
* Байесовский МГК
+
* Байесовский МГК (+)
-
* МГК для нелинейных моделей
+
* МГК для нелинейных моделей (+)
-
* Сингулярное разложение
+
* [[Сингулярное разложение]]
-
* Простой итерационный алгоритм сингулярного разложения
+
* [[Простой итерационный алгоритм сингулярного разложения]]
-
* Пространства, порождаемые сингулярными векторами
+
-
* Матричные нормы и обусловленность
+
-
* Анализ сингулярных структур
+
== Обобщенно-линейные модели ==
== Обобщенно-линейные модели ==
-
* Гипотеза порождения данных
+
* [https://mvr.svn.sourceforge.net/svnroot/mvr/lectures/Part1%60DataGeneration.pdf Гипотеза порождения данных]
-
* Логистическая регрессия
+
* Первый уровень Байесовского вывода (там же)
-
* Метод Ньютона-Рафсона
+
* [[Логистическая регрессия]]
-
* Первый уровень Байесовского вывода
+
* [[Логистическая регрессия (пример)|Метод Ньютона-Рафсона]]
-
* Регуляризация
+
* [https://mvr.svn.sourceforge.net/svnroot/mvr/lectures/Part2%60ParameterEstimation.pdf Методы оценки параметров моделей]
-
* Оценка гиперпараметров для произвольной гипотезы порождения данных
+
== Методы сэмплирования ==
== Методы сэмплирования ==
-
* Интегрирование Монте-Карло
+
* [http://ru.wikipedia.org/wiki/%D0%9C%D0%B5%D1%82%D0%BE%D0%B4_%D0%9C%D0%BE%D0%BD%D1%82%D0%B5-%D0%9A%D0%B0%D1%80%D0%BB%D0%BE Интегрирование Монте-Карло]
* Методы преобразования равномерного распределения
* Методы преобразования равномерного распределения
-
* Сэмплирование с отклонением
+
* [http://ru.wikipedia.org/wiki/%D0%92%D1%8B%D0%B1%D0%BE%D1%80%D0%BA%D0%B0_%D1%81_%D0%BE%D1%82%D0%BA%D0%BB%D0%BE%D0%BD%D0%B5%D0%BD%D0%B8%D0%B5%D0%BC Сэмплирование с отклонением]
-
* Сэмплирование по значимости
+
* [http://ru.wikipedia.org/wiki/%D0%92%D1%8B%D0%B1%D0%BE%D1%80%D0%BA%D0%B0_%D0%BF%D0%BE_%D0%B7%D0%BD%D0%B0%D1%87%D0%B8%D0%BC%D0%BE%D1%81%D1%82%D0%B8 Сэмплирование по значимости]
-
* Гиббсовское сэмплирование
+
* [http://en.wikipedia.org/wiki/Gibbs_sampling Гиббсовское сэмплирование]
-
* Сэмплирование Метрополиса-Хастингса
+
* [http://en.wikipedia.org/wiki/Metropolis-Hastings_algorithm Сэмплирование Метрополиса-Хастингса]
-
* Использование результатов
+
* Использование результатов (М.Ю.)
== Критерии качества моделей ==
== Критерии качества моделей ==
-
* Отсутствие гипотезы порождения данных
+
(при отсутствии гипотезы порождения данных)
-
* Искусственные критерии качества моделей
+
* [[Метод группового учёта аргументов|Искусственные критерии качества моделей]]
-
* МГУА
+
* [https://mvr.svn.sourceforge.net/svnroot/mvr/lectures/Strijov2010Scoring_ANE.pdf Скоринг и логистическая регрессия]
-
* Скоринг и логистическая регрессия.
+
-
* Многокритериальный выбор моделей
+
-
* Постановка задач многокритериальной оптимизации.
+
-
* Сведение многокритериальной оптимизации к однокритериальной (Weber)
+
-
* Парето-оптимальный фронт
+
-
* Алгоритмы многокритериальной оптимизации
+
== Требования к моделям ==
== Требования к моделям ==
-
* Анализ регрессионных остатков
+
* [[Анализ регрессионных остатков]], [[Анализ регрессионных остатков (пример)|пример]]
-
* Фактор инфляции дисперсии
+
* [[Фактор инфляции дисперсии]]
-
* Сложность моделей
+
* [[Исследование устойчивости оценок ковариационной матрицы параметров|Устойчивость моделей]]
-
* Устойчивость моделей
+
* [[Метод Белсли]]
-
* Метод Белсли для линейных моделей
+
* [[Анализ мультиколлинеарности (пример)|Анализ мультиколлинеарности]]
-
* Метод Белсли и анализ ковариационных матриц для нелинейных моделей
+
* [[Анализ регрессионных остатков]], [[Анализ регрессионных остатков (пример)| пример]] и [[Статистический отчет при создании моделей|отчет]]
-
== Порождение моделей ==
+
== [[Media:Strijov-Krymova10Model-Selection.pdf|Методы выбора признаков]] ==
-
* Методы порождения моделей
+
-
* Структурная сложность
+
-
* Структурное расстояние
+
-
* Порождение моделей МГУА
+
-
* Порождение нейронных сетей и RBF
+
-
* Последовательное порождение всех допустимых моделей данного класса возрастающей сложности
+
-
* Порождение моделей, принадлежащих заданному индуктивно-порождаемому классу моделей, случайным образом
+
-
 
+
-
== Методы выбора признаков ==
+
* Переборные алгоритмы
* Переборные алгоритмы
 +
* МГУА
 +
* Регуляризация
* Шаговая регрессия
* Шаговая регрессия
* Алгоритмы с регуляризацией
* Алгоритмы с регуляризацией
* Алгоритмы направленного добавления FOS, Stagewise, LARS
* Алгоритмы направленного добавления FOS, Stagewise, LARS
* Оптимальное прореживание
* Оптимальное прореживание
-
* Оптимизация правдоподобия
 
== Сравнение моделей ==
== Сравнение моделей ==
-
* Второй уровень Байесовского вывода
+
* [[Связанный Байесовский вывод|Второй уровень Байесовского вывода, множитель Оккама]]
-
* Фактор Оккама
+
* [https://mvr.svn.sourceforge.net/svnroot/mvr/lectures/Part4%60ModelComplexity.pdf Принцип минимальной длины описания]
-
* Принцип минимальной длины описания
+
* [[Аппроксимация Лапласа]]
-
* Аппроксимация Лапласа
+
* [https://mlalgorithms.svn.sourceforge.net/svnroot/mlalgorithms/Tokmakova2011HyperPar/doc/Tokmakova2011HyperPar.pdf Оценка гиперпараметров]
-
* Оценка гиперпараметров
+
* [[Аппроксимация функции ошибки|Эмпирическая функция правдоподобия и аппроксимация Лапласа]]
-
* Выбор базиса аппроксимации Лапласа
+
* [https://mvr.svn.sourceforge.net/svnroot/mvr/lectures/Part3%60ProblemStatement.pdf Постановка задач выбора моделей]
-
 
+
-
== Сравнение моделей ==
+
-
* Графические модели
+
-
* Байесовские сети
+
-
* Расстояние Кулльбака-Лейблера
+
-
* Вероятностная сходимость
+
-
* Расстояние между моделями
+
== Мультимоделирование и смеси экспертов ==
== Мультимоделирование и смеси экспертов ==
 +
читать К. Бишоп, с. 653-676
* Байесовское усреднение моделей
* Байесовское усреднение моделей
* Смеси распределений
* Смеси распределений
-
* Смеси линейных моделей
+
* Смеси линейных моделей (К.П.)
-
* Смеси обобщенно-линейных моделей
+
* Смеси обобщенно-линейных моделей (+)
-
* Смеси экспертов
+
* Смеси экспертов (+)
* Иерархические модели
* Иерархические модели
-
* Инварианты в пространстве параметров моделей
 
-
== Анализ ковариационных матриц ==
+
== См. также ==
-
* Гауссовские процессы
+
[https://mvr.svn.sourceforge.net/svnroot/mvr/lectures/ Лекции MVR]
-
* Байесовская регрессия - пространство данных и пространство параметров
+
[https://dmba.svn.sourceforge.net/svnroot/dmba/Slides/ Лекции DBMA]
-
* Оценка гиперпараметров
+
-
* Мультиколлинеарность и случайные признаки
+
== Практика ==
== Практика ==
Практика состоит из трех задач-эссе с отчетом, включающим постановку задачи, описание алгоритма и вычислительный эксперимент-иллюстрацию.
Практика состоит из трех задач-эссе с отчетом, включающим постановку задачи, описание алгоритма и вычислительный эксперимент-иллюстрацию.
Практика и доклад выполняются в формате [[Численные методы обучения по прецедентам (практика, В.В. Стрижов)|«Численные методы»]].
Практика и доклад выполняются в формате [[Численные методы обучения по прецедентам (практика, В.В. Стрижов)|«Численные методы»]].
 +
 +
Практику необходимо сдать до начала экзамена.
 +
* Подробнее: [[Численные методы обучения по прецедентам (практика, В.В. Стрижов)/Группа 674, осень 2011 | Группа 674, осень 2011]]
* Подробнее: [[Численные методы обучения по прецедентам (практика, В.В. Стрижов)/Группа 674, осень 2011 | Группа 674, осень 2011]]
== Экзамен ==
== Экзамен ==
-
До начала экзамена нужно выполнить все практические задания.
 
Экзамен - письменная работа состоит из 50 вопросов или задач, за которые дается суммарная оценка в 100 баллов. Продолжительность работы — 1 час. Для получения положительной оценки за экзамен требуется набрать не менее 84 баллов.
Экзамен - письменная работа состоит из 50 вопросов или задач, за которые дается суммарная оценка в 100 баллов. Продолжительность работы — 1 час. Для получения положительной оценки за экзамен требуется набрать не менее 84 баллов.
-
Общая оценка складывается из оценки за практику — 3 балла (з.е. в ведомости), оценка за экзамен из отрезка [0, 83] дает 1 балл, а отрезок [84, 100] линейно отображается в отрезок [6,10].
+
Общая оценка складывается из оценки за практику — 3 балла (з.е. в ведомости), оценка за экзамен из отрезка [0, 100] дает 1 балл, а отрезок [68, 100] линейно отображается в отрезок [0,6]. Итого максимальная оценка 3+1+6 = 10.
'''Практика'''
'''Практика'''
-
* 29 сентября и 6 октября
+
* 28 сентября и 5 октября
-
* 27 октября и 3 ноября
+
* 26 октября и 2 ноября
-
* 24 ноября и 1 декабря
+
* 23 и 30 ноября
'''Теория'''
'''Теория'''
-
* 15 декабря 2011 группа 674: список задач будет опубликован по окончании экзамена при условии полной явки.
+
* 14 декабря 2011, группа 674, ауд. 355; список вопросов будет опубликован по окончании экзамена при условии полной явки.
 +
[[Media:RegressionAnalysis2011Exam.pdf| Список вопросов, PDF]]
== История ==
== История ==
Предшествующие программы и практические задания
Предшествующие программы и практические задания
 +
* [[Прикладной регрессионный анализ (курс лекций, B.В. Стрижов)/Группа 674, осень 2011 | Группа 674, осень 2011]]
 +
* Группа 574, осень 2010 (то же)
* [[Прикладной регрессионный анализ (курс лекций, B.В. Стрижов)/Группа 474, осень 2009 | Группа 474, осень 2009]]
* [[Прикладной регрессионный анализ (курс лекций, B.В. Стрижов)/Группа 474, осень 2009 | Группа 474, осень 2009]]
* [[Прикладной регрессионный анализ (курс лекций, B.В. Стрижов)/Группа 374, осень 2008 | Группа 374, осень 2008]]
* [[Прикладной регрессионный анализ (курс лекций, B.В. Стрижов)/Группа 374, осень 2008 | Группа 374, осень 2008]]
* [[Прикладной регрессионный анализ (курс лекций, B.В. Стрижов)/Группа 274, осень 2007 | Группа 274, осень 2007]]
* [[Прикладной регрессионный анализ (курс лекций, B.В. Стрижов)/Группа 274, осень 2007 | Группа 274, осень 2007]]
* [[Прикладной регрессионный анализ (курс лекций, B.В. Стрижов)/Группа 174, осень 2006 | Группа 174, осень 2006]]
* [[Прикладной регрессионный анализ (курс лекций, B.В. Стрижов)/Группа 174, осень 2006 | Группа 174, осень 2006]]
-
Начиная с осени 2010 старая практика переносится в раздел
 
-
* [[Численные методы обучения по прецедентам (практика, В.В. Стрижов)|Численные методы обучения по прецедентам]]
 
-
== Литература ==
+
== Разное ==
 +
* Сложность моделей
 +
* Гауссовские процессы
 +
* Оптимизация правдоподобия
 +
* Метод Белсли и анализ ковариационных матриц для нелинейных моделей
 +
* Оценка гиперпараметров для произвольной гипотезы порождения данных
 +
* Графические модели
 +
* Байесовские сети
 +
* Расстояние Кулльбака-Лейблера
 +
* Расстояние между моделями
 +
* Инварианты в пространстве параметров моделей
 +
 
 +
== Порождение моделей ==
 +
* Методы порождения моделей
 +
* Структурная сложность
 +
* Структурное расстояние
 +
* Порождение моделей МГУА
 +
* Порождение нейронных сетей и RBF
 +
* Последовательное порождение всех допустимых моделей данного класса возрастающей сложности
 +
* Порождение моделей, принадлежащих заданному индуктивно-порождаемому классу моделей, случайным образом
 +
 
 +
== Выпадает из курса, перенести в практику ==
 +
* Многокритериальный выбор моделей
 +
* Постановка задач многокритериальной оптимизации
 +
* Сведение многокритериальной оптимизации к однокритериальной (Weber)
 +
* Парето-оптимальный фронт
 +
* Алгоритмы многокритериальной оптимизации
[[Категория:Учебные курсы]]
[[Категория:Учебные курсы]]

Текущая версия

Новое название: «Структурное обучение»

Курс лекций «Прикладной регрессионный анализ» посвящен проблеме порождения и выбора регрессионных моделей и иллюстрирован практическими задачами. Он состоит из 12 лекций и рассчитан на слушателей, владеющих основами линейной алгебры и математической статистики.

Содержание

Введение

Линейные и существенно-нелинейные модели

Линейные методы

Обобщенно-линейные модели

Методы сэмплирования

Критерии качества моделей

(при отсутствии гипотезы порождения данных)

Требования к моделям

Методы выбора признаков

  • Переборные алгоритмы
  • МГУА
  • Регуляризация
  • Шаговая регрессия
  • Алгоритмы с регуляризацией
  • Алгоритмы направленного добавления FOS, Stagewise, LARS
  • Оптимальное прореживание

Сравнение моделей

Мультимоделирование и смеси экспертов

читать К. Бишоп, с. 653-676

  • Байесовское усреднение моделей
  • Смеси распределений
  • Смеси линейных моделей (К.П.)
  • Смеси обобщенно-линейных моделей (+)
  • Смеси экспертов (+)
  • Иерархические модели

См. также

Лекции MVR Лекции DBMA

Практика

Практика состоит из трех задач-эссе с отчетом, включающим постановку задачи, описание алгоритма и вычислительный эксперимент-иллюстрацию. Практика и доклад выполняются в формате «Численные методы».

Практику необходимо сдать до начала экзамена.

Экзамен

Экзамен - письменная работа состоит из 50 вопросов или задач, за которые дается суммарная оценка в 100 баллов. Продолжительность работы — 1 час. Для получения положительной оценки за экзамен требуется набрать не менее 84 баллов. Общая оценка складывается из оценки за практику — 3 балла (з.е. в ведомости), оценка за экзамен из отрезка [0, 100] дает 1 балл, а отрезок [68, 100] линейно отображается в отрезок [0,6]. Итого максимальная оценка 3+1+6 = 10.

Практика

  • 28 сентября и 5 октября
  • 26 октября и 2 ноября
  • 23 и 30 ноября

Теория

  • 14 декабря 2011, группа 674, ауд. 355; список вопросов будет опубликован по окончании экзамена при условии полной явки.

Список вопросов, PDF

История

Предшествующие программы и практические задания

Разное

  • Сложность моделей
  • Гауссовские процессы
  • Оптимизация правдоподобия
  • Метод Белсли и анализ ковариационных матриц для нелинейных моделей
  • Оценка гиперпараметров для произвольной гипотезы порождения данных
  • Графические модели
  • Байесовские сети
  • Расстояние Кулльбака-Лейблера
  • Расстояние между моделями
  • Инварианты в пространстве параметров моделей

Порождение моделей

  • Методы порождения моделей
  • Структурная сложность
  • Структурное расстояние
  • Порождение моделей МГУА
  • Порождение нейронных сетей и RBF
  • Последовательное порождение всех допустимых моделей данного класса возрастающей сложности
  • Порождение моделей, принадлежащих заданному индуктивно-порождаемому классу моделей, случайным образом

Выпадает из курса, перенести в практику

  • Многокритериальный выбор моделей
  • Постановка задач многокритериальной оптимизации
  • Сведение многокритериальной оптимизации к однокритериальной (Weber)
  • Парето-оптимальный фронт
  • Алгоритмы многокритериальной оптимизации
Личные инструменты