Прикладной регрессионный анализ (курс лекций, B.В. Стрижов)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
Строка 1: Строка 1:
-
__NOTOC__
+
Курс лекций «Прикладной регрессионный анализ» посвящен проблеме порождения и выбора регрессионных моделей и иллюстрирован практическими задачами. Он состоит из 12 лекций и рассчитан на слушателей, владеющих основами линейной алгебры и математической статистики.
-
Курс лекций «Прикладной регрессионный анализ» посвящен проблеме порождения и выбора регрессионных моделей и иллюстрирован практическими задачами. Он состоит из 12 лекций и рассчитан на слушателей, владеющих основами линейной алгебры и математической статистики.
+
Предполагается, что слушатели владеют материалом курса [[Численные методы обучения по прецедентам (практика, В.В. Стрижов)|«Численные методы обучения по прецедентам»]]
Предполагается, что слушатели владеют материалом курса [[Численные методы обучения по прецедентам (практика, В.В. Стрижов)|«Численные методы обучения по прецедентам»]]
 +
{{tip|Страница редактируется для группы 674 вплоль до 7 сентября 2011. --[[Участник:Strijov|Strijov]] 15:25, 21 июня 2011 (MSD)}}
 +
 +
{{TOCright}}
== Введение ==
== Введение ==
* Задача регрессионного анализа, терминология
* Задача регрессионного анализа, терминология
Строка 82: Строка 84:
* Выбор базиса аппроксимации Лапласа
* Выбор базиса аппроксимации Лапласа
-
== Сравнение моделей (далее - 2012) ==
+
== Сравнение моделей ==
* Графические модели
* Графические модели
* Расстояние Кулльбака-Лейблера
* Расстояние Кулльбака-Лейблера
Строка 91: Строка 93:
== Методы сэмплирования ==
== Методы сэмплирования ==
-
 
== Экзамен ==
== Экзамен ==
Строка 111: Строка 112:
Начиная с осени 2010 практика по этому курсу переносится в раздел
Начиная с осени 2010 практика по этому курсу переносится в раздел
* [[Численные методы обучения по прецедентам (практика, В.В. Стрижов)|Численные методы обучения по прецедентам]]
* [[Численные методы обучения по прецедентам (практика, В.В. Стрижов)|Численные методы обучения по прецедентам]]
-
* [[Численные методы обучения по прецедентам (практика, В.В. Стрижов)/Группа 574, осень 2010 | Группа 574, осень 2010]]
 
-
 
== Основная литература ==
== Основная литература ==
== Дополнительная литература ==
== Дополнительная литература ==
 +
 +
[[Категория:Учебные курсы]]

Версия 11:25, 21 июня 2011

Курс лекций «Прикладной регрессионный анализ» посвящен проблеме порождения и выбора регрессионных моделей и иллюстрирован практическими задачами. Он состоит из 12 лекций и рассчитан на слушателей, владеющих основами линейной алгебры и математической статистики.

Предполагается, что слушатели владеют материалом курса «Численные методы обучения по прецедентам»


Страница редактируется для группы 674 вплоль до 7 сентября 2011. --Strijov 15:25, 21 июня 2011 (MSD)


Содержание

Введение

  • Задача регрессионного анализа, терминология
  • Что такое регрессионная модель
  • Примеры постановки задач регрессионного анализа
  • Подстановки в линейных моделях
  • Авторегрессионные модели
  • Моделирование геометрических измерений
  • Моделирование в финансовой математике
  • Экспертно-статистические методы

Линейные модели

  • Линейная регрессия
  • Метод наименьших квадратов
  • Нелинейная регрессия
  • Основные модели нелинейной регрессии
  • Матрица Якоби и Гессе
  • Метод Ньютона
  • Алгоритм Левенберга-Марквардта
  • Ранговая регрессия

Линейные методы

  • Сингулярное разложение
  • Простой итерационный алгоритм сингулярного разложения
  • Пространства, порождаемые сингулярными векторами
  • Матричные нормы и обусловленность
  • Метод главных компонент
  • Анализ сингулярных структур

Обобщенные линейные модели

  • Гипотеза порождения данных
  • Логистическая регрессия
  • Метод Ньютона-Рафсона
  • Первый уровень Байесовского вывода
  • Регуляризация

Критерии качества моделей

  • Отсутвие гипотезы порождения данных
  • Искусственные критерии качества моделей
  • МГУА
  • Скоринг и логистическая регрессия.
  • Многокритериальный выбор моделей
  • Постановка задач многокритериальной оптимизации.
  • Сведение многокритериальной опптимизации к однокритериальной (найти метод Вилли)
  • Парето-оптимальный фронт
  • Алгоритмы многокритериальной оптимизации

Требования к моделям

  • Анализ регрессионных оостатков
  • Фактор инфляции дисперсии
  • Метод Белсли
  • Сложность моделей
  • Устойчивость моделей

Порождение моделей

  • Методы порождения моделей
  • Структурная сложность
  • Структурное расстояние
  • Порождение моделей МГУА
  • Порождение нейронных сетей и RBF
  • Порождение всех допустимых моделей данного класса по возрастающей сложности (алгоритм последовательного порождения всевозможных моделей)
  • Порождение моделей, принадлежащих заданному индуктивно-порождаемому набору (классу моделей) случайным образом

Методы выбора признаков

  • Переборные алгоритмы
  • Шаговая регрессия
  • Алгоритмы с регуляризацией
  • Алгоритмы направленного добавления FOS, Stagewise, LARS
  • Оптимальное прореживание
  • Оптимизация правдоподобия

Сравнение моделей

  • Второй уровень Байесовского вывода
  • Фактор Оккама
  • Принцип минимальной длины описания
  • Аппроксимация Лапласа
  • Оценка гиперпараметров
  • Выбор базиса аппроксимации Лапласа

Сравнение моделей

  • Графические модели
  • Расстояние Кулльбака-Лейблера
  • Вероятностная сходимость
  • Расстояние между моделями.

Смесь экспертов

Методы сэмплирования

Экзамен

Экзамен состоит из двух частей: доклад о выполнении практики и письменная работа по теории. Доклад выполняется в формате "Численные методы". Письменная работа состоит из 50 вопросов/задач, за которые дается суммарная оценка в 100 баллов. Продолжительность работы — 1 час. Для получения положительной оценки за экзамен требуется набрать не менее 84 баллов.

Практика

  • 7 декабря 2011, группа 674: список тем

Теория

  • 14 декабря 2011 группа 674: список задач

История

Предшествующие программы и практические задания

Начиная с осени 2010 практика по этому курсу переносится в раздел

Основная литература

Дополнительная литература

Личные инструменты