Прикладной регрессионный анализ (курс лекций, B.В. Стрижов)
Материал из MachineLearning.
(Различия между версиями)
| Строка 54: | Строка 54: | ||
* Сложность моделей | * Сложность моделей | ||
* Устойчивость моделей | * Устойчивость моделей | ||
| - | |||
| - | |||
== Порождение моделей == | == Порождение моделей == | ||
| Строка 67: | Строка 65: | ||
== Методы выбора признаков == | == Методы выбора признаков == | ||
| + | * Переборные алгоритмы | ||
| + | * Шаговая регрессия | ||
| + | * Алгоритмы с регуляризацией | ||
| + | * Алгоритмы направленного добавления FOS, Stagewise, LARS | ||
| + | * Оптимальное прореживание | ||
| + | * Оптимизация правдоподобия | ||
== Сравнение моделей == | == Сравнение моделей == | ||
| Строка 76: | Строка 80: | ||
* Выбор базиса аппроксимации Лапласа | * Выбор базиса аппроксимации Лапласа | ||
| - | == Сравнение моделей == | + | == Сравнение моделей (далее - 2012) == |
* Графические модели | * Графические модели | ||
* Расстояние Кулльбака-Лейблера | * Расстояние Кулльбака-Лейблера | ||
| Строка 82: | Строка 86: | ||
* Расстояние между моделями. | * Расстояние между моделями. | ||
| - | == Смесь экспертов == | + | == Смесь экспертов == |
| + | == Методы сэмплирования == | ||
Версия 09:53, 13 декабря 2010
Курс лекций «Прикладной регрессионный анализ» посвящен проблеме порождения и выбора регрессионных моделей и иллюстрирован практическими задачами. Он состоит из 12 лекций и рассчитан на слушателей, владеющих основами линейной алгебры и математической статистики.
Введение
- Задача регрессионного анализа, терминология
- Что такое регрессионная модель
- Примеры постановки задач регрессионного анализа
- Подстановки в линейных моделях
- Авторегрессионные модели
- Моделирование геометрических измерений
- Моделирование в финансовой математике
- Экспертно-статистические методы
Линейные модели
- Линейная регрессия
- Метод наименьших квадратов
- Нелинейная регрессия
- Основные модели нелинейной регрессии
- Матрица Якоби и Гессе
- Метод Ньютона
- Алгоритм Левенберга-Марквардта
- Ранговая регрессия
Линейные методы
- Сингулярное разложение
- Простой итерационный алгоритм сингулярного разложения
- Пространства, порождаемые сингулярными векторами
- Матричные нормы и обусловленность
- Метод главных компонент
- Анализ сингулярных структур
Обобщенные линейные модели
- Гипотеза порождения данных
- Логистическая регрессия
- Метод Ньютона-Рафсона
- Первый уровень Байесовского вывода
- Регуляризация
Критерии качества моделей
- Отсутвие гипотезы порождения данных
- Искусственные критерии качества моделей
- МГУА
- Скоринг и логистическая регрессия.
- Многокритериальный выбор моделей
- Постановка задач многокритериальной оптимизации.
- Сведение многокритериальной опптимизации к однокритериальной (найти метод Вилли)
- Парето-оптимальный фронт
- Алгоритмы многокритериальной оптимизации
Требования к моделям
- Анализ регрессионных оостатков
- Фактор инфляции дисперсии
- Метод Белсли
- Сложность моделей
- Устойчивость моделей
Порождение моделей
- Методы порождения моделей
- Структурная сложность
- Структурное расстояние
- Порождение моделей МГУА
- Порождение нейронных сетей и RBF
- Порождение всех допустимых моделей данного класса по возрастающей сложности (алгоритм последовательного порождения всевозможных моделей)
- Порождение моделей, принадлежащих заданному индуктивно-порождаемому набору (классу моделей) случайным образом
Методы выбора признаков
- Переборные алгоритмы
- Шаговая регрессия
- Алгоритмы с регуляризацией
- Алгоритмы направленного добавления FOS, Stagewise, LARS
- Оптимальное прореживание
- Оптимизация правдоподобия
Сравнение моделей
- Второй уровень Байесовского вывода
- Фактор Оккама
- Принцип минимальной длины описания
- Аппроксимация Лапласа
- Оценка гиперпараметров
- Выбор базиса аппроксимации Лапласа
Сравнение моделей (далее - 2012)
- Графические модели
- Расстояние Кулльбака-Лейблера
- Вероятностная сходимость
- Расстояние между моделями.
Смесь экспертов
Методы сэмплирования
История
Предшествующие программы и практические задания
Начиная с осени 2010 практика по этому курсу переносится в раздел
