Прикладной регрессионный анализ (курс лекций, B.В.Стрижов, 2008)
Материал из MachineLearning.
(→Задачи для самостоятельного решения) |
(→Задачи для самостоятельного решения) |
||
| Строка 35: | Строка 35: | ||
# Показать что если матрица удовлетворяет условиям задачи 3, то она проектирует вектор на свое пространство столбцов (доп.). | # Показать что если матрица удовлетворяет условиям задачи 3, то она проектирует вектор на свое пространство столбцов (доп.). | ||
# Показать что матрица <tex>A^TA</tex> симметрична и положительно определена. | # Показать что матрица <tex>A^TA</tex> симметрична и положительно определена. | ||
| + | # Сколько мономов полинома Колмогорова-Габора от <tex>m</tex> переменных имеют степень не превосходящую <tex>R</tex> (с повторами переменных в мономах и без повторов)? | ||
| + | |||
Задачи на понимание методов регрессионного анализа | Задачи на понимание методов регрессионного анализа | ||
| Строка 40: | Строка 42: | ||
# (продолжение) Применим ли метод решения этой задачи для сферы? | # (продолжение) Применим ли метод решения этой задачи для сферы? | ||
# (продолжение) Есть измерения координат границ плоских и объемных физических тел (несложной формы), сделанные с ошибкой. Предложите примеры моделирования форм этих тел с помощью методов наименьших квадратов. | # (продолжение) Есть измерения координат границ плоских и объемных физических тел (несложной формы), сделанные с ошибкой. Предложите примеры моделирования форм этих тел с помощью методов наименьших квадратов. | ||
| + | # Даны два вектора <tex>\mathbf{u}, \mathbf{v}</tex> в пространстве <tex>\mathbb{R}^N</tex>. Требуется приблизить вектор <tex>\mathbf{v}</tex> вектором <tex>\mathbf{u}</tex>, так что <tex>\|\mathbf{u}-f(\mathbf{w},\mathbf{v})\|^2\to\min</tex>. Поставить и решить задачу линейной регрессии (пусть модель будет квадратичным полиномом, <tex>\mathbf{w}</tex> - вектор параметров). | ||
== Рекомендуемые примеры == | == Рекомендуемые примеры == | ||
Версия 11:19, 24 сентября 2008
|
Московский физико-технический институт, Факультет управления и прикладной математики
Курс читается студентам 6-го курса кафедры "Интеллектуальные системы", специализация: "Интеллектуальный анализ данных", группа 374-а.
| Статья предназначена прежде всего для студентов группы 374-а, она будет наполняться в течение этого семестра. |
Аннотация
Курс лекций включает теоретические и прикладные аспекты создания моделей нелинейной регрессии и алгоритмов оптимизации качества этих моделей. Рассматриваются современные алгоритмы индуктивного порождения регрессионных моделей. Приводятся примеры использования алгоритмов при решении прикладных задач в финансовой математике, экологии и медицине.
Организационная часть
Семестровый курс содержит 32 часа лекций и 32 часа практических занятий. В ходе лекций будут объявляться темы практических заданий. После выбора темы обсуждаются требования к работе. До начала экзамена нужно сдать все задания по практике. Экзамен состоит из теоретических вопросов и задач.
Дополнительный материал
- Курс лекций 2006, план лекций и примеры
- Курс лекций 2007, примеры задач практикума и материалы для самоподготовки
- Примеры решения задач регрессионного анализа
Задачи для самостоятельного решения
Задачи вынесены из курса лекций, так как решались ранее в курсах линейной алгебры или математической статистики.
- Вывести нормальное уравнение МНК через квадратичную оптимизацию.
- Вывести нормальное уравнение через проекцию на пространство столбцов матрицы.
- Показать что матрица, проектирующая вектор на свое пространство столбцов симметрична и идемпотентна.
- Показать что если матрица удовлетворяет условиям задачи 3, то она проектирует вектор на свое пространство столбцов (доп.).
- Показать что матрица
симметрична и положительно определена.
- Сколько мономов полинома Колмогорова-Габора от
переменных имеют степень не превосходящую
(с повторами переменных в мономах и без повторов)?
Задачи на понимание методов регрессионного анализа
- Дана выборка - множество
измерений координат окружности
, где
, выполненных с некоторой случайной аддитивной ошибкой. Требуется методом наименьших квадратов найти центр и радиус этой окружности.
- (продолжение) Применим ли метод решения этой задачи для сферы?
- (продолжение) Есть измерения координат границ плоских и объемных физических тел (несложной формы), сделанные с ошибкой. Предложите примеры моделирования форм этих тел с помощью методов наименьших квадратов.
- Даны два вектора
в пространстве
. Требуется приблизить вектор
вектором
, так что
. Поставить и решить задачу линейной регрессии (пусть модель будет квадратичным полиномом,
- вектор параметров).
Рекомендуемые примеры
План лекций
Лекция 1
Организация курса, организация практических занятий, план лекций, обзор литературы по предмету, обзор программного обеспечения, введение в программирование задач регрессионного анализа.
Лекция 2
Введение в регрессионный анализ, постановка задачи, терминология, регрессионная модель, линейные модели, метод наименьших квадратов, два вывода нормального уравнения, подстановки и нахождение параметров линейной регрессионной модели, пример построения линейной регрессии: линейная, квадратичная и нелинейная функции, пример: биржевые опционы и улыбка волатильности, построение многомерной регрессионной модели.
