Прикладной регрессионный анализ (курс лекций, B.В. Стрижов)
Материал из MachineLearning.
(Различия между версиями)
(→Экзамен) |
м (Правки Strijov (обсуждение) откачены к версии Likz) |
||
| Строка 1: | Строка 1: | ||
| - | Курс лекций «Прикладной регрессионный анализ» посвящен проблеме порождения и выбора регрессионных моделей и иллюстрирован практическими задачами. Он состоит из 12 лекций и рассчитан на слушателей, владеющих основами линейной алгебры и математической статистики. | + | Курс лекций «Прикладной регрессионный анализ» посвящен проблеме порождения и выбора регрессионных моделей и иллюстрирован практическими задачами. Он состоит из 12 лекций и рассчитан на слушателей, владеющих основами линейной алгебры и математической статистики. |
| - | {{tip|Страница редактируется для группы 674 вплоть до | + | Предполагается, что слушатели владеют материалом курса [[Численные методы обучения по прецедентам (практика, В.В. Стрижов)|«Численные методы обучения по прецедентам»]] |
| + | |||
| + | {{tip|Страница редактируется для группы 674 вплоть до 7 сентября 2011. --[[Участник:Strijov|Strijov]] 15:25, 21 июня 2011 (MSD)}} | ||
{{TOCright}} | {{TOCright}} | ||
| Строка 14: | Строка 16: | ||
* Экспертно-статистические методы | * Экспертно-статистические методы | ||
| - | == Линейные | + | == Линейные модели == |
* Линейная регрессия | * Линейная регрессия | ||
* Метод наименьших квадратов | * Метод наименьших квадратов | ||
| Строка 25: | Строка 27: | ||
== Линейные методы == | == Линейные методы == | ||
| - | |||
| - | |||
| - | |||
| - | |||
* Сингулярное разложение | * Сингулярное разложение | ||
* Простой итерационный алгоритм сингулярного разложения | * Простой итерационный алгоритм сингулярного разложения | ||
* Пространства, порождаемые сингулярными векторами | * Пространства, порождаемые сингулярными векторами | ||
* Матричные нормы и обусловленность | * Матричные нормы и обусловленность | ||
| + | * Метод главных компонент | ||
* Анализ сингулярных структур | * Анализ сингулярных структур | ||
| - | == | + | == Обобщенные линейные модели == |
* Гипотеза порождения данных | * Гипотеза порождения данных | ||
* Логистическая регрессия | * Логистическая регрессия | ||
| Строка 41: | Строка 40: | ||
* Первый уровень Байесовского вывода | * Первый уровень Байесовского вывода | ||
* Регуляризация | * Регуляризация | ||
| - | |||
| - | |||
| - | |||
| - | |||
| - | |||
| - | |||
| - | |||
| - | |||
| - | |||
| - | |||
== Критерии качества моделей == | == Критерии качества моделей == | ||
| - | * | + | * Отсутвие гипотезы порождения данных |
* Искусственные критерии качества моделей | * Искусственные критерии качества моделей | ||
* МГУА | * МГУА | ||
| Строка 59: | Строка 48: | ||
* Многокритериальный выбор моделей | * Многокритериальный выбор моделей | ||
* Постановка задач многокритериальной оптимизации. | * Постановка задач многокритериальной оптимизации. | ||
| - | * Сведение многокритериальной | + | * Сведение многокритериальной опптимизации к однокритериальной (найти метод Вилли) |
* Парето-оптимальный фронт | * Парето-оптимальный фронт | ||
* Алгоритмы многокритериальной оптимизации | * Алгоритмы многокритериальной оптимизации | ||
== Требования к моделям == | == Требования к моделям == | ||
| - | * Анализ регрессионных | + | * Анализ регрессионных оостатков |
* Фактор инфляции дисперсии | * Фактор инфляции дисперсии | ||
| + | * Метод Белсли | ||
* Сложность моделей | * Сложность моделей | ||
* Устойчивость моделей | * Устойчивость моделей | ||
| - | |||
| - | |||
== Порождение моделей == | == Порождение моделей == | ||
| Строка 77: | Строка 65: | ||
* Порождение моделей МГУА | * Порождение моделей МГУА | ||
* Порождение нейронных сетей и RBF | * Порождение нейронных сетей и RBF | ||
| - | * | + | * Порождение всех допустимых моделей данного класса по возрастающей сложности (алгоритм последовательного порождения всевозможных моделей) |
| - | * Порождение моделей, принадлежащих заданному индуктивно-порождаемому классу моделей | + | * Порождение моделей, принадлежащих заданному индуктивно-порождаемому набору (классу моделей) случайным образом |
== Методы выбора признаков == | == Методы выбора признаков == | ||
| Строка 98: | Строка 86: | ||
== Сравнение моделей == | == Сравнение моделей == | ||
* Графические модели | * Графические модели | ||
| - | |||
* Расстояние Кулльбака-Лейблера | * Расстояние Кулльбака-Лейблера | ||
* Вероятностная сходимость | * Вероятностная сходимость | ||
| - | * Расстояние между моделями | + | * Расстояние между моделями. |
| - | == | + | == Смесь экспертов == |
| - | + | ||
| - | + | ||
| - | + | ||
| - | + | ||
| - | + | ||
| - | + | ||
| - | + | ||
| - | == | + | == Методы сэмплирования == |
| - | + | ||
| - | + | ||
| - | + | ||
| - | + | ||
| - | |||
| - | |||
| - | |||
| - | |||
== Экзамен == | == Экзамен == | ||
| - | Экзамен | + | Экзамен состоит из двух частей: доклад о выполнении практики и письменная работа по теории. Доклад выполняется в формате [[Численные методы обучения по прецедентам (практика, В.В. Стрижов)|"Численные методы"]]. Письменная работа состоит из 50 вопросов/задач, за которые дается суммарная оценка в 100 баллов. Продолжительность работы — 1 час. Для получения положительной оценки за экзамен требуется набрать не менее 84 баллов. |
| - | + | ||
'''Практика''' | '''Практика''' | ||
| - | * | + | * 7 декабря 2011, группа 674: список тем |
| - | + | ||
| - | + | ||
'''Теория''' | '''Теория''' | ||
| - | * | + | * 14 декабря 2011 группа 674: список задач |
== История == | == История == | ||
| Строка 140: | Строка 109: | ||
* [[Прикладной регрессионный анализ (курс лекций, B.В. Стрижов)/Группа 274, осень 2007 | Группа 274, осень 2007]] | * [[Прикладной регрессионный анализ (курс лекций, B.В. Стрижов)/Группа 274, осень 2007 | Группа 274, осень 2007]] | ||
* [[Прикладной регрессионный анализ (курс лекций, B.В. Стрижов)/Группа 174, осень 2006 | Группа 174, осень 2006]] | * [[Прикладной регрессионный анализ (курс лекций, B.В. Стрижов)/Группа 174, осень 2006 | Группа 174, осень 2006]] | ||
| - | Начиная с осени 2010 | + | |
| + | Начиная с осени 2010 практика по этому курсу переносится в раздел | ||
* [[Численные методы обучения по прецедентам (практика, В.В. Стрижов)|Численные методы обучения по прецедентам]] | * [[Численные методы обучения по прецедентам (практика, В.В. Стрижов)|Численные методы обучения по прецедентам]] | ||
| - | == | + | == Основная литература == |
| + | |||
| + | == Дополнительная литература == | ||
[[Категория:Учебные курсы]] | [[Категория:Учебные курсы]] | ||
Версия 15:36, 6 сентября 2011
Курс лекций «Прикладной регрессионный анализ» посвящен проблеме порождения и выбора регрессионных моделей и иллюстрирован практическими задачами. Он состоит из 12 лекций и рассчитан на слушателей, владеющих основами линейной алгебры и математической статистики.
Предполагается, что слушатели владеют материалом курса «Численные методы обучения по прецедентам»
| Страница редактируется для группы 674 вплоть до 7 сентября 2011. --Strijov 15:25, 21 июня 2011 (MSD) |
Введение
- Задача регрессионного анализа, терминология
- Что такое регрессионная модель
- Примеры постановки задач регрессионного анализа
- Подстановки в линейных моделях
- Авторегрессионные модели
- Моделирование геометрических измерений
- Моделирование в финансовой математике
- Экспертно-статистические методы
Линейные модели
- Линейная регрессия
- Метод наименьших квадратов
- Нелинейная регрессия
- Основные модели нелинейной регрессии
- Матрица Якоби и Гессе
- Метод Ньютона
- Алгоритм Левенберга-Марквардта
- Ранговая регрессия
Линейные методы
- Сингулярное разложение
- Простой итерационный алгоритм сингулярного разложения
- Пространства, порождаемые сингулярными векторами
- Матричные нормы и обусловленность
- Метод главных компонент
- Анализ сингулярных структур
Обобщенные линейные модели
- Гипотеза порождения данных
- Логистическая регрессия
- Метод Ньютона-Рафсона
- Первый уровень Байесовского вывода
- Регуляризация
Критерии качества моделей
- Отсутвие гипотезы порождения данных
- Искусственные критерии качества моделей
- МГУА
- Скоринг и логистическая регрессия.
- Многокритериальный выбор моделей
- Постановка задач многокритериальной оптимизации.
- Сведение многокритериальной опптимизации к однокритериальной (найти метод Вилли)
- Парето-оптимальный фронт
- Алгоритмы многокритериальной оптимизации
Требования к моделям
- Анализ регрессионных оостатков
- Фактор инфляции дисперсии
- Метод Белсли
- Сложность моделей
- Устойчивость моделей
Порождение моделей
- Методы порождения моделей
- Структурная сложность
- Структурное расстояние
- Порождение моделей МГУА
- Порождение нейронных сетей и RBF
- Порождение всех допустимых моделей данного класса по возрастающей сложности (алгоритм последовательного порождения всевозможных моделей)
- Порождение моделей, принадлежащих заданному индуктивно-порождаемому набору (классу моделей) случайным образом
Методы выбора признаков
- Переборные алгоритмы
- Шаговая регрессия
- Алгоритмы с регуляризацией
- Алгоритмы направленного добавления FOS, Stagewise, LARS
- Оптимальное прореживание
- Оптимизация правдоподобия
Сравнение моделей
- Второй уровень Байесовского вывода
- Фактор Оккама
- Принцип минимальной длины описания
- Аппроксимация Лапласа
- Оценка гиперпараметров
- Выбор базиса аппроксимации Лапласа
Сравнение моделей
- Графические модели
- Расстояние Кулльбака-Лейблера
- Вероятностная сходимость
- Расстояние между моделями.
Смесь экспертов
Методы сэмплирования
Экзамен
Экзамен состоит из двух частей: доклад о выполнении практики и письменная работа по теории. Доклад выполняется в формате "Численные методы". Письменная работа состоит из 50 вопросов/задач, за которые дается суммарная оценка в 100 баллов. Продолжительность работы — 1 час. Для получения положительной оценки за экзамен требуется набрать не менее 84 баллов.
Практика
- 7 декабря 2011, группа 674: список тем
Теория
- 14 декабря 2011 группа 674: список задач
История
Предшествующие программы и практические задания
Начиная с осени 2010 практика по этому курсу переносится в раздел
