Обсуждение:Критерий Акаике

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
 
Строка 4: Строка 4:
- Нет мотивации и исторической справки (автор, 1974 год).
- Нет мотивации и исторической справки (автор, 1974 год).
- Формулы приведены без пояснений, неясно их происхождение и связь с дивергенцией Кульбака–Лейблера. Важно: дивергенция KL несимметрична и не является расстоянием.
- Формулы приведены без пояснений, неясно их происхождение и связь с дивергенцией Кульбака–Лейблера. Важно: дивергенция KL несимметрична и не является расстоянием.
-
- Обозначения функции правдоподобия некорректны: следует писать L(x|θ), а не L(θ|x).
 
- Суть критерия описана неверно. Нужно объяснить, что Акаике оценивал, насколько ухудшится качество на тестовой выборке, если модель обучена по обучающей. Он использовал матожидание по всем возможным выборкам и KL-дивергенцию, чтобы выразить это через правдоподобие на обучающей выборке.
- Суть критерия описана неверно. Нужно объяснить, что Акаике оценивал, насколько ухудшится качество на тестовой выборке, если модель обучена по обучающей. Он использовал матожидание по всем возможным выборкам и KL-дивергенцию, чтобы выразить это через правдоподобие на обучающей выборке.
- Не описаны практические шаги: как сравнивать модели, интерпретировать разницу значений.
- Не описаны практические шаги: как сравнивать модели, интерпретировать разницу значений.
- Не указаны ограничения (несостоятельность, невозможность сравнения на разных выборках).
- Не указаны ограничения (несостоятельность, невозможность сравнения на разных выборках).
- Модификации (AICc, QAIC) описаны бегло, без областей применения.
- Модификации (AICc, QAIC) описаны бегло, без областей применения.
-
 
**Требования к новой статье:**
**Требования к новой статье:**
Структура: определение и мотивация, история, теоретический вывод (через KL-дивергенцию, с корректными обозначениями и пояснением несимметричности), формула и её интерпретация, практическое применение, модификации (AICc, QAIC), ограничения, сравнение с BIC и кросс-валидацией, практические рекомендации, заключение.
Структура: определение и мотивация, история, теоретический вывод (через KL-дивергенцию, с корректными обозначениями и пояснением несимметричности), формула и её интерпретация, практическое применение, модификации (AICc, QAIC), ограничения, сравнение с BIC и кросс-валидацией, практические рекомендации, заключение.
-
 
+
Стиль: строгий, но доступный. Привести минимум 5 источников (включая оригинальную работу Акаике).
-
Стиль: строгий, но доступный. Использовать вики-разметку: формулы в <tex>, внутренние ссылки на смежные понятия ([[информационный критерий]], [[метод максимального правдоподобия]], [[байесовский информационный критерий]], [[переобучение]]). Привести минимум 5 источников (включая оригинальную работу Акаике).
+
Объём: около 700–900 слов.
Объём: около 700–900 слов.

Текущая версия

Ты – эксперт по статистическому моделированию. Переработай статью «Критерий Акаике» (AIC) для MachineLearning.ru. Исходная статья содержит формулы, но слишком короткая и не раскрывает тему.

    • Недостатки, которые нужно устранить:**

- Нет мотивации и исторической справки (автор, 1974 год). - Формулы приведены без пояснений, неясно их происхождение и связь с дивергенцией Кульбака–Лейблера. Важно: дивергенция KL несимметрична и не является расстоянием. - Суть критерия описана неверно. Нужно объяснить, что Акаике оценивал, насколько ухудшится качество на тестовой выборке, если модель обучена по обучающей. Он использовал матожидание по всем возможным выборкам и KL-дивергенцию, чтобы выразить это через правдоподобие на обучающей выборке. - Не описаны практические шаги: как сравнивать модели, интерпретировать разницу значений. - Не указаны ограничения (несостоятельность, невозможность сравнения на разных выборках). - Модификации (AICc, QAIC) описаны бегло, без областей применения.

    • Требования к новой статье:**

Структура: определение и мотивация, история, теоретический вывод (через KL-дивергенцию, с корректными обозначениями и пояснением несимметричности), формула и её интерпретация, практическое применение, модификации (AICc, QAIC), ограничения, сравнение с BIC и кросс-валидацией, практические рекомендации, заключение. Стиль: строгий, но доступный. Привести минимум 5 источников (включая оригинальную работу Акаике).

Объём: около 700–900 слов.


    • Исходная статья для переработки:**
Данная статья является непроверенным учебным заданием.
Студент: Участник:Mordasova
Преподаватель: Участник:Константин Воронцов
Срок: 15 февраля 2010

До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}.

См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе.


Критерий Акаике (Akaike's information criterion, AIC) - критерий выбора из класса параметризованных регрессионных моделей. Акаике (Akaike) предложил критерий выбора, оценивающий модели с разным числом параметров. Критерий связан с понятием расстояния Кульбака — Лейблера (Kullback–Leibler), при помощи которого можно оценить расстояние между моделями. При применении критерия в соответствии с принципом Оккама лучшей считается модель, в достаточной мере полно описывающая данные с наименьшим количеством параметров. Тесно связан с байесовским информационным критерием, но в отличие от него содержит функцию штрафа, линейно зависящую от числа параметров.

Содержание

Описание критерия

Расстояние Кульбака-Лейблера между двумя непрерывными функциями есть интеграл I(f,g)=\int{f(x)\ln{\frac{f(x)}{g(x|\theta)}}d(x)}. Акаике показал, что для оценки расстояния между моделями можно оценить величину E_{\hat{\theta}}\[I(f,\hat{g})\], где \hat{\theta} - оценка вектора параметров, в который входят параметры модели и случайные величины; \hat{g}=g(\cdot|\hat{\theta}). При этом максимум логарифмической функции правдоподобия и оценка матожидания связаны следующим выражением: \log(\mathcal{L}(\hat{\theta}|y))-K=Const-\hat{E}_{\hat{\theta}}\[I(f,\hat{g})\], где K - число параметров модели, а \mathcal{L} -максимум логарифмической функции правдоподобия. Таким образом вместо вычисления расстояния между моделями можно ввести оценивающий критерий.

AIC = 2K-2\log(\mathcal{L}(\hat{\theta}|y))

В случае задачи линейной регрессии можно записать критерий Акаике через SSE (Sum of Squared Errors) - сумму квадратов остатков.

AIC = 2K+n\[\ln(\hat{\sigma}^2)\]

SSE=\|f(x_i)-y_i\|_2=\sum_{i=1}^N(y_i-f(w,x_i))^2;

\hat{\sigma}^2=\frac{SSE}{N-2} — дисперсия остатков;
Лучшая модель соответствует минимальному значению критерия Акаике. Абсолютное значение критерия не несет в себе полезной информации.

Особенности применения критерия

  • Штрафование числа параметров ограничивает значительный рост сложности модели.
  • Проверка критерия является трудоемкой операцией.
  • Может сравнивать модели только с выборками равного размера.
  • Порядок выбора моделей неважен.

Модификации критерия

  • AICc был предложен для использования в задач маленькой размерности, когда \frac{n}{K}\leq 40. При решении более общих задач большей размерности рекомендуется использовать AIC. В то же время, при больших значениях \frac{n}{K} использование двух критериев равно возможно. Особенность критерия AICc заключается в том, что функция штрафа умножается на поправочный коэффициент.

AIC_c=AIC+\frac{2K(K+1)}{n-K-1}

AIC_c=\ln\frac{SSE}{n}+\frac{n+K}{n-K-2}

  • QAIC следует использовать для моделей, в которых часть переменных является случайными величинами с простыми дискретными распределениями (биномиальное, пуассоновское и т.д.). В таких случаях используется более общая модель, которая получается из рассматриваемой добавлением параметра обобщенного распределения. Оценка параметра определяется как распределение \chi^2. Обычно значение параметра лежит на отрезке c\in\[1;4\].

Если \hat{c}<1, то следует заменить c = 1. При c=1 QAIC сводится к AIC.
QAIC = 2K-\frac{\ln(L)}{\hat{c}}

QAIC_c = QAIC+\frac{2K(K+1)}{n-K-1}

См. также

Литература

  1. Akaike's information criterion on Wikipedia
  1. Akaike, H. A new look at the statistical model identification. — IEEE Transactions on Automatic Control. — 1974 T. 19. — 716--723 с.
  2. Liddle A. R. Information criteria for astrophysical model selection. — Advances in Neural Information Processing Systems. — Astronomy Centre, University of Sussex, 2008.
  3. Burnham K. P., Anderson D.R. Model selection and multimodel inference: a practical information-theoretic approach. — 2-е изд. — Springer, 2002. — 488 с. — ISBN 0387953647
  4. McQuarrie A. D. R., Tsai C. L. Regression and time series model selection. — World Scientific, 1998. — 455 с. — ISBN 981023242X
  5. Бидюк П.И., Зворыгина Т.Ф. Cтруктурный анализ методик построения регрессионных моделей по временным рядам наблюдений.
Источник — «http://www.machinelearning.ru/wiki/index.php?title=%D0%9E%D0%B1%D1%81%D1%83%D0%B6%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5:%D0%9A%D1%80%D0%B8%D1%82%D0%B5%D1%80%D0%B8%D0%B9_%D0%90%D0%BA%D0%B0%D0%B8%D0%BA%D0%B5»
Личные инструменты