Критерий Акаике
Материал из MachineLearning.
Данная статья является непроверенным учебным заданием.
До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}. См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе. |
Критерий Акаике (Akaike's information criterion, AIC) - критерий выбора из класса параметризованных регрессионных моделей. Акаике (Akaike) предложил критерий выбора, оценивающий модели с разным числом параметров. Критерий связан с понятием расстояния Кульбака — Лейблера (Kullback–Leibler), при помощи которого можно оценить расстояние между моделями. При применении критерия в соответствии с принципом Оккама лучшей считается модель, в достаточной мере полно описывающая данные с наименьшим количеством параметров. Тесно связан с байесовским информационным критерием, но в отличие от него содержит функцию штрафа, линейно зависящую от числа параметров.
Содержание |
Описание критерия
Расстояние Кульбака-Лейблера между двумя непрерывными функциями есть интеграл .
Акаике показал, что для оценки расстояния между моделями можно оценить величину , где - оценка вектора параметров, в который входят параметры модели и случайные величины; . При этом максимум логарифмической функции правдоподобия и оценка матожидания связаны следующим выражением: ,
где - число параметров модели, а -максимум логарифмической функция правдоподобия.
Таким образом вместо вычисления расстояния между моделями можно ввести оценивающий критерий.
В случае задачи линейной регрессии можно записать критерий Акаике через SSE (Sum of Squared Errors) - сумма квадратов остатков.
;
-дисперсия остатков;
Лучшая модель соответствует минимальному значению критерия Акаике.Абсолютное значение критерия не несет в себе полезной информации.
Особенности применения критерия
- Штрафование числа параметров ограничивает значительный рост сложности модели.
- Проверка критерия является трудоемкой операцией.
- Применяется, если известен закон распределения шума.
- Может сравнивать модели только из одного пространства объектов.
- Критерий Акаике не может быть применен, если модели имеют пересечения по объектам.
- Порядок выбора моделей неважен.
Модификации критерия
- AICc был предложен для использования в задач маленькой размерности, когда . При решении более общих задач большей размерности рекомендуется использовать AIC. В то же время, при больших значениях использование двух критериев равно возможно. Особенность критерия AICc заключается в том, что функция штрафа умножается на поправочный коэффициент.
- QAIC следует использовать в тех случаях, когда среднее отклонение превышает дисперсию. В таких ситуациях используется более общая модель, которая получается из рассматриваемой добавлением параметра .
Если , то его следует заменить на . При QAIC сводится к AIC.
См. также
Литература
- Akaike, H. A new look at the statistical model identification. — IEEE Transactions on Automatic Control. — 1974 T. 19. — 716--723 с.
- Liddle A. R. Information criteria for astrophysical model selection. — Advances in Neural Information Processing Systems. — Astronomy Centre, University of Sussex, 2008.
- Burnham K. P., Anderson D.R. Model selection and multimodel inference: a practical information-theoretic approach. — 2-е изд. — Springer, 2002. — 488 с. — ISBN 0387953647
- McQuarrie A. D. R., Tsai C. L. Regression and time series model selection. — World Scientific, 1998. — 455 с. — ISBN 981023242X
- Бидюк П.И., Зворыгина Т.Ф. Cтруктурный анализ методик построения регрессионных моделей по временным рядам наблюдений.