Критерий Акаике
Материал из MachineLearning.
(Новая: {{Задание|Mordasova|Константин Воронцов|15 февраля 2010}} '''Критерий Акаике''' ('''Akaike's information criterion''', '''AIC''') - крит...) |
м |
||
Строка 13: | Строка 13: | ||
*Проверка критерия является трудоемкой операцией. | *Проверка критерия является трудоемкой операцией. | ||
*Применяется, если известен закон распределения шума. | *Применяется, если известен закон распределения шума. | ||
- | + | *Может сравнивать модели только из одного пространства объектов. | |
+ | *Критерий Акаике не может быть применен, если модели имеют пересечения по объектам. | ||
==Модификации критерия== | ==Модификации критерия== | ||
*'''AIC<sub>c</sub>''' был предложен для использования в задач маленькой размерности, когда <tex>\frac{n}{k}\leq 40</tex>. При решении более общих задач большей размерности рекомендуется использовать AIC, при больших значениях <tex>\frac{n}{K}</tex> использование двух критериев равно возможно. Особенность критерия в том, что функция штрафа умножается на поправочный коэффициент. <br /> | *'''AIC<sub>c</sub>''' был предложен для использования в задач маленькой размерности, когда <tex>\frac{n}{k}\leq 40</tex>. При решении более общих задач большей размерности рекомендуется использовать AIC, при больших значениях <tex>\frac{n}{K}</tex> использование двух критериев равно возможно. Особенность критерия в том, что функция штрафа умножается на поправочный коэффициент. <br /> |
Версия 16:58, 10 февраля 2010
![]() | Данная статья является непроверенным учебным заданием.
До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}. См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе. |
Критерий Акаике (Akaike's information criterion, AIC) - критерий выбора из класса параметризованных моделей. Акаике (Akaike) предложил максимизировать критерий выбора, чтобы оценивать модели с разным числом параметров. При применении критерия лучшей считается модель, описывающая данные с наименьшим количеством параметров. Тесно связан с байесовским информационным критерием, но в отличие от него содержит функцию штрафа, линейно зависящую от числа параметров. Критерий Акаике оценивает расстояние между подходящей моделью и реальными данными.
Содержание |
Описание критерия
Пусть - число параметров модели, а
- функция правдоподобия.
Можно записать критерий Акаике через RSS - остаточную сумму квадратов ошибок модели.
Особенности применения критерия
- Лучшая модель соответствует минимальному значению критерия Акаике.
- Абсолютное значение критерия не несет в себе полезной информации.
- Штрафование числа параметров ограничивает значительный рост сложности модели.
- Проверка критерия является трудоемкой операцией.
- Применяется, если известен закон распределения шума.
- Может сравнивать модели только из одного пространства объектов.
- Критерий Акаике не может быть применен, если модели имеют пересечения по объектам.
Модификации критерия
- AICc был предложен для использования в задач маленькой размерности, когда
. При решении более общих задач большей размерности рекомендуется использовать AIC, при больших значениях
использование двух критериев равно возможно. Особенность критерия в том, что функция штрафа умножается на поправочный коэффициент.
- QAIC следует использовать в случае, когда среднее отклонение превышает дисперсию. В таких ситуациях используется более общая модель, которая получается из рассматриваемой добавлением параметра
.
Если , то его следует заменить на
. При
QAIC сводится к AIC.
См. также
Литература
- Akaike, H. A new look at the statistical model identification. — IEEE Transactions on Automatic Control. — 1974 T. 19. — 716--723 с.
- Liddle A. R. Information criteria for astrophysical model selection. — Advances in Neural Information Processing Systems. — Astronomy Centre, University of Sussex, 2008.
- Burnham K. P., Anderson D.R. Model selection and multimodel inference: a practical information-theoretic approach. — 2-е изд. — Springer, 2002. — 488 с. — ISBN 0387953647
- McQuarrie A. D. R., Tsai C. L. Regression and time series model selection. — World Scientific, 1998. — 455 с. — ISBN 981023242X
- Бидюк П.И., Зворыгина Т.Ф. Cтруктурный анализ методик построения регрессионных моделей по временным рядам наблюдений.