Обсуждение:Критерий Акаике

Материал из MachineLearning.

Версия от 17:15, 14 июля 2026; Ilia Vdovin (Обсуждение | вклад)

(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)

Ты – эксперт по статистическому моделированию. Переработай статью «Критерий Акаике» (AIC) для MachineLearning.ru. Исходная статья содержит формулы, но слишком короткая и не раскрывает тему.

- Недостатки, которые нужно устранить:**

- Нет мотивации и исторической справки (автор, 1974 год). - Формулы приведены без пояснений, неясно их происхождение и связь с дивергенцией Кульбака–Лейблера. Важно: дивергенция KL несимметрична и не является расстоянием. - Обозначения функции правдоподобия некорректны: следует писать L(x|θ), а не L(θ|x). - Суть критерия описана неверно. Нужно объяснить, что Акаике оценивал, насколько ухудшится качество на тестовой выборке, если модель обучена по обучающей. Он использовал матожидание по всем возможным выборкам и KL-дивергенцию, чтобы выразить это через правдоподобие на обучающей выборке. - Не описаны практические шаги: как сравнивать модели, интерпретировать разницу значений. - Не указаны ограничения (несостоятельность, невозможность сравнения на разных выборках). - Модификации (AICc, QAIC) описаны бегло, без областей применения.

- Требования к новой статье:**

Структура: определение и мотивация, история, теоретический вывод (через KL-дивергенцию, с корректными обозначениями и пояснением несимметричности), формула и её интерпретация, практическое применение, модификации (AICc, QAIC), ограничения, сравнение с BIC и кросс-валидацией, практические рекомендации, заключение.

Стиль: строгий, но доступный. Использовать вики-разметку: формулы в $, внутренние ссылки на смежные понятия ([[информационный критерий]], [[метод максимального правдоподобия]], [[байесовский информационный критерий]], [[переобучение]]). Привести минимум 5 источников (включая оригинальную работу Акаике). Объём: около 700–900 слов. <ul><li><ul><li>Исходная статья для переработки:** </li></ul> </li></ul> {{Задание|Mordasova|Константин Воронцов|15 февраля 2010}} '''Критерий Акаике''' ('''Akaike's information criterion''', '''AIC''') - критерий выбора из класса параметризованных [[Регрессионная модель|регрессионных моделей]]. Акаике (Akaike) предложил критерий выбора, оценивающий модели с разным числом параметров. Критерий связан с понятием '''расстояния Кульбака — Лейблера''' (Kullback–Leibler), при помощи которого можно оценить расстояние между моделями. При применении критерия в соответствии с [[Бритва Оккама|принципом Оккама]] лучшей считается модель, в достаточной мере полно описывающая данные с наименьшим количеством параметров. Тесно связан с [[Байесовский информационный критерий|байесовским информационным критерием]], но в отличие от него содержит функцию штрафа, линейно зависящую от числа параметров. ==Описание критерия== Расстояние Кульбака-Лейблера между двумя непрерывными функциями есть интеграл <tex>I(f,g)=\int{f(x)\ln{\frac{f(x)}{g(x|\theta)}}d(x)}$ . Акаике показал, что для оценки расстояния между моделями можно оценить величину $E_{\hat{\theta}}\[I(f,\hat{g})\]$ , где $\hat{\theta}$ - оценка вектора параметров, в который входят параметры модели и случайные величины; $\hat{g}=g(\cdot|\hat{\theta})$ . При этом максимум логарифмической функции правдоподобия и оценка матожидания связаны следующим выражением: $\log(\mathcal{L}(\hat{\theta}|y))-K=Const-\hat{E}_{\hat{\theta}}\[I(f,\hat{g})\]$ , где $K$ - число параметров модели, а $\mathcal{L}$ -максимум логарифмической функции правдоподобия. Таким образом вместо вычисления расстояния между моделями можно ввести оценивающий критерий.

$AIC = 2K-2\log(\mathcal{L}(\hat{\theta}|y))$

В случае задачи линейной регрессии можно записать критерий Акаике через SSE (Sum of Squared Errors) - сумму квадратов остатков.

$AIC = 2K+n\[\ln(\hat{\sigma}^2)\]$

$SSE=\|f(x_i)-y_i\|_2=\sum_{i=1}^N(y_i-f(w,x_i))^2$ ;

$\hat{\sigma}^2=\frac{SSE}{N-2}$ — дисперсия остатков;
Лучшая модель соответствует минимальному значению критерия Акаике. Абсолютное значение критерия не несет в себе полезной информации.

Особенности применения критерия

Штрафование числа параметров ограничивает значительный рост сложности модели.
Проверка критерия является трудоемкой операцией.
Может сравнивать модели только с выборками равного размера.
Порядок выбора моделей неважен.

Модификации критерия

AIC_c был предложен для использования в задач маленькой размерности, когда $\frac{n}{K}\leq 40$ . При решении более общих задач большей размерности рекомендуется использовать AIC. В то же время, при больших значениях $\frac{n}{K}$ использование двух критериев равно возможно. Особенность критерия AIC_c заключается в том, что функция штрафа умножается на поправочный коэффициент.

$AIC_c=AIC+\frac{2K(K+1)}{n-K-1}$

$AIC_c=\ln\frac{SSE}{n}+\frac{n+K}{n-K-2}$

QAIC следует использовать для моделей, в которых часть переменных является случайными величинами с простыми дискретными распределениями (биномиальное, пуассоновское и т.д.). В таких случаях используется более общая модель, которая получается из рассматриваемой добавлением параметра обобщенного распределения. Оценка параметра определяется как распределение $\chi^2$ . Обычно значение параметра лежит на отрезке $c\in\[1;4\]$ .

Если $\hat{c}<1$ , то следует заменить $c = 1$ . При $c=1$ QAIC сводится к AIC.
$QAIC = 2K-\frac{\ln(L)}{\hat{c}}$

$QAIC_c = QAIC+\frac{2K(K+1)}{n-K-1}$