Неравенство Рао-Крамера

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
 
Строка 1: Строка 1:
-
Вы правы, я использовал недопустимый символ `→` в тексте. Вот исправленная версия статьи, где все стрелки заменены на текстовые обозначения (например, "->" или словесные описания), а также исправлены все остальные потенциальные проблемы с вики-разметкой.
+
{{well|Статья написана с использованием LLM ChatGPT (GPT-5.6 Sol) и проверена участником [[Участник:Mariia Shubina|Mariia Shubina]] 23:00, 17 июля 2026 (MSD)}}
-
---
 
-
 
-
{{well|Статья написана с использованием LLM ChatGPT (GPT-5.6 Sol) и проверена участником [[Участник:Aleksei Kovalenko|Aleksei Kovalenko]] 20:00, 14 июля 2026 (MSD)}}
 
{{TOCright}}
{{TOCright}}
-
'''Адаптация модели во время тестирования''' (англ. ''test-time adaptation'', ''TTA'') — класс методов [[Машинное обучение|машинного обучения]], позволяющих модифицировать предварительно обученную модель или её внутренние представления на этапе логического вывода (инференса) без доступа к исходным обучающим данным. Основная цель TTA — повышение устойчивости модели к [[Сдвиг распределения|сдвигу распределения]] (англ. ''distribution shift'') между обучающей и тестовой выборками, который возникает в реальных приложениях вследствие изменения освещённости, ракурса, стиля изображения, шума сенсора или иных факторов, не контролируемых на этапе обучения.
+
'''Неравенство Рао — Крамера''' (также '''граница Крамера — Рао''', '''информационная граница''') — фундаментальный результат [[Математическая статистика|математической статистики]], задающий нижнюю границу [[Дисперсия|дисперсии]] несмещённых оценок параметра регулярной вероятностной модели. Граница выражается через [[Фишеровская информация|информацию Фишера]]: чем больше информации о параметре содержится в наблюдениях, тем меньшая дисперсия в принципе возможна у несмещённой [[Статистическая оценка|статистической оценки]].
-
В отличие от классического обучения, где модель фиксируется после завершения тренировки, TTA предполагает адаптацию параметров, нормализационных статистик или выходных представлений непосредственно в момент обработки тестового примера или мини-батча. Это делает методы TTA критически важными для систем [[Компьютерное зрение|компьютерного зрения]], [[Обработка естественного языка|обработки естественного языка]] и [[Робототехника|робототехники]], работающих в нестационарных средах.
+
Неравенство решает задачу сравнения процедур оценивания без необходимости перебирать все возможные оценки. Если дисперсия некоторой несмещённой оценки совпадает с границей Рао — Крамера, то никакая другая несмещённая оценка не может иметь меньшую дисперсию в данной точке параметра. Если граница не достигается, она всё равно служит эталоном точности и позволяет измерять, насколько конкретная оценка далека от теоретически возможного уровня.
-
== Формальная постановка задачи ==
+
Результат был получен в работах К. Р. Рао и Х. Крамера в 1940-х годах и основан на введённом Р. Фишером понятии информации о параметре.<ref name="Rao1945">{{статья
 +
|автор = Rao C. R.
 +
|заглавие = Information and the Accuracy Attainable in the Estimation of Statistical Parameters
 +
|издание = Bulletin of the Calcutta Mathematical Society
 +
|год = 1945
 +
|том = 37
 +
|страницы = 81–91
 +
}}</ref><ref name="Cramer1946">{{книга
 +
|автор = Cramér H.
 +
|заглавие = Mathematical Methods of Statistics
 +
|место = Princeton
 +
|издательство = Princeton University Press
 +
|год = 1946
 +
}}</ref><ref name="Fisher1922">{{статья
 +
|автор = Fisher R. A.
 +
|заглавие = On the Mathematical Foundations of Theoretical Statistics
 +
|издание = Philosophical Transactions of the Royal Society of London. Series A
 +
|год = 1922
 +
|том = 222
 +
|страницы = 309–368
 +
}}</ref>
-
Пусть <tex>f_\theta: \mathcal{X} \to \mathcal{Y}</tex> — модель, параметризованная вектором <tex>\theta \in \Theta</tex>, обученная на данных <tex>\{(x_i, y_i)\}_{i=1}^N</tex>, порождённых распределением <tex>P_{\text{train}}(x, y)</tex>. На этапе тестирования модель сталкивается с выборкой <tex>\{x_j^*\}_{j=1}^M</tex>, распределение которой <tex>P_{\text{test}}(x, y)</tex> отличается от обучающего: <tex>P_{\text{test}}(x) \ne P_{\text{train}}(x)</tex> (ковариатный сдвиг) и/или <tex>P_{\text{test}}(y|x) \ne P_{\text{train}}(y|x)</tex> (условный сдвиг). Задача TTA формулируется как поиск <tex>\theta^*(x^*)</tex> или модифицированного предсказания <tex>\hat{y}^*</tex> для каждого тестового примера <tex>x^*</tex> (или для каждого батча), минимизирующего ожидаемую ошибку на тестовом распределении:
+
== Основные понятия ==
-
:: <tex>\theta^* = \arg\min_{\theta' \in \Theta} \mathbb{E}_{(x^*, y^*) \sim P_{\text{test}}} \mathcal{L}(f_{\theta'}(x^*), y^*),</tex>
+
-
при условии, что доступ к <tex>P_{\text{train}}</tex> и обучающим данным <tex>\{(x_i, y_i)\}</tex> отсутствует (или ограничен).
+
-
Ключевое ограничение TTA состоит в том, что адаптация должна выполняться в реальном времени, без повторного обучения с нуля, и с минимальными вычислительными затратами, соизмеримыми с одним или несколькими прямыми проходами через сеть.
+
=== Статистическая модель и функция правдоподобия ===
-
== Классификация методов TTA ==
+
Пусть наблюдение <tex>X</tex> имеет распределение из параметрического семейства
-
Методы адаптации во время тестирования можно разделить на три основные категории в зависимости от того, какие компоненты модели модифицируются.
+
<tex>\mathcal{P}=\{P_\theta:\theta\in\Theta\}.</tex>
-
=== Адаптация статистик нормализации ===
+
Здесь <tex>\theta</tex> — неизвестный параметр, а <tex>\Theta</tex> — пространство параметров. Если распределение имеет плотность или функцию вероятностей <tex>p_\theta(x)</tex>, то при фиксированном наблюдении <tex>x</tex> выражение
-
Наиболее распространённый и вычислительно лёгкий подход — перенастройка статистик слоёв [[Пакетная нормализация|пакетной нормализации]] (англ. ''batch normalization'', ''BN''). В стандартном обучении BN использует скользящие средние и дисперсии, накопленные на обучающей выборке. При сдвиге распределения эти статистики становятся нерелевантными. TTA-методы этого класса пересчитывают среднее и дисперсию на каждом тестовом батче<ref>{{статья
+
<tex>L(\theta;x)=p_\theta(x)</tex>
-
|автор = Ioffe S., Szegedy C.
+
-
|заглавие = Batch normalization: Accelerating deep network training by reducing internal covariate shift
+
-
|издание = Proceedings of the 32nd International Conference on Machine Learning (ICML)
+
-
|год = 2015
+
-
|страницы = 448—456
+
-
}}</ref>:
+
-
:: <tex>\mu_{\text{test}}^{(l)} = \frac{1}{B} \sum_{j=1}^B z_j^{(l)}, \quad \sigma_{\text{test}}^{(l)} = \sqrt{\frac{1}{B} \sum_{j=1}^B (z_j^{(l)} - \mu_{\text{test}}^{(l)})^2 + \epsilon},</tex>
+
-
где <tex>z_j^{(l)}</tex> — активации слоя <tex>l</tex> в текущем батче размера <tex>B</tex>. Затем слой BN использует <tex>\mu_{\text{test}}^{(l)}</tex> и <tex>\sigma_{\text{test}}^{(l)}</tex> вместо сохранённых обучающих статистик. Этот подход, известный как ''адаптивная пакетная нормализация'' (англ. ''adaptive batch normalization''), лежит в основе многих ранних работ по TTA<ref>{{статья
+
-
|автор = Sun Y., Wang X., Liu Z., Miller J., Efros A., Hardt M.
+
-
|заглавие = Test-time training with self-supervision for generalization under distribution shifts
+
-
|издание = Proceedings of the 37th International Conference on Machine Learning (ICML)
+
-
|год = 2020
+
-
|страницы = 9229—9248
+
-
}}</ref>.
+
-
Более продвинутые варианты, например, ''BN-Statistics Adaptation'' (BN-SA)<ref>{{статья
+
называется [[Функция правдоподобия|функцией правдоподобия]]. Для независимой выборки <tex>X_1,\ldots,X_n</tex>
-
|автор = Schneider S., Rusak E., Eck L., Bringmann O., Schiele B., Breuel T.
+
-
|заглавие = Improving robustness against common corruptions by covariate shift adaptation
+
-
|издание = Advances in Neural Information Processing Systems (NeurIPS)
+
-
|год = 2020
+
-
|том = 33
+
-
|страницы = 11539—11551
+
-
}}</ref>, используют экспоненциально взвешенное скользящее среднее для учёта эволюции распределения во времени.
+
-
=== Адаптация параметров модели (градиентная) ===
+
<tex>L(\theta;X_1,\ldots,X_n)=\prod_{i=1}^{n}p_\theta(X_i).</tex>
-
Второй класс методов выполняет несколько шагов [[Градиентный спуск|градиентного спуска]] на тестовом батче, минимизируя некоторый вспомогательный ''самообучающийся'' (англ. ''self-supervised'') или ''согласующий'' (англ. ''consistency'') лосс. При этом обучающие данные не используются, а адаптация происходит только за счёт информации, извлекаемой из тестового распределения.
+
Часто удобнее использовать логарифмическую функцию правдоподобия
-
Ключевые представители:
+
<tex>\ell(\theta;X)=\log L(\theta;X).</tex>
-
* '''Test-Time Training (TTT)'''<ref>{{статья
+
Её производная по параметру
-
|автор = Sun Y., Wang X., Liu Z., Miller J., Efros A., Hardt M.
+
-
|заглавие = Test-time training with self-supervision for generalization under distribution shifts
+
-
|издание = Proceedings of the 37th International Conference on Machine Learning (ICML)
+
-
|год = 2020
+
-
|страницы = 9229—9248
+
-
}}</ref> — модель обучается совместно с основной задачей на вспомогательной задаче (например, поворот изображения). На этапе теста для каждого примера выполняется несколько градиентных шагов по вспомогательной задаче, что позволяет адаптировать внутренние представления. Это требует хранения дополнительной головы и значительных вычислительных затрат.
+
-
* '''Tent''' (англ. ''Test Entropy minimization'')<ref>{{статья
+
<tex>U_\theta(X)=\frac{\partial}{\partial\theta}\ell(\theta;X)</tex>
-
|автор = Wang D., Shelhamer E., Liu S., Olshausen B., Darrell T.
+
-
|заглавие = Tent: Fully test-time adaptation by entropy minimization
+
-
|издание = International Conference on Learning Representations (ICLR)
+
-
|год = 2021
+
-
}}</ref> — минимизирует энтропию выходных распределений модели на тестовом батче:
+
-
:: <tex>\mathcal{L}_{\text{ent}}(x^*) = -\sum_{c=1}^C p_c(x^*) \log p_c(x^*),</tex>
+
-
где <tex>p_c</tex> — вероятность класса <tex>c</tex> после [[Softmax|softmax]]. Обновляются только параметры слоёв нормализации (BN), что значительно быстрее полной адаптации. Tent является эталонным методом для TTA благодаря своей простоте и эффективности.
+
-
* '''EATA''' (англ. ''Efficient Anti-Forgetting Test-Time Adaptation'')<ref>{{статья
+
называется функцией вклада, или скор-функцией.
-
|автор = Niu S., Wu J., Zhang Y., Chen Y., Zheng S., Zhao P., Tan M.
+
-
|заглавие = Efficient test-time model adaptation without forgetting
+
-
|издание = Proceedings of the 39th International Conference on Machine Learning (ICML)
+
-
|год = 2022
+
-
|страницы = 16888—16905
+
-
}}</ref> — улучшает Tent добавлением регуляризатора, предотвращающего катастрофическое забывание, и динамического отбора образцов с высокой достоверностью.
+
-
=== Адаптация без обновления параметров ===
+
=== Статистическая оценка и несмещённость ===
-
Третий класс методов, называемых ''тестовым расширением'' (англ. ''test-time augmentation'', ''TTAug''), не изменяет параметры модели, а модифицирует входные данные или агрегирует предсказания от нескольких аугментированных версий тестового примера<ref>{{статья
+
[[Статистическая оценка]] параметра или функции параметра — измеримая функция наблюдений
-
|автор = Wang G., Li W., Aertsen M., Deprest J., Ourselin S., Vercauteren T.
+
-
|заглавие = Aleatoric uncertainty estimation with test-time augmentation for medical image segmentation with convolutional neural networks
+
-
|издание = Neurocomputing
+
-
|год = 2019
+
-
|том = 338
+
-
|страницы = 34—45
+
-
}}</ref>. Хотя этот подход формально не является адаптацией в смысле изменения <tex>\theta</tex>, он часто включается в обзор TTA как частный случай.
+
-
Следует различать TTA и смежные концепции:
+
<tex>T=T(X_1,\ldots,X_n).</tex>
-
* [[Few-shot learning]] предполагает наличие размеченных примеров из нового распределения.
+
После подстановки реализованной выборки она даёт численное приближение неизвестной величины.
-
* [[Domain adaptation]] (адаптация домена) использует доступ к немаркированным данным из целевого домена на этапе обучения.
+
-
* [[Meta-learning]] (мета-обучение) обучает модель быстро адаптироваться к новым задачам, но требует специального протокола обучения.
+
-
== Алгоритмы и псевдокод ==
+
Оценка <tex>T</tex> функции <tex>g(\theta)</tex> называется [[Несмещённая оценка|несмещённой]], если
-
Ниже приведён обобщённый алгоритм для градиентного TTA на основе минимизации энтропии (Tent):
+
<tex>\mathsf{E}_\theta T=g(\theta)</tex>
-
'''Вход''': модель <tex>f_\theta</tex> с обучающими параметрами <tex>\theta</tex> и статистиками BN <tex>\{\mu_{\text{tr}}^{(l)}, \sigma_{\text{tr}}^{(l)}\}</tex>, тестовый батч <tex>\mathcal{B} = \{x_j^*\}_{j=1}^B</tex>, скорость обучения <tex>\eta</tex>, число шагов адаптации <tex>K</tex>.
+
для всех <tex>\theta\in\Theta</tex>. В частности, для оценки самого параметра требуется <tex>\mathsf{E}_\theta T=\theta</tex>.
-
'''Выход''': адаптированная модель <tex>f_{\theta'}</tex> и предсказания для <tex>\mathcal{B}</tex>.
+
-
# Для каждого тестового батча <tex>\mathcal{B}</tex>:
+
Несмещённость характеризует математическое ожидание оценки, но сама по себе не гарантирует малую ошибку. Среди несмещённых оценок обычно предпочтительна оценка с меньшей [[Дисперсия|дисперсией]]
-
## Инициализировать <tex>\theta' = \theta</tex>.
+
-
## Для <tex>k = 1, \ldots, K</tex>:
+
-
### Вычислить выходные логиты <tex>z_j = f_{\theta'}(x_j^*)</tex> (используя текущие BN-статистики).
+
-
### Вычислить энтропийный лосс: <tex>\mathcal{L} = -\frac{1}{B} \sum_{j=1}^B \sum_{c=1}^C \text{softmax}(z_j)_c \log \text{softmax}(z_j)_c</tex>.
+
-
### Вычислить градиент <tex>\nabla_{\theta'} \mathcal{L}</tex> и обновить только параметры BN (или все параметры):
+
-
### <tex>\theta' = \theta' - \eta \nabla_{\theta'} \mathcal{L}</tex>.
+
-
### Обновить BN-статистики по текущему батчу: <tex>\mu^{(l)} \leftarrow \text{mean}(z^{(l)}), \ \sigma^{(l)} \leftarrow \text{std}(z^{(l)})</tex>.
+
-
## Вернуть предсказания <tex>\{f_{\theta'}(x_j^*)\}_{j=1}^B</tex> для текущего батча.
+
-
## Сбросить <tex>\theta'</tex> к исходному <tex>\theta</tex> для следующего батча (опционально, зависит от реализации: ''перманентная адаптация'' против ''батчевой'').
+
-
== Оценки эффективности и теоретические гарантии ==
+
<tex>\mathsf{Var}_\theta(T)=\mathsf{E}_\theta\left(T-\mathsf{E}_\theta T\right)^2.</tex>
-
Теоретический анализ TTA значительно сложнее стандартного обучения из-за отсутствия доступа к истинным меткам. Большинство работ приводят эмпирические результаты на бенчмарках: CIFAR-10-C, CIFAR-100-C, ImageNet-C (с коррупциями), DomainNet, Office-Home и др. Метрики включают точность (accuracy), устойчивость (robustness) и вычислительные затраты (время инференса, число дополнительных проходов).
+
Для несмещённой оценки функции <tex>g(\theta)</tex> её среднеквадратичная ошибка совпадает с дисперсией:
-
Среди теоретических результатов выделяются работы, связывающие TTA с минимизацией верхней границы ошибки обобщения через [[Дивергенция Кульбака — Лейблера|дивергенцию Кульбака — Лейблера]] между обучающим и тестовым распределениями<ref>{{статья
+
<tex>\mathsf{E}_\theta\left(T-g(\theta)\right)^2=\mathsf{Var}_\theta(T).</tex>
-
|автор = Zhang M., Levine S., Finn C.
+
-
|заглавие = MEMO: Test time robustness via adaptation and augmentation
+
-
|издание = Advances in Neural Information Processing Systems (NeurIPS)
+
-
|год = 2022
+
-
|том = 35
+
-
|страницы = 38629—38642
+
-
}}</ref>. Показано, что адаптация с помощью энтропийной минимизации эквивалентна приближённому максимуму правдоподобия на тестовом распределении в предположении, что условное распределение <tex>P(y|x)</tex> инвариантно.
+
-
Для методов, обновляющих только статистики BN, существуют оценки улучшения обобщения при условии, что сдвиг распределения ограничен по [[Мера Вассерштейна|расстоянию Вассерштейна]]<ref>{{статья
+
Для смещённой оценки это равенство неверно: среднеквадратичная ошибка дополнительно содержит квадрат смещения.
-
|автор = Wang D., Shelhamer E., Liu S., Olshausen B., Darrell T.
+
-
|заглавие = Tent: Fully test-time adaptation by entropy minimization
+
-
|издание = International Conference on Learning Representations (ICLR)
+
-
|год = 2021
+
-
}}</ref>. Однако строгие гарантии сходимости для невыпуклых глубоких сетей в TTA до сих пор остаются открытой проблемой.
+
-
== Сравнение с родственными подходами ==
+
=== Информация Фишера ===
-
{| class="wikitable" style="width:100%;"
+
[[Фишеровская информация]] в одном наблюдении определяется как
-
|-
+
-
! Метод !! Доступ к данным на этапе адаптации !! Изменяемые компоненты !! Вычислительные затраты !! Требования к памяти !! Основная область применения
+
-
|-
+
-
| [[Fine-tuning]] || Размеченные целевые данные || Все параметры || Высокие || Высокие (градиенты) || Статичная адаптация
+
-
|-
+
-
| Domain Adaptation (DA) || Немаркированные целевые данные (обучение) || Все параметры || Средние || Высокие || Смена домена до инференса
+
-
|-
+
-
| TTA (статистики BN) || Немаркированные тестовые батчи || BN-статистики || Низкие (доп. проход) || Низкие (только статистики) || Онлайн-адаптация к сдвигу
+
-
|-
+
-
| TTA (градиентная, Tent) || Немаркированные тестовые батчи || BN-параметры (гамма, бета) || Средние (1-5 шагов) || Средние (градиенты BN) || Умеренный сдвиг
+
-
|-
+
-
| TTA (полная адаптация, TTT) || Немаркированные тестовые примеры || Все параметры (через SSL) || Высокие (много шагов) || Высокие || Сильный сдвиг
+
-
|-
+
-
| Test-Time Augmentation || Нет || Входные данные (аугментации) || Высокие (кратно B) || Низкие (без обновлений) || Неопределённость и робастность
+
-
|}
+
-
Ключевое различие между TTA и классической адаптацией домена состоит в том, что TTA не имеет возможности переобучаться на всей целевой выборке — она работает в потоковом режиме, часто с одним или несколькими примерами, и должна сохранять работоспособность на каждом батче независимо.
+
<tex>I_1(\theta)=\mathsf{E}_\theta\left[\left(\frac{\partial}{\partial\theta}\log p_\theta(X)\right)^2\right],</tex>
-
== Применения в машинном обучении ==
+
если математическое ожидание существует. При стандартных условиях регулярности справедлива эквивалентная формула
-
=== Компьютерное зрение ===
+
<tex>I_1(\theta)=-\mathsf{E}_\theta\left[\frac{\partial^2}{\partial\theta^2}\log p_\theta(X)\right].</tex>
-
TTA широко применяется для классификации изображений при наличии природных искажений (шум, размытие, изменение освещения, погодные условия). Методы Tent и EATA показывают улучшение точности на 5–15% на наборах ImageNet-C и CIFAR-10-C по сравнению с базовым инференсом<ref>{{статья
+
Для независимых одинаково распределённых наблюдений информация складывается:
-
|автор = Hendrycks D., Dietterich T.
+
-
|заглавие = Benchmarking neural network robustness to common corruptions and perturbations
+
-
|издание = Proceedings of the International Conference on Learning Representations (ICLR)
+
-
|год = 2019
+
-
}}</ref>. В сегментации медицинских изображений TTA используется для адаптации к различиям между сканерами и протоколами съёмки.
+
-
=== Обработка естественного языка ===
+
<tex>I_n(\theta)=nI_1(\theta).</tex>
-
Для NLP TTA применяется в задачах классификации текстов при изменении стиля, жанра или временного периода. Методы адаптации статистик [[Layer Normalization|слоевой нормализации]] демонстрируют устойчивость к сдвигу в тональности отзывов<ref>{{статья
+
Информация Фишера измеряет локальную чувствительность распределения наблюдений к изменению параметра. Большая информация означает, что близкие значения параметра порождают лучше различимые распределения.
-
|автор = Lee T., Kim J., Choi J., Kim S.
+
-
|заглавие = Test-time adaptation for text classification with language models
+
-
|издание = Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (ACL)
+
-
|год = 2023
+
-
|страницы = 1234—1245
+
-
}}</ref>.
+
-
=== Робототехника и автономные системы ===
+
== Формулировка неравенства Рао — Крамера ==
-
В робототехнике TTA критически важна для адаптации к изменению освещения, погоды и динамики окружения. Методы, использующие [[Байесовская оптимизация|байесовскую оптимизацию]] для выбора гиперпараметров адаптации, показывают эффективность в реальных роботизированных задачах манипуляции<ref>{{статья
+
Пусть <tex>T(X)</tex> — несмещённая оценка дифференцируемой функции <tex>g(\theta)</tex>, то есть
-
|автор = Hansen N., Wang X., Su H.
+
-
|заглавие = Temporal ensembling for test-time adaptation in robotics
+
-
|издание = IEEE Robotics and Automation Letters
+
-
|год = 2023
+
-
|том = 8
+
-
|номер = 2
+
-
|страницы = 1234—1241
+
-
}}</ref>.
+
-
== Ограничения и открытые проблемы ==
+
<tex>\mathsf{E}_\theta T=g(\theta).</tex>
-
* '''Катастрофическое забывание'''. Адаптация на последовательности тестовых батчей может приводить к дрейфу параметров и потере знаний, полученных на обучающем домене. Методы EATA и регулярные сбросы параметров частично решают эту проблему.
+
При выполнении условий регулярности и при <tex>0<I_n(\theta)<\infty</tex> справедливо неравенство
-
* '''Зависимость от размера батча'''. Статистики BN требуют достаточно большого батча (обычно не менее 8) для надёжной оценки. Для онлайн-режима с батчем размером 1 методы становятся нестабильными; используются альтернативы, такие как [[Layer Normalization]] или [[Instance Normalization]]<ref>{{статья
+
-
|автор = Ulyanov D., Vedaldi A., Lempitsky V.
+
-
|заглавие = Instance normalization: The missing ingredient for fast stylization
+
-
|издание = arXiv:1607.08022
+
-
|год = 2016
+
-
}}</ref>.
+
-
* '''Ошибки в самообучении'''. Если модель изначально даёт неверные предсказания с высокой уверенностью, минимизация энтропии может усугубить ошибку (эффект «ложной уверенности»). Для борьбы используются пороги достоверности или консистентные регуляризаторы<ref>{{статья
+
-
|автор = Niu S., Wu J., Zhang Y., Chen Y., Zheng S., Zhao P., Tan M.
+
-
|заглавие = Efficient test-time model adaptation without forgetting
+
-
|издание = Proceedings of the 39th International Conference on Machine Learning (ICML)
+
-
|год = 2022
+
-
|страницы = 16888—16905
+
-
}}</ref>.
+
-
* '''Вычислительная нагрузка'''. Даже адаптация BN требует дополнительного прохода по сети для обновления статистик, а градиентные методы — ещё и обратного распространения. В системах реального времени это может быть неприемлемо.
+
-
* '''Теоретическое обоснование'''. Отсутствие строгих гарантий сходимости и обобщения для глубоких невыпуклых моделей остаётся серьёзным пробелом.
+
-
== Современные обобщения и новые варианты ==
+
<tex>\mathsf{Var}_\theta(T)\geq\frac{\left(g'(\theta)\right)^2}{I_n(\theta)}.</tex>
-
За последние годы (2022–2026) появилось несколько значимых направлений развития TTA:
+
Для несмещённой оценки самого параметра, когда <tex>g(\theta)=\theta</tex> и <tex>g'(\theta)=1</tex>, формула принимает вид
-
* '''Адаптация с защитой от отравления''' (англ. ''poisoning-robust TTA'') — методы, устойчивые к злонамеренным тестовым примерам, которые пытаются испортить адаптацию<ref>{{статья
+
<tex>\mathsf{Var}_\theta(T)\geq\frac{1}{I_n(\theta)}.</tex>
-
|автор = Chen W., Zhang Y., Zhu W., Li Y.
+
-
|заглавие = Robust test-time adaptation against adversarial attacks
+
-
|издание = International Conference on Learning Representations (ICLR)
+
-
|год = 2024
+
-
}}</ref>.
+
-
* '''Мультимодальная TTA''' — адаптация моделей, работающих с несколькими модальностями (изображение + текст, видео + звук), с учётом межмодальных корреляций<ref>{{статья
+
-
|автор = Zhang H., Liu C., Lu J., Zhang Y.
+
-
|заглавие = Test-time adaptation for vision-language models
+
-
|издание = IEEE Conference on Computer Vision and Pattern Recognition (CVPR)
+
-
|год = 2025
+
-
|страницы = 5678—5689
+
-
}}</ref>.
+
-
* '''TTA для больших языковых моделей (LLM)''' — адаптация статистик нормализации и добавление специальных префиксных токенов для учёта стиля запроса<ref>{{cite web
+
-
|автор = OpenAI
+
-
|заглавие = Test-time adaptation techniques for GPT-5
+
-
|url = https://openai.com/research/tta-gpt5
+
-
|год = 2025
+
-
|accessdate = 2026-07-14
+
-
}}</ref>.
+
-
* '''Безградиентная TTA''' — использование [[Байесовская оптимизация|байесовской оптимизации]] и эволюционных стратегий для адаптации без вычисления градиентов, что критично для моделей с закрытым кодом<ref>{{статья
+
-
|автор = Zhao P., Chen Y., Niu S., Wu J.
+
-
|заглавие = Gradient-free test-time adaptation for black-box models
+
-
|издание = Advances in Neural Information Processing Systems (NeurIPS)
+
-
|год = 2026
+
-
|том = 39
+
-
}}</ref>.
+
-
Эти направления расширяют область применения TTA и повышают её практическую ценность.
+
Здесь:
-
== Рекомендации по выбору метода ==
+
* <tex>\mathsf{Var}_\theta(T)</tex> — дисперсия оценки при истинном значении параметра <tex>\theta</tex>;
 +
* <tex>g'(\theta)</tex> — чувствительность оцениваемой функции к изменению параметра;
 +
* <tex>I_n(\theta)</tex> — информация Фишера во всей выборке;
 +
* правая часть — '''нижняя граница Рао — Крамера'''.
-
Выбор конкретного подхода TTA зависит от ресурсных ограничений и характера сдвига:
+
Граница является поточечной: она может зависеть от <tex>\theta</tex>. Неравенство не утверждает, что оценка с дисперсией, равной правой части, обязательно существует.
-
* Если доступны большие тестовые батчи и допустима небольшая задержка, следует использовать Tent с обновлением BN-параметров (гамма и бета).
+
=== Идея доказательства ===
-
* Если батч мал или данные поступают последовательно, следует применять адаптацию статистик BN с экспоненциальным сглаживанием или использовать методы на основе Instance Normalization.
+
-
* Если допустимы высокие вычислительные затраты (например, в офлайн-обработке), следует использовать TTT или полную адаптацию с самообучением.
+
-
* Если модель является чёрным ящиком, следует применять безградиентные методы или test-time augmentation.
+
-
* Для защиты от катастрофического забывания следует выбирать EATA с регуляризацией и фильтрацией примеров.
+
-
== Литература ==
+
В регулярной модели математическое ожидание скор-функции равно нулю:
-
<references/>
+
<tex>\mathsf{E}_\theta U_\theta(X)=0.</tex>
-
{{статья
+
Дифференцирование равенства <tex>\mathsf{E}_\theta T=g(\theta)</tex> по <tex>\theta</tex> даёт
-
|автор = Sun Y., Wang X., Liu Z., Miller J., Efros A., Hardt M.
+
-
|заглавие = Test-time training with self-supervision for generalization under distribution shifts
+
-
|издание = Proceedings of the 37th International Conference on Machine Learning (ICML)
+
-
|год = 2020
+
-
|страницы = 9229—9248
+
-
}}
+
-
{{статья
+
<tex>\mathsf{E}_\theta\left[\left(T-g(\theta)\right)U_\theta(X)\right]=g'(\theta).</tex>
-
|автор = Wang D., Shelhamer E., Liu S., Olshausen B., Darrell T.
+
-
|заглавие = Tent: Fully test-time adaptation by entropy minimization
+
-
|издание = International Conference on Learning Representations (ICLR)
+
-
|год = 2021
+
-
}}
+
-
{{статья
+
Левая часть является ковариацией оценки и скор-функции. По неравенству Коши — Буняковского
-
|автор = Niu S., Wu J., Zhang Y., Chen Y., Zheng S., Zhao P., Tan M.
+
-
|заглавие = Efficient test-time model adaptation without forgetting
+
-
|издание = Proceedings of the 39th International Conference on Machine Learning (ICML)
+
-
|год = 2022
+
-
|страницы = 16888—16905
+
-
}}
+
-
{{статья
+
<tex>\left(g'(\theta)\right)^2\leq\mathsf{Var}_\theta(T)\,\mathsf{Var}_\theta\left(U_\theta(X)\right).</tex>
-
|автор = Schneider S., Rusak E., Eck L., Bringmann O., Schiele B., Breuel T.
+
-
|заглавие = Improving robustness against common corruptions by covariate shift adaptation
+
-
|издание = Advances in Neural Information Processing Systems (NeurIPS)
+
-
|год = 2020
+
-
|том = 33
+
-
|страницы = 11539—11551
+
-
}}
+
-
{{статья
+
Поскольку
-
|автор = Hendrycks D., Dietterich T.
+
-
|заглавие = Benchmarking neural network robustness to common corruptions and perturbations
+
-
|издание = Proceedings of the International Conference on Learning Representations (ICLR)
+
-
|год = 2019
+
-
}}
+
-
{{статья
+
<tex>\mathsf{Var}_\theta\left(U_\theta(X)\right)=I_n(\theta),</tex>
-
|автор = Zhang M., Levine S., Finn C.
+
-
|заглавие = MEMO: Test time robustness via adaptation and augmentation
+
-
|издание = Advances in Neural Information Processing Systems (NeurIPS)
+
-
|год = 2022
+
-
|том = 35
+
-
|страницы = 38629—38642
+
-
}}
+
-
{{статья
+
получается неравенство Рао — Крамера.<ref name="LehmannCasella">{{книга
-
|автор = Zhao P., Chen Y., Niu S., Wu J.
+
|автор = Lehmann E. L., Casella G.
-
|заглавие = Gradient-free test-time adaptation for black-box models
+
|заглавие = Theory of Point Estimation
-
|издание = Advances in Neural Information Processing Systems (NeurIPS)
+
|издание = 2-е
-
|год = 2026
+
|место = New York
-
|том = 39
+
|издательство = Springer
-
}}
+
|год = 1998
 +
}}</ref>
-
{{cite web
+
== Условия применимости ==
-
|автор = OpenAI
+
 
-
|заглавие = Test-time adaptation techniques for GPT-5
+
Классическая формулировка требует регулярности статистической модели. В прикладных задачах обычно проверяют следующие условия.
-
|url = https://openai.com/research/tta-gpt5
+
 
-
|год = 2025
+
* Плотность или функция вероятностей <tex>p_\theta(x)</tex> достаточно гладко зависит от <tex>\theta</tex>.
-
|accessdate = 2026-07-14
+
* Область возможных значений наблюдения не зависит от параметра либо граничные члены при дифференцировании исчезают.
 +
* Допустимо менять местами дифференцирование по параметру и интегрирование или суммирование по наблюдениям.
 +
* Скор-функция имеет конечный второй момент.
 +
* Информация Фишера существует, конечна и положительна.
 +
* Оцениваемая функция <tex>g(\theta)</tex> дифференцируема.
 +
* Для многопараметрической версии информационная матрица должна быть невырожденной либо требуется специальная формулировка с ограничениями или обобщённой обратной матрицей.
 +
 
 +
Эти условия нарушаются, например, в модели равномерного распределения на <tex>[0,\theta]</tex>, поскольку носитель распределения зависит от <tex>\theta</tex>. Формальное применение стандартной формулы в такой задаче может дать неверный вывод.
 +
 
 +
== Эффективные оценки ==
 +
 
 +
Несмещённая оценка <tex>T</tex> называется '''эффективной''' в точке <tex>\theta</tex>, если её дисперсия достигает границы Рао — Крамера:
 +
 
 +
<tex>\mathsf{Var}_\theta(T)=\frac{\left(g'(\theta)\right)^2}{I_n(\theta)}.</tex>
 +
 
 +
Если равенство выполняется для всех <tex>\theta\in\Theta</tex>, оценка эффективна на всём пространстве параметров.
 +
 
 +
Равенство в неравенстве Коши — Буняковского достигается тогда и только тогда, когда центрированная оценка пропорциональна скор-функции. Поэтому необходимое и, при регулярности, достаточное условие эффективности имеет вид
 +
 
 +
<tex>T(X)-g(\theta)=a(\theta)U_\theta(X),</tex>
 +
 
 +
где
 +
 
 +
<tex>a(\theta)=\frac{g'(\theta)}{I_n(\theta)}.</tex>
 +
 
 +
Это условие достаточно жёсткое. Точная эффективность при конечном размере выборки характерна прежде всего для некоторых регулярных экспоненциальных семейств. Во многих моделях граница недостижима ни одной несмещённой оценкой.
 +
 
 +
Иногда вводят относительную эффективность несмещённой оценки:
 +
 
 +
<tex>e_\theta(T)=\frac{\left(g'(\theta)\right)^2/I_n(\theta)}{\mathsf{Var}_\theta(T)}.</tex>
 +
 
 +
При выполнении условий неравенства <tex>0<e_\theta(T)\leq 1</tex>. Это отношение нельзя смешивать со среднеквадратичной ошибкой смещённой оценки или с асимптотической эффективностью.
 +
 
 +
== Связь с методом максимального правдоподобия ==
 +
 
 +
[[Метод максимального правдоподобия]] выбирает значение
 +
 
 +
<tex>\widehat{\theta}_{\mathrm{ML}}\in\operatorname*{arg\,max}_{\theta\in\Theta}L(\theta;X).</tex>
 +
 
 +
Оценка максимального правдоподобия не обязана быть несмещённой и не обязана достигать границы Рао — Крамера при конечном <tex>n</tex>. Поэтому из самого определения метода максимального правдоподобия эффективность не следует.
 +
 
 +
Однако в регулярных идентифицируемых моделях при стандартных условиях оценка максимального правдоподобия является состоятельной и [[Асимптотическая нормальность|асимптотически нормальной]]:
 +
 
 +
<tex>\sqrt{n}\left(\widehat{\theta}_{\mathrm{ML}}-\theta\right)\xrightarrow{d}\mathcal{N}\left(0,I_1(\theta)^{-1}\right).</tex>
 +
 
 +
Следовательно,
 +
 
 +
<tex>\mathsf{Var}_\theta\left(\widehat{\theta}_{\mathrm{ML}}\right)\approx\frac{1}{nI_1(\theta)}=\frac{1}{I_n(\theta)}</tex>
 +
 
 +
при больших <tex>n</tex>. В этом смысле оценка максимального правдоподобия часто '''асимптотически эффективна''': её предельная дисперсия совпадает с информационной границей. Это утверждение относится к асимптотике и не означает точного равенства дисперсий для конечной выборки.<ref name="VanderVaart">{{книга
 +
|автор = van der Vaart A. W.
 +
|заглавие = Asymptotic Statistics
 +
|место = Cambridge
 +
|издательство = Cambridge University Press
 +
|год = 1998
 +
}}</ref>
 +
 
 +
Наблюдаемая отрицательная матрица вторых производных логарифма правдоподобия,
 +
 
 +
<tex>-\frac{\partial^2}{\partial\theta^2}\ell(\theta;X),</tex>
 +
 
 +
служит выборочным аналогом информации Фишера. Её обратная величина или обратная матрица часто используется для приближённого вычисления стандартных ошибок оценок максимального правдоподобия.
 +
 
 +
== Классические примеры ==
 +
 
 +
Во всех примерах наблюдения независимы и одинаково распределены.
 +
 
 +
=== Нормальное распределение с известной дисперсией ===
 +
 
 +
Пусть
 +
 
 +
<tex>X_1,\ldots,X_n\sim\mathcal{N}(\mu,\sigma^2),</tex>
 +
 
 +
где <tex>\sigma^2</tex> известно, а <tex>\mu</tex> неизвестно. Для одного наблюдения
 +
 
 +
<tex>\ell(\mu;X)=-\frac{1}{2}\log(2\pi\sigma^2)-\frac{(X-\mu)^2}{2\sigma^2}.</tex>
 +
 
 +
Скор-функция равна
 +
 
 +
<tex>\frac{\partial}{\partial\mu}\ell(\mu;X)=\frac{X-\mu}{\sigma^2}.</tex>
 +
 
 +
Поэтому
 +
 
 +
<tex>I_1(\mu)=\frac{1}{\sigma^2},\qquad I_n(\mu)=\frac{n}{\sigma^2}.</tex>
 +
 
 +
Граница Рао — Крамера для любой несмещённой оценки <tex>T</tex> параметра <tex>\mu</tex> равна
 +
 
 +
<tex>\mathsf{Var}_\mu(T)\geq\frac{\sigma^2}{n}.</tex>
 +
 
 +
Естественная оценка — выборочное среднее
 +
 
 +
<tex>\overline{X}=\frac{1}{n}\sum_{i=1}^{n}X_i.</tex>
 +
 
 +
Она несмещённа, и
 +
 
 +
<tex>\mathsf{Var}_\mu(\overline{X})=\frac{\sigma^2}{n}.</tex>
 +
 
 +
Следовательно, <tex>\overline{X}</tex> достигает границы и является эффективной оценкой <tex>\mu</tex>.
 +
 
 +
=== Распределение Бернулли ===
 +
 
 +
Пусть
 +
 
 +
<tex>X_1,\ldots,X_n\sim\operatorname{Bernoulli}(p),\qquad 0<p<1.</tex>
 +
 
 +
Для одного наблюдения
 +
 
 +
<tex>p_p(x)=p^x(1-p)^{1-x},\qquad x\in\{0,1\}.</tex>
 +
 
 +
Логарифм правдоподобия и его производная имеют вид
 +
 
 +
<tex>\ell(p;X)=X\log p+(1-X)\log(1-p),</tex>
 +
 
 +
<tex>\frac{\partial}{\partial p}\ell(p;X)=\frac{X-p}{p(1-p)}.</tex>
 +
 
 +
Так как <tex>\mathsf{Var}_p(X)=p(1-p)</tex>,
 +
 
 +
<tex>I_1(p)=\frac{1}{p(1-p)},\qquad I_n(p)=\frac{n}{p(1-p)}.</tex>
 +
 
 +
Поэтому для любой несмещённой оценки <tex>T</tex> вероятности успеха
 +
 
 +
<tex>\mathsf{Var}_p(T)\geq\frac{p(1-p)}{n}.</tex>
 +
 
 +
Естественная оценка доли успехов
 +
 
 +
<tex>\widehat{p}=\overline{X}</tex>
 +
 
 +
несмещённа и имеет дисперсию
 +
 
 +
<tex>\mathsf{Var}_p(\widehat{p})=\frac{p(1-p)}{n}.</tex>
 +
 
 +
Таким образом, выборочная доля эффективна.
 +
 
 +
=== Распределение Пуассона ===
 +
 
 +
Пусть
 +
 
 +
<tex>X_1,\ldots,X_n\sim\operatorname{Poisson}(\lambda),\qquad \lambda>0.</tex>
 +
 
 +
Для одного наблюдения
 +
 
 +
<tex>p_\lambda(x)=\frac{e^{-\lambda}\lambda^x}{x!},\qquad x=0,1,2,\ldots</tex>
 +
 
 +
Логарифм правдоподобия и скор-функция равны
 +
 
 +
<tex>\ell(\lambda;X)=-\lambda+X\log\lambda-\log(X!),</tex>
 +
 
 +
<tex>\frac{\partial}{\partial\lambda}\ell(\lambda;X)=\frac{X-\lambda}{\lambda}.</tex>
 +
 
 +
Поскольку <tex>\mathsf{Var}_\lambda(X)=\lambda</tex>,
 +
 
 +
<tex>I_1(\lambda)=\frac{1}{\lambda},\qquad I_n(\lambda)=\frac{n}{\lambda}.</tex>
 +
 
 +
Граница для несмещённой оценки интенсивности равна
 +
 
 +
<tex>\mathsf{Var}_\lambda(T)\geq\frac{\lambda}{n}.</tex>
 +
 
 +
Выборочное среднее <tex>\overline{X}</tex> несмещённо и удовлетворяет
 +
 
 +
<tex>\mathsf{Var}_\lambda(\overline{X})=\frac{\lambda}{n}.</tex>
 +
 
 +
Следовательно, <tex>\overline{X}</tex> является эффективной оценкой <tex>\lambda</tex>.
 +
 
 +
=== Экспоненциальное распределение ===
 +
 
 +
Результат зависит от параметризации. Сначала параметризуем распределение средним значением, или масштабом, <tex>\theta>0</tex>:
 +
 
 +
<tex>p_\theta(x)=\frac{1}{\theta}\exp\left(-\frac{x}{\theta}\right),\qquad x\geq 0.</tex>
 +
 
 +
Для одного наблюдения
 +
 
 +
<tex>\ell(\theta;X)=-\log\theta-\frac{X}{\theta},</tex>
 +
 
 +
<tex>\frac{\partial}{\partial\theta}\ell(\theta;X)=\frac{X-\theta}{\theta^2}.</tex>
 +
 
 +
Так как <tex>\mathsf{Var}_\theta(X)=\theta^2</tex>,
 +
 
 +
<tex>I_1(\theta)=\frac{1}{\theta^2},\qquad I_n(\theta)=\frac{n}{\theta^2}.</tex>
 +
 
 +
Граница Рао — Крамера равна
 +
 
 +
<tex>\mathsf{Var}_\theta(T)\geq\frac{\theta^2}{n}.</tex>
 +
 
 +
Естественная оценка масштаба <tex>\overline{X}</tex> несмещённа, причём
 +
 
 +
<tex>\mathsf{Var}_\theta(\overline{X})=\frac{\theta^2}{n}.</tex>
 +
 
 +
Она достигает границы и эффективна.
 +
 
 +
Если вместо масштаба использовать интенсивность <tex>\lambda=1/\theta</tex>, плотность принимает вид
 +
 
 +
<tex>p_\lambda(x)=\lambda e^{-\lambda x}.</tex>
 +
 
 +
Тогда
 +
 
 +
<tex>I_n(\lambda)=\frac{n}{\lambda^2},\qquad\mathsf{Var}_\lambda(T)\geq\frac{\lambda^2}{n}.</tex>
 +
 
 +
Оценка максимального правдоподобия
 +
 
 +
<tex>\widehat{\lambda}_{\mathrm{ML}}=\frac{1}{\overline{X}}</tex>
 +
 
 +
смещена при конечном <tex>n</tex>, поэтому стандартная граница для несмещённых оценок к ней напрямую неприменима. Несмещённая оценка
 +
 
 +
<tex>\widetilde{\lambda}=\frac{n-1}{\sum_{i=1}^{n}X_i}</tex>
 +
 
 +
при <tex>n>2</tex> имеет дисперсию
 +
 
 +
<tex>\mathsf{Var}_\lambda(\widetilde{\lambda})=\frac{\lambda^2}{n-2},</tex>
 +
 
 +
которая строго больше <tex>\lambda^2/n</tex>. Следовательно, в параметризации интенсивностью точная нижняя граница не достигается этой естественной несмещённой оценкой, хотя оценка максимального правдоподобия асимптотически эффективна.
 +
 
 +
== Многопараметрическая форма ==
 +
 
 +
Пусть параметр является вектором
 +
 
 +
<tex>\theta=(\theta_1,\ldots,\theta_d)^{\mathsf T}.</tex>
 +
 
 +
Информационная матрица Фишера определяется как
 +
 
 +
<tex>I(\theta)=\mathsf{E}_\theta\left[\nabla_\theta\ell(\theta;X)\nabla_\theta\ell(\theta;X)^{\mathsf T}\right].</tex>
 +
 
 +
Для несмещённой оценки вектора <tex>g(\theta)</tex> справедливо матричное неравенство
 +
 
 +
<tex>\operatorname{Cov}_\theta(T)\succeq G(\theta)I(\theta)^{-1}G(\theta)^{\mathsf T},</tex>
 +
 
 +
где <tex>G(\theta)</tex> — матрица Якоби функции <tex>g</tex>, а знак <tex>\succeq</tex> означает, что разность левой и правой частей неотрицательно определена. Для оценки самого вектора параметров
 +
 
 +
<tex>\operatorname{Cov}_\theta(T)\succeq I(\theta)^{-1}.</tex>
 +
 
 +
Матричная форма особенно важна в машинном обучении, где параметры моделей обычно многомерны.
 +
 
 +
== Применения в машинном обучении и анализе данных ==
 +
 
 +
=== Оценивание параметров вероятностных моделей ===
 +
 
 +
Граница Рао — Крамера позволяет определить минимально возможную ковариацию несмещённых оценок параметров вероятностной модели. Она применяется при анализе моделей шума, смесей распределений, временных рядов, моделей выживания, систем идентификации и статистической обработки сигналов.
 +
 
 +
Практический смысл состоит в разделении двух источников неточности:
 +
 
 +
* ограниченности информации, содержащейся в данных;
 +
* неэффективности выбранного алгоритма оценивания.
 +
 
 +
Если дисперсия оценки близка к информационной границе, существенное улучшение возможно главным образом за счёт увеличения объёма или качества данных, а не замены алгоритма другой несмещённой процедурой.
 +
 
 +
=== Анализ метода максимального правдоподобия ===
 +
 
 +
В регулярных моделях обратная информационная матрица описывает предельную ковариацию оценки максимального правдоподобия:
 +
 
 +
<tex>\operatorname{Cov}\left(\widehat{\theta}_{\mathrm{ML}}\right)\approx I_n(\theta)^{-1}.</tex>
 +
 
 +
Это соотношение используется для:
 +
 
 +
* вычисления стандартных ошибок параметров;
 +
* построения приближённых доверительных интервалов;
 +
* сравнения различных планов сбора данных;
 +
* диагностики слабой идентифицируемости параметров;
 +
* анализа влияния размера выборки на точность оценивания.
 +
 
 +
Малое собственное значение информационной матрицы соответствует направлению в пространстве параметров, которое плохо определяется данными. Обратная матрица тогда содержит большие элементы, указывая на высокую неопределённость оценки.
 +
 
 +
=== Логистическая регрессия ===
 +
 
 +
В [[Логистическая регрессия|логистической регрессии]]
 +
 
 +
<tex>\mathsf{P}(Y_i=1\mid x_i)=\sigma(x_i^{\mathsf T}\beta),\qquad\sigma(z)=\frac{1}{1+e^{-z}}.</tex>
 +
 
 +
Обозначим
 +
 
 +
<tex>p_i=\sigma(x_i^{\mathsf T}\beta).</tex>
 +
 
 +
Для независимых наблюдений информационная матрица параметра <tex>\beta</tex> имеет вид
 +
 
 +
<tex>I(\beta)=X^{\mathsf T}WX,</tex>
 +
 
 +
где <tex>X</tex> — матрица признаков, а
 +
 
 +
<tex>W=\operatorname{diag}\left(p_1(1-p_1),\ldots,p_n(1-p_n)\right).</tex>
 +
 
 +
При регулярности асимптотическая ковариация оценки максимального правдоподобия приближённо равна
 +
 
 +
<tex>\operatorname{Cov}(\widehat{\beta})\approx\left(X^{\mathsf T}WX\right)^{-1}.</tex>
 +
 
 +
Формула показывает, что точность зависит не только от числа объектов, но и от геометрии матрицы признаков и значений предсказанных вероятностей. Сильная мультиколлинеарность делает информационную матрицу плохо обусловленной. Почти полное разделение классов может приводить к несуществованию конечной оценки максимального правдоподобия, поэтому стандартная асимптотическая интерпретация нарушается.
 +
 
 +
Регуляризация изменяет задачу: оценка становится смещённой, а обратный гессиан регуляризованной целевой функции нельзя без дополнительных оговорок считать классической границей Рао — Крамера для несмещённых оценок.
 +
 
 +
== Ограничения ==
 +
 
 +
# '''Требование несмещённости.''' Классическая граница относится к несмещённым оценкам. Смещённая оценка может иметь меньшую дисперсию и меньшую среднеквадратичную ошибку.
 +
# '''Недостижимость границы.''' Нижняя граница может не совпадать с дисперсией ни одной оценки.
 +
# '''Нерегулярные модели.''' При зависящем от параметра носителе, недифференцируемом правдоподобии или невозможности переставить интегрирование и дифференцирование стандартная формула неприменима.
 +
# '''Сингулярная информация.''' Невырожденность информационной матрицы связана с локальной идентифицируемостью. При сингулярности обычная обратная матрица не существует.
 +
# '''Конечная выборка и асимптотика.''' Асимптотическая эффективность оценки максимального правдоподобия не гарантирует хорошей точности при малом <tex>n</tex>.
 +
# '''Параметризация.''' Численный вид информации Фишера и границы меняется при замене параметра, хотя корректно преобразуется по правилу производной.
 +
# '''Параметры на границе.''' Если истинный параметр лежит на границе пространства параметров, стандартная асимптотическая нормальность и классическая граница могут нарушаться.
 +
# '''Наличие мешающих параметров.''' Нельзя вычислять границу для одного параметра, игнорируя неизвестные сопутствующие параметры. Требуется соответствующий элемент обратной полной информационной матрицы.
 +
 
 +
Для смещённой оценки <tex>T</tex> параметра <tex>\theta</tex> со смещением
 +
 
 +
<tex>b(\theta)=\mathsf{E}_\theta T-\theta</tex>
 +
 
 +
при подходящих условиях существует модифицированная граница
 +
 
 +
<tex>\mathsf{Var}_\theta(T)\geq\frac{\left(1+b'(\theta)\right)^2}{I_n(\theta)}.</tex>
 +
 
 +
Но даже эта формула ограничивает дисперсию, а не полную среднеквадратичную ошибку:
 +
 
 +
<tex>\operatorname{MSE}_\theta(T)=\mathsf{Var}_\theta(T)+b(\theta)^2.</tex>
 +
 
 +
== Типичные ошибки ==
 +
 
 +
* Подстановка дисперсии смещённой оценки в классическую формулу для несмещённых оценок.
 +
* Отождествление дисперсии и среднеквадратичной ошибки.
 +
* Вычисление информации по всей выборке как <tex>I_1(\theta)</tex> вместо <tex>nI_1(\theta)</tex>.
 +
* Использование формулы через вторую производную без проверки регулярности.
 +
* Игнорирование того, что носитель распределения зависит от параметра.
 +
* Вывод об эффективности только из равенства оценки максимального правдоподобия некоторой привычной статистике.
 +
* Сравнение границы для одной параметризации с дисперсией оценки другого параметра.
 +
* Использование диагонального элемента <tex>1/I_{jj}(\theta)</tex> вместо элемента <tex>(I(\theta)^{-1})_{jj}</tex> при наличии неизвестных мешающих параметров.
 +
* Утверждение, что оценка с минимальной дисперсией среди несмещённых обязательно достигает границы Рао — Крамера.
 +
* Интерпретация сингулярной информационной матрицы только как численной проблемы, хотя она может указывать на неидентифицируемость модели.
 +
 
 +
== Резюме ==
 +
 
 +
Неравенство Рао — Крамера связывает точность несмещённого оценивания с количеством информации о параметре, содержащейся в данных:
 +
 
 +
<tex>\mathsf{Var}_\theta(T)\geq\frac{\left(g'(\theta)\right)^2}{I_n(\theta)}.</tex>
 +
 
 +
Оно наиболее полезно, когда модель регулярна, информация Фишера вычисляется аналитически или численно, а требуется:
 +
 
 +
* установить теоретический предел точности оценивания;
 +
* доказать эффективность конкретной несмещённой оценки;
 +
* сравнить дисперсию оценки с информационным эталоном;
 +
* исследовать асимптотическую эффективность метода максимального правдоподобия;
 +
* оценить стандартные ошибки в многопараметрических вероятностных моделях;
 +
* выявить слабую идентифицируемость или неудачный план эксперимента.
 +
 
 +
Граница не заменяет анализ смещения, среднеквадратичной ошибки и поведения оценки при конечной выборке. Её следует применять только после проверки параметризации и условий регулярности.
 +
 
 +
== Литература ==
 +
 
 +
<references/>
 +
 
 +
* {{книга
 +
|автор = Casella G., Berger R. L.
 +
|заглавие = Statistical Inference
 +
|издание = 2-е
 +
|место = Pacific Grove
 +
|издательство = Duxbury
 +
|год = 2002
 +
}}
 +
* {{книга
 +
|автор = Cramér H.
 +
|заглавие = Mathematical Methods of Statistics
 +
|место = Princeton
 +
|издательство = Princeton University Press
 +
|год = 1946
 +
}}
 +
* {{статья
 +
|автор = Fisher R. A.
 +
|заглавие = On the Mathematical Foundations of Theoretical Statistics
 +
|издание = Philosophical Transactions of the Royal Society of London. Series A
 +
|год = 1922
 +
|том = 222
 +
|страницы = 309–368
 +
}}
 +
* {{книга
 +
|автор = Lehmann E. L., Casella G.
 +
|заглавие = Theory of Point Estimation
 +
|издание = 2-е
 +
|место = New York
 +
|издательство = Springer
 +
|год = 1998
 +
}}
 +
* {{статья
 +
|автор = Rao C. R.
 +
|заглавие = Information and the Accuracy Attainable in the Estimation of Statistical Parameters
 +
|издание = Bulletin of the Calcutta Mathematical Society
 +
|год = 1945
 +
|том = 37
 +
|страницы = 81–91
 +
}}
 +
* {{книга
 +
|автор = van der Vaart A. W.
 +
|заглавие = Asymptotic Statistics
 +
|место = Cambridge
 +
|издательство = Cambridge University Press
 +
|год = 1998
}}
}}
-
[[Категория:Методы машинного обучения]]
+
[[Категория:Математическая статистика]]
-
[[Категория:Адаптация моделей]]
+
[[Категория:Теория оценивания]]
-
[[Категория:Компьютерное зрение]]
+
[[Категория:Машинное обучение]]
[[Категория:Энциклопедия анализа данных]]
[[Категория:Энциклопедия анализа данных]]

Текущая версия

Статья написана с использованием LLM ChatGPT (GPT-5.6 Sol) и проверена участником Mariia Shubina 23:00, 17 июля 2026 (MSD)


Содержание

Неравенство Рао — Крамера (также граница Крамера — Рао, информационная граница) — фундаментальный результат математической статистики, задающий нижнюю границу дисперсии несмещённых оценок параметра регулярной вероятностной модели. Граница выражается через информацию Фишера: чем больше информации о параметре содержится в наблюдениях, тем меньшая дисперсия в принципе возможна у несмещённой статистической оценки.

Неравенство решает задачу сравнения процедур оценивания без необходимости перебирать все возможные оценки. Если дисперсия некоторой несмещённой оценки совпадает с границей Рао — Крамера, то никакая другая несмещённая оценка не может иметь меньшую дисперсию в данной точке параметра. Если граница не достигается, она всё равно служит эталоном точности и позволяет измерять, насколько конкретная оценка далека от теоретически возможного уровня.

Результат был получен в работах К. Р. Рао и Х. Крамера в 1940-х годах и основан на введённом Р. Фишером понятии информации о параметре.[1][1][1]

Основные понятия

Статистическая модель и функция правдоподобия

Пусть наблюдение X имеет распределение из параметрического семейства

\mathcal{P}=\{P_\theta:\theta\in\Theta\}.

Здесь \theta — неизвестный параметр, а \Theta — пространство параметров. Если распределение имеет плотность или функцию вероятностей p_\theta(x), то при фиксированном наблюдении x выражение

L(\theta;x)=p_\theta(x)

называется функцией правдоподобия. Для независимой выборки X_1,\ldots,X_n

L(\theta;X_1,\ldots,X_n)=\prod_{i=1}^{n}p_\theta(X_i).

Часто удобнее использовать логарифмическую функцию правдоподобия

\ell(\theta;X)=\log L(\theta;X).

Её производная по параметру

U_\theta(X)=\frac{\partial}{\partial\theta}\ell(\theta;X)

называется функцией вклада, или скор-функцией.

Статистическая оценка и несмещённость

Статистическая оценка параметра или функции параметра — измеримая функция наблюдений

T=T(X_1,\ldots,X_n).

После подстановки реализованной выборки она даёт численное приближение неизвестной величины.

Оценка T функции g(\theta) называется несмещённой, если

\mathsf{E}_\theta T=g(\theta)

для всех \theta\in\Theta. В частности, для оценки самого параметра требуется \mathsf{E}_\theta T=\theta.

Несмещённость характеризует математическое ожидание оценки, но сама по себе не гарантирует малую ошибку. Среди несмещённых оценок обычно предпочтительна оценка с меньшей дисперсией

\mathsf{Var}_\theta(T)=\mathsf{E}_\theta\left(T-\mathsf{E}_\theta T\right)^2.

Для несмещённой оценки функции g(\theta) её среднеквадратичная ошибка совпадает с дисперсией:

\mathsf{E}_\theta\left(T-g(\theta)\right)^2=\mathsf{Var}_\theta(T).

Для смещённой оценки это равенство неверно: среднеквадратичная ошибка дополнительно содержит квадрат смещения.

Информация Фишера

Фишеровская информация в одном наблюдении определяется как

I_1(\theta)=\mathsf{E}_\theta\left[\left(\frac{\partial}{\partial\theta}\log p_\theta(X)\right)^2\right],

если математическое ожидание существует. При стандартных условиях регулярности справедлива эквивалентная формула

I_1(\theta)=-\mathsf{E}_\theta\left[\frac{\partial^2}{\partial\theta^2}\log p_\theta(X)\right].

Для независимых одинаково распределённых наблюдений информация складывается:

I_n(\theta)=nI_1(\theta).

Информация Фишера измеряет локальную чувствительность распределения наблюдений к изменению параметра. Большая информация означает, что близкие значения параметра порождают лучше различимые распределения.

Формулировка неравенства Рао — Крамера

Пусть T(X) — несмещённая оценка дифференцируемой функции g(\theta), то есть

\mathsf{E}_\theta T=g(\theta).

При выполнении условий регулярности и при 0<I_n(\theta)<\infty справедливо неравенство

\mathsf{Var}_\theta(T)\geq\frac{\left(g'(\theta)\right)^2}{I_n(\theta)}.

Для несмещённой оценки самого параметра, когда g(\theta)=\theta и g'(\theta)=1, формула принимает вид

\mathsf{Var}_\theta(T)\geq\frac{1}{I_n(\theta)}.

Здесь:

  • \mathsf{Var}_\theta(T) — дисперсия оценки при истинном значении параметра \theta;
  • g'(\theta) — чувствительность оцениваемой функции к изменению параметра;
  • I_n(\theta) — информация Фишера во всей выборке;
  • правая часть — нижняя граница Рао — Крамера.

Граница является поточечной: она может зависеть от \theta. Неравенство не утверждает, что оценка с дисперсией, равной правой части, обязательно существует.

Идея доказательства

В регулярной модели математическое ожидание скор-функции равно нулю:

\mathsf{E}_\theta U_\theta(X)=0.

Дифференцирование равенства \mathsf{E}_\theta T=g(\theta) по \theta даёт

\mathsf{E}_\theta\left[\left(T-g(\theta)\right)U_\theta(X)\right]=g'(\theta).

Левая часть является ковариацией оценки и скор-функции. По неравенству Коши — Буняковского

\left(g'(\theta)\right)^2\leq\mathsf{Var}_\theta(T)\,\mathsf{Var}_\theta\left(U_\theta(X)\right).

Поскольку

\mathsf{Var}_\theta\left(U_\theta(X)\right)=I_n(\theta),

получается неравенство Рао — Крамера.[1]

Условия применимости

Классическая формулировка требует регулярности статистической модели. В прикладных задачах обычно проверяют следующие условия.

  • Плотность или функция вероятностей p_\theta(x) достаточно гладко зависит от \theta.
  • Область возможных значений наблюдения не зависит от параметра либо граничные члены при дифференцировании исчезают.
  • Допустимо менять местами дифференцирование по параметру и интегрирование или суммирование по наблюдениям.
  • Скор-функция имеет конечный второй момент.
  • Информация Фишера существует, конечна и положительна.
  • Оцениваемая функция g(\theta) дифференцируема.
  • Для многопараметрической версии информационная матрица должна быть невырожденной либо требуется специальная формулировка с ограничениями или обобщённой обратной матрицей.

Эти условия нарушаются, например, в модели равномерного распределения на [0,\theta], поскольку носитель распределения зависит от \theta. Формальное применение стандартной формулы в такой задаче может дать неверный вывод.

Эффективные оценки

Несмещённая оценка T называется эффективной в точке \theta, если её дисперсия достигает границы Рао — Крамера:

\mathsf{Var}_\theta(T)=\frac{\left(g'(\theta)\right)^2}{I_n(\theta)}.

Если равенство выполняется для всех \theta\in\Theta, оценка эффективна на всём пространстве параметров.

Равенство в неравенстве Коши — Буняковского достигается тогда и только тогда, когда центрированная оценка пропорциональна скор-функции. Поэтому необходимое и, при регулярности, достаточное условие эффективности имеет вид

T(X)-g(\theta)=a(\theta)U_\theta(X),

где

a(\theta)=\frac{g'(\theta)}{I_n(\theta)}.

Это условие достаточно жёсткое. Точная эффективность при конечном размере выборки характерна прежде всего для некоторых регулярных экспоненциальных семейств. Во многих моделях граница недостижима ни одной несмещённой оценкой.

Иногда вводят относительную эффективность несмещённой оценки:

e_\theta(T)=\frac{\left(g'(\theta)\right)^2/I_n(\theta)}{\mathsf{Var}_\theta(T)}.

При выполнении условий неравенства 0<e_\theta(T)\leq 1. Это отношение нельзя смешивать со среднеквадратичной ошибкой смещённой оценки или с асимптотической эффективностью.

Связь с методом максимального правдоподобия

Метод максимального правдоподобия выбирает значение

\widehat{\theta}_{\mathrm{ML}}\in\operatorname*{arg\,max}_{\theta\in\Theta}L(\theta;X).

Оценка максимального правдоподобия не обязана быть несмещённой и не обязана достигать границы Рао — Крамера при конечном n. Поэтому из самого определения метода максимального правдоподобия эффективность не следует.

Однако в регулярных идентифицируемых моделях при стандартных условиях оценка максимального правдоподобия является состоятельной и асимптотически нормальной:

\sqrt{n}\left(\widehat{\theta}_{\mathrm{ML}}-\theta\right)\xrightarrow{d}\mathcal{N}\left(0,I_1(\theta)^{-1}\right).

Следовательно,

\mathsf{Var}_\theta\left(\widehat{\theta}_{\mathrm{ML}}\right)\approx\frac{1}{nI_1(\theta)}=\frac{1}{I_n(\theta)}

при больших n. В этом смысле оценка максимального правдоподобия часто асимптотически эффективна: её предельная дисперсия совпадает с информационной границей. Это утверждение относится к асимптотике и не означает точного равенства дисперсий для конечной выборки.[1]

Наблюдаемая отрицательная матрица вторых производных логарифма правдоподобия,

-\frac{\partial^2}{\partial\theta^2}\ell(\theta;X),

служит выборочным аналогом информации Фишера. Её обратная величина или обратная матрица часто используется для приближённого вычисления стандартных ошибок оценок максимального правдоподобия.

Классические примеры

Во всех примерах наблюдения независимы и одинаково распределены.

Нормальное распределение с известной дисперсией

Пусть

X_1,\ldots,X_n\sim\mathcal{N}(\mu,\sigma^2),

где \sigma^2 известно, а \mu неизвестно. Для одного наблюдения

\ell(\mu;X)=-\frac{1}{2}\log(2\pi\sigma^2)-\frac{(X-\mu)^2}{2\sigma^2}.

Скор-функция равна

\frac{\partial}{\partial\mu}\ell(\mu;X)=\frac{X-\mu}{\sigma^2}.

Поэтому

I_1(\mu)=\frac{1}{\sigma^2},\qquad I_n(\mu)=\frac{n}{\sigma^2}.

Граница Рао — Крамера для любой несмещённой оценки T параметра \mu равна

\mathsf{Var}_\mu(T)\geq\frac{\sigma^2}{n}.

Естественная оценка — выборочное среднее

\overline{X}=\frac{1}{n}\sum_{i=1}^{n}X_i.

Она несмещённа, и

\mathsf{Var}_\mu(\overline{X})=\frac{\sigma^2}{n}.

Следовательно, \overline{X} достигает границы и является эффективной оценкой \mu.

Распределение Бернулли

Пусть

X_1,\ldots,X_n\sim\operatorname{Bernoulli}(p),\qquad 0<p<1. Для одного наблюдения p_p(x)=p^x(1-p)^{1-x},\qquad x\in\{0,1\}. Логарифм правдоподобия и его производная имеют вид \ell(p;X)=X\log p+(1-X)\log(1-p), \frac{\partial}{\partial p}\ell(p;X)=\frac{X-p}{p(1-p)}. Так как \mathsf{Var}_p(X)=p(1-p), I_1(p)=\frac{1}{p(1-p)},\qquad I_n(p)=\frac{n}{p(1-p)}. Поэтому для любой несмещённой оценки T вероятности успеха \mathsf{Var}_p(T)\geq\frac{p(1-p)}{n}. Естественная оценка доли успехов \widehat{p}=\overline{X} несмещённа и имеет дисперсию \mathsf{Var}_p(\widehat{p})=\frac{p(1-p)}{n}. Таким образом, выборочная доля эффективна.

Распределение Пуассона

Пусть

X_1,\ldots,X_n\sim\operatorname{Poisson}(\lambda),\qquad \lambda>0.

Для одного наблюдения

p_\lambda(x)=\frac{e^{-\lambda}\lambda^x}{x!},\qquad x=0,1,2,\ldots

Логарифм правдоподобия и скор-функция равны

\ell(\lambda;X)=-\lambda+X\log\lambda-\log(X!),

\frac{\partial}{\partial\lambda}\ell(\lambda;X)=\frac{X-\lambda}{\lambda}.

Поскольку \mathsf{Var}_\lambda(X)=\lambda,

I_1(\lambda)=\frac{1}{\lambda},\qquad I_n(\lambda)=\frac{n}{\lambda}.

Граница для несмещённой оценки интенсивности равна

\mathsf{Var}_\lambda(T)\geq\frac{\lambda}{n}.

Выборочное среднее \overline{X} несмещённо и удовлетворяет

\mathsf{Var}_\lambda(\overline{X})=\frac{\lambda}{n}.

Следовательно, \overline{X} является эффективной оценкой \lambda.

Экспоненциальное распределение

Результат зависит от параметризации. Сначала параметризуем распределение средним значением, или масштабом, \theta>0:

p_\theta(x)=\frac{1}{\theta}\exp\left(-\frac{x}{\theta}\right),\qquad x\geq 0.

Для одного наблюдения

\ell(\theta;X)=-\log\theta-\frac{X}{\theta},

\frac{\partial}{\partial\theta}\ell(\theta;X)=\frac{X-\theta}{\theta^2}.

Так как \mathsf{Var}_\theta(X)=\theta^2,

I_1(\theta)=\frac{1}{\theta^2},\qquad I_n(\theta)=\frac{n}{\theta^2}.

Граница Рао — Крамера равна

\mathsf{Var}_\theta(T)\geq\frac{\theta^2}{n}.

Естественная оценка масштаба \overline{X} несмещённа, причём

\mathsf{Var}_\theta(\overline{X})=\frac{\theta^2}{n}.

Она достигает границы и эффективна.

Если вместо масштаба использовать интенсивность \lambda=1/\theta, плотность принимает вид

p_\lambda(x)=\lambda e^{-\lambda x}.

Тогда

I_n(\lambda)=\frac{n}{\lambda^2},\qquad\mathsf{Var}_\lambda(T)\geq\frac{\lambda^2}{n}.

Оценка максимального правдоподобия

\widehat{\lambda}_{\mathrm{ML}}=\frac{1}{\overline{X}}

смещена при конечном n, поэтому стандартная граница для несмещённых оценок к ней напрямую неприменима. Несмещённая оценка

\widetilde{\lambda}=\frac{n-1}{\sum_{i=1}^{n}X_i}

при n>2 имеет дисперсию

\mathsf{Var}_\lambda(\widetilde{\lambda})=\frac{\lambda^2}{n-2},

которая строго больше \lambda^2/n. Следовательно, в параметризации интенсивностью точная нижняя граница не достигается этой естественной несмещённой оценкой, хотя оценка максимального правдоподобия асимптотически эффективна.

Многопараметрическая форма

Пусть параметр является вектором

\theta=(\theta_1,\ldots,\theta_d)^{\mathsf T}.

Информационная матрица Фишера определяется как

I(\theta)=\mathsf{E}_\theta\left[\nabla_\theta\ell(\theta;X)\nabla_\theta\ell(\theta;X)^{\mathsf T}\right].

Для несмещённой оценки вектора g(\theta) справедливо матричное неравенство

\operatorname{Cov}_\theta(T)\succeq G(\theta)I(\theta)^{-1}G(\theta)^{\mathsf T},

где G(\theta) — матрица Якоби функции g, а знак \succeq означает, что разность левой и правой частей неотрицательно определена. Для оценки самого вектора параметров

\operatorname{Cov}_\theta(T)\succeq I(\theta)^{-1}.

Матричная форма особенно важна в машинном обучении, где параметры моделей обычно многомерны.

Применения в машинном обучении и анализе данных

Оценивание параметров вероятностных моделей

Граница Рао — Крамера позволяет определить минимально возможную ковариацию несмещённых оценок параметров вероятностной модели. Она применяется при анализе моделей шума, смесей распределений, временных рядов, моделей выживания, систем идентификации и статистической обработки сигналов.

Практический смысл состоит в разделении двух источников неточности:

  • ограниченности информации, содержащейся в данных;
  • неэффективности выбранного алгоритма оценивания.

Если дисперсия оценки близка к информационной границе, существенное улучшение возможно главным образом за счёт увеличения объёма или качества данных, а не замены алгоритма другой несмещённой процедурой.

Анализ метода максимального правдоподобия

В регулярных моделях обратная информационная матрица описывает предельную ковариацию оценки максимального правдоподобия:

\operatorname{Cov}\left(\widehat{\theta}_{\mathrm{ML}}\right)\approx I_n(\theta)^{-1}.

Это соотношение используется для:

  • вычисления стандартных ошибок параметров;
  • построения приближённых доверительных интервалов;
  • сравнения различных планов сбора данных;
  • диагностики слабой идентифицируемости параметров;
  • анализа влияния размера выборки на точность оценивания.

Малое собственное значение информационной матрицы соответствует направлению в пространстве параметров, которое плохо определяется данными. Обратная матрица тогда содержит большие элементы, указывая на высокую неопределённость оценки.

Логистическая регрессия

В логистической регрессии

\mathsf{P}(Y_i=1\mid x_i)=\sigma(x_i^{\mathsf T}\beta),\qquad\sigma(z)=\frac{1}{1+e^{-z}}.

Обозначим

p_i=\sigma(x_i^{\mathsf T}\beta).

Для независимых наблюдений информационная матрица параметра \beta имеет вид

I(\beta)=X^{\mathsf T}WX,

где X — матрица признаков, а

W=\operatorname{diag}\left(p_1(1-p_1),\ldots,p_n(1-p_n)\right).

При регулярности асимптотическая ковариация оценки максимального правдоподобия приближённо равна

\operatorname{Cov}(\widehat{\beta})\approx\left(X^{\mathsf T}WX\right)^{-1}.

Формула показывает, что точность зависит не только от числа объектов, но и от геометрии матрицы признаков и значений предсказанных вероятностей. Сильная мультиколлинеарность делает информационную матрицу плохо обусловленной. Почти полное разделение классов может приводить к несуществованию конечной оценки максимального правдоподобия, поэтому стандартная асимптотическая интерпретация нарушается.

Регуляризация изменяет задачу: оценка становится смещённой, а обратный гессиан регуляризованной целевой функции нельзя без дополнительных оговорок считать классической границей Рао — Крамера для несмещённых оценок.

Ограничения

  1. Требование несмещённости. Классическая граница относится к несмещённым оценкам. Смещённая оценка может иметь меньшую дисперсию и меньшую среднеквадратичную ошибку.
  2. Недостижимость границы. Нижняя граница может не совпадать с дисперсией ни одной оценки.
  3. Нерегулярные модели. При зависящем от параметра носителе, недифференцируемом правдоподобии или невозможности переставить интегрирование и дифференцирование стандартная формула неприменима.
  4. Сингулярная информация. Невырожденность информационной матрицы связана с локальной идентифицируемостью. При сингулярности обычная обратная матрица не существует.
  5. Конечная выборка и асимптотика. Асимптотическая эффективность оценки максимального правдоподобия не гарантирует хорошей точности при малом n.
  6. Параметризация. Численный вид информации Фишера и границы меняется при замене параметра, хотя корректно преобразуется по правилу производной.
  7. Параметры на границе. Если истинный параметр лежит на границе пространства параметров, стандартная асимптотическая нормальность и классическая граница могут нарушаться.
  8. Наличие мешающих параметров. Нельзя вычислять границу для одного параметра, игнорируя неизвестные сопутствующие параметры. Требуется соответствующий элемент обратной полной информационной матрицы.

Для смещённой оценки T параметра \theta со смещением

b(\theta)=\mathsf{E}_\theta T-\theta

при подходящих условиях существует модифицированная граница

\mathsf{Var}_\theta(T)\geq\frac{\left(1+b'(\theta)\right)^2}{I_n(\theta)}.

Но даже эта формула ограничивает дисперсию, а не полную среднеквадратичную ошибку:

\operatorname{MSE}_\theta(T)=\mathsf{Var}_\theta(T)+b(\theta)^2.

Типичные ошибки

  • Подстановка дисперсии смещённой оценки в классическую формулу для несмещённых оценок.
  • Отождествление дисперсии и среднеквадратичной ошибки.
  • Вычисление информации по всей выборке как I_1(\theta) вместо nI_1(\theta).
  • Использование формулы через вторую производную без проверки регулярности.
  • Игнорирование того, что носитель распределения зависит от параметра.
  • Вывод об эффективности только из равенства оценки максимального правдоподобия некоторой привычной статистике.
  • Сравнение границы для одной параметризации с дисперсией оценки другого параметра.
  • Использование диагонального элемента 1/I_{jj}(\theta) вместо элемента (I(\theta)^{-1})_{jj} при наличии неизвестных мешающих параметров.
  • Утверждение, что оценка с минимальной дисперсией среди несмещённых обязательно достигает границы Рао — Крамера.
  • Интерпретация сингулярной информационной матрицы только как численной проблемы, хотя она может указывать на неидентифицируемость модели.

Резюме

Неравенство Рао — Крамера связывает точность несмещённого оценивания с количеством информации о параметре, содержащейся в данных:

\mathsf{Var}_\theta(T)\geq\frac{\left(g'(\theta)\right)^2}{I_n(\theta)}.

Оно наиболее полезно, когда модель регулярна, информация Фишера вычисляется аналитически или численно, а требуется:

  • установить теоретический предел точности оценивания;
  • доказать эффективность конкретной несмещённой оценки;
  • сравнить дисперсию оценки с информационным эталоном;
  • исследовать асимптотическую эффективность метода максимального правдоподобия;
  • оценить стандартные ошибки в многопараметрических вероятностных моделях;
  • выявить слабую идентифицируемость или неудачный план эксперимента.

Граница не заменяет анализ смещения, среднеквадратичной ошибки и поведения оценки при конечной выборке. Её следует применять только после проверки параметризации и условий регулярности.

Литература


  • Casella G., Berger R. L. Statistical Inference. — 2-е. — Pacific Grove: Duxbury, 2002.
  • Cramér H. Mathematical Methods of Statistics. — Princeton: Princeton University Press, 1946.
  • Fisher R. A. On the Mathematical Foundations of Theoretical Statistics // Philosophical Transactions of the Royal Society of London. Series A. — 1922. — Т. 222. — С. 309–368.
  • Lehmann E. L., Casella G. Theory of Point Estimation. — 2-е. — New York: Springer, 1998.
  • Rao C. R. Information and the Accuracy Attainable in the Estimation of Statistical Parameters // Bulletin of the Calcutta Mathematical Society. — 1945. — Т. 37. — С. 81–91.
  • van der Vaart A. W. Asymptotic Statistics. — Cambridge: Cambridge University Press, 1998.
Источник — «http://www.machinelearning.ru/wiki/index.php?title=%D0%9D%D0%B5%D1%80%D0%B0%D0%B2%D0%B5%D0%BD%D1%81%D1%82%D0%B2%D0%BE_%D0%A0%D0%B0%D0%BE-%D0%9A%D1%80%D0%B0%D0%BC%D0%B5%D1%80%D0%B0»
Личные инструменты