Неравенство Рао-Крамера

Материал из MachineLearning.

Версия от 20:04, 17 июля 2026; Mariia Shubina (Обсуждение | вклад)

(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)

Перейти к: навигация, поиск

Статья написана с использованием LLM DeepSeek и проверена участником Mariia Shubina 21:00, 17 июля 2026 (MSD)

Неравенство Рао — Крамера

Неравенство Рао — Крамера (англ. Cramér–Rao inequality), также известное как информационное неравенство или неравенство Крамера — Рао, — фундаментальное утверждение в математической статистике и теории оценивания, устанавливающее нижнюю границу для дисперсии несмещённых оценок неизвестных параметров вероятностных моделей. Эта граница выражается через информацию Фишера и определяет теоретический предел точности, достижимый при оценивании параметра по конечной выборке.

Неравенство играет центральную роль в обосновании метода максимального правдоподобия, служит инструментом для сравнения оценок и позволяет характеризовать асимптотическую эффективность процедур оценивания. Впервые аналогичные неравенства были получены независимо М. Фреше (1943), Х. Крамером (1946) и К. Р. Рао (1945), причём работа Рао содержала наиболее общую формулировку в терминах информации Фишера^[1]^[1].

Основные понятия

Пусть $X_1, \ldots, X_n$ — независимая выборка из распределения, принадлежащего параметрическому семейству $\{P_\theta, \theta \in \Theta \subseteq \mathbb{R}\}$ . Предполагается, что плотность (или функция вероятности) каждого наблюдения имеет вид $f(x; \theta)$ и удовлетворяет условиям регулярности, обеспечивающим возможность дифференцирования по параметру под знаком интеграла.

Статистическая оценка — функция $\hat{\theta} = g(X_1, \ldots, X_n)$ от выборочных данных, используемая для приближения истинного значения параметра $\theta$ .
Несмещённая оценка — оценка, для которой $\mathbb{E}_\theta[\hat{\theta}] = \theta$ для всех $\theta \in \Theta$ . Иными словами, в среднем оценка не отклоняется от оцениваемого параметра.
Дисперсия оценки — $\mathbb{D}_\theta[\hat{\theta}] = \mathbb{E}_\theta[(\hat{\theta} - \theta)^2]$ , характеризующая разброс оценки вокруг истинного значения.
Функция правдоподобия для выборки объёма $n$ определяется как

 .
 Логарифмическая функция правдоподобия: .

Фишеровская информация — мера количества информации, которую выборка несёт о неизвестном параметре. Для одного наблюдения:

 
 при условии, что вторая производная существует и операция дифференцирования и интегрирования перестановочны. Для выборки объёма  в силу независимости наблюдений .

Формулировка неравенства

Классическая форма. Пусть $\hat{\theta}_n$ — несмещённая оценка параметра $\theta$ , построенная по выборке объёма $n$ . Тогда при выполнении условий регулярности $\mathbb{D}_\theta[\hat{\theta}_n] \ge \frac{1}{I_n(\theta)} = \frac{1}{n I(\theta)}.$

Пояснение членов:

$\mathbb{D}_\theta[\hat{\theta}_n]$ — дисперсия оценки, которую мы стремимся минимизировать.
$I_n(\theta)$ — количество информации Фишера во всей выборке.
Граница $1/I_n(\theta)$ называется границей Рао — Крамера (или информационной границей). Она показывает минимальную возможную дисперсию несмещённой оценки в данной модели.

Для многомерного случая, когда $\theta \in \mathbb{R}^d$ , неравенство обобщается на матрицы ковариации: разность между ковариационной матрицей несмещённой оценки и обратной матрицей Фишера является неотрицательно определённой матрицей.

Условия регулярности

Неравенство справедливо не для всех распределений. Необходимы следующие условия (достаточные, но не строго необходимые):

Носитель распределения не зависит от параметра $\theta$ , то есть множество $\{x: f(x; \theta) > 0\}$ одинаково для всех $\theta \in \Theta$ .
Функция правдоподобия дважды дифференцируема по $\theta$ .
Операция дифференцирования по $\theta$ может быть вынесена за знак интеграла (или суммы), в частности,

  ,
  и аналогично для второй производной.

Информация Фишера $I(\theta)$ конечна и положительна для всех $\theta \in \Theta$ .

Нарушение первого условия (зависимость носителя от параметра) часто приводит к тому, что дисперсия некоторых оценок убывает быстрее, чем $1/n$ , и неравенство Рао — Крамера становится неинформативным (например, для равномерного распределения $U(0, \theta)$ ). В таких случаях используются обобщения — например, неравенство Бхаттачарии или неравенство Чепмена — Роббинса.

Эффективные оценки

Оценка $\hat{\theta}_n$ , для которой неравенство Рао — Крамера обращается в равенство при всех $\theta$ , называется эффективной оценкой. В этом случае $\mathbb{D}_\theta[\hat{\theta}_n] = 1/I_n(\theta)$ . Эффективные оценки являются несмещёнными и достигают минимально возможной дисперсии в классе несмещённых оценок. Важно различать эффективность и состоятельность: эффективная оценка всегда состоятельна (при выполнении регулярных условий), но не всякая состоятельная оценка эффективна.

Критерий эффективности (равенство в неравенстве Рао — Крамера) эквивалентен тому, что производная логарифма правдоподобия может быть представлена в виде $\frac{\partial \ell(\theta)}{\partial \theta} = I_n(\theta) (\hat{\theta}_n - \theta).$ Это условие выполняется для экспоненциальных семейств с естественной параметризацией, где оценка максимального правдоподобия часто оказывается эффективной.

Связь с методом максимального правдоподобия и асимптотической нормальностью

Неравенство Рао — Крамера тесно связано с асимптотической теорией оценивания. При выполнении регулярных условий оценка максимального правдоподобия (ОМП) $\hat{\theta}_{MLE}$ является:

состоятельной;
асимптотически нормальной:

асимптотически эффективной, то есть её асимптотическая дисперсия достигает границы Рао — Крамера $1/(n I(\theta))$ .

Это означает, что среди всех регулярных оценок ОМП является наилучшей в асимптотическом смысле. Более того, Фишеровская информация определяет кривизну логарифма правдоподобия и, следовательно, точность оценивания: чем больше информации, тем уже асимптотическое распределение ОМП.

Классические примеры

Нормальное распределение

Пусть $X \sim \mathcal{N}(\mu, \sigma^2)$ , параметр $\theta = \mu$ , $\sigma^2$ известно. Плотность: $f(x; \mu) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right)$ . Логарифм правдоподобия для одного наблюдения: $\ell(\mu) = -\frac{1}{2}\ln(2\pi\sigma^2) - \frac{(x-\mu)^2}{2\sigma^2}$ . Вторая производная: $\partial^2 \ell / \partial \mu^2 = -1/\sigma^2$ . Информация Фишера: $I(\mu) = 1/\sigma^2$ . Для выборки объёма $n$ : $I_n(\mu) = n/\sigma^2$ . Граница Рао — Крамера: $\sigma^2/n$ . Оценка $\hat{\mu} = \bar{X}$ имеет дисперсию $\sigma^2/n$ — равенство достигается, оценка эффективна.

Если $\theta = \sigma^2$ , $\mu$ известно, то $I(\sigma^2) = 1/(2\sigma^4)$ , граница $2\sigma^4/n$ . Несмещённая оценка $\hat{\sigma}^2 = \frac{1}{n}\sum (X_i - \mu)^2$ имеет дисперсию $2\sigma^4/n$ — эффективна.

Распределение Бернулли

Пусть $X \sim \text{Bernoulli}(p)$ , $p \in (0,1)$ . Функция вероятности: $f(x; p) = p^x (1-p)^{1-x}$ , $x \in \{0,1\}$ . Логарифм: $\ell(p) = x \ln p + (1-x) \ln(1-p)$ . Вторая производная: $\partial^2 \ell / \partial p^2 = -x/p^2 - (1-x)/(1-p)^2$ . Информация Фишера: $I(p) = 1/[p(1-p)]$ . Для выборки: $I_n(p) = n/[p(1-p)]$ . Граница: $p(1-p)/n$ . Оценка $\hat{p} = \bar{X}$ имеет дисперсию $p(1-p)/n$ — эффективна.

Распределение Пуассона

Пусть $X \sim \text{Poisson}(\lambda)$ , $\lambda > 0$ . Функция вероятности: $f(x; \lambda) = e^{-\lambda} \lambda^x / x!$ . Логарифм: $\ell(\lambda) = -\lambda + x \ln \lambda - \ln x!$ . Вторая производная: $\partial^2 \ell / \partial \lambda^2 = -x/\lambda^2$ . Информация: $I(\lambda) = \mathbb{E}[X]/\lambda^2 = 1/\lambda$ . Граница: $\lambda/n$ . Оценка $\hat{\lambda} = \bar{X}$ имеет дисперсию $\lambda/n$ — эффективна.

Экспоненциальное распределение

Пусть $X \sim \text{Exp}(\theta)$ с плотностью $f(x; \theta) = \theta e^{-\theta x}$ , $x > 0$ , $\theta > 0$ (параметр интенсивности). Логарифм: $\ell(\theta) = \ln \theta - \theta x$ . Вторая производная: $\partial^2 \ell / \partial \theta^2 = -1/\theta^2$ . Информация: $I(\theta) = 1/\theta^2$ . Граница: $\theta^2/n$ . Оценка $\hat{\theta} = 1/\bar{X}$ является ОМП, но она смещённая. Несмещённая оценка для $\theta$ существует (например, $(n-1)/(n \bar{X})$ ) и её дисперсия равна $\theta^2/(n-2)$ для $n>2$ , что больше границы $\theta^2/n$ . Таким образом, эффективной несмещённой оценки не существует.

Применение в машинном обучении и анализе данных

Неравенство Рао — Крамера находит прямое применение в следующих областях:

Оценивание параметров вероятностных моделей. При построении генеративных моделей (например, наивный байесовский классификатор, скрытые марковские модели) знание границы Рао — Крамера позволяет оценить, насколько велика может быть ошибка оценивания параметров при заданном объёме выборки, и, следовательно, планировать необходимый размер обучающей выборки.

Анализ метода максимального правдоподобия. В логистической регрессии и других обобщённых линейных моделях (GLM) асимптотическая ковариационная матрица оценок коэффициентов аппроксимируется обратной матрицей информации Фишера. На практике стандартные ошибки коэффициентов вычисляются именно на основе этой аппроксимации, что оправдано неравенством Рао — Крамера и свойством асимптотической эффективности ОМП.

Байесовская статистика. В асимптотическом режиме (большие выборки) апостериорное распределение приближается нормальным со средним, равным ОМП, и дисперсией, равной обратной информации Фишера (теорема Бернштейна — фон Мизеса). Это прямое следствие эффективности ОМП и информационной границы.

Проектирование экспериментов. В активном обучении и оптимальном планировании эксперимента критерии D-оптимальности и A-оптимальности основаны на максимизации информации Фишера, что эквивалентно минимизации объёма эллипсоида ошибок, ограниченного снизу границей Рао — Крамера.

Ограничения и типичные ошибки

Ограничения:

Несмещённость. Неравенство применимо только к несмещённым оценкам. Для смещённых оценок существует обобщённое неравенство Рао — Крамера, учитывающее градиент смещения:

  
  где .
  Однако многие полезные оценки (например, регуляризованные, байесовские) смещены, и прямое применение классической формы некорректно.

Регулярность. В случае распределений с параметром, влияющим на носитель, неравенство может давать слишком слабую границу или вообще не выполняться. Пример — равномерное распределение $U(0, \theta)$ , где дисперсия оценки $\frac{n+1}{n} X_{(n)}$ пропорциональна $1/n^2$ , что меньше $1/n$ .

Конечность информации. Если информация Фишера обращается в бесконечность или равна нулю, граница становится тривиальной.

Многомерные обобщения. В многомерном случае неравенство имеет матричный вид, и его интерпретация требует осторожности: граница определяется обратной матрицей Фишера, но не любая несмещённая оценка имеет ковариационную матрицу, сравнимую с этой границей в смысле неотрицательной определённости.

Типичные ошибки:

Путаница дисперсии и среднеквадратичной ошибки (MSE). Для смещённых оценок MSE = дисперсия + квадрат смещения; неравенство Рао — Крамера не даёт нижней границы для MSE напрямую. Использование классической границы для оценки MSE смещённой оценки — грубая ошибка.

Игнорирование условий регулярности. Применение неравенства к моделям с зависящим от параметра носителем (например, $U(0, \theta)$ ) без проверки условий приводит к неверным выводам.

Смешение эффективности и состоятельности. Эффективная оценка всегда состоятельна, но обратное неверно. Утверждение «оценка состоятельна, значит, она эффективна» ошибочно.

Неправильная интерпретация информации Фишера. Иногда полагают, что $I_n(\theta)$ — это дисперсия ОМП, хотя на самом деле это теоретическая граница, которая достигается только для эффективных оценок.

Резюме

Неравенство Рао — Крамера является краеугольным камнем параметрической теории оценивания. Оно даёт абсолютный нижний предел для дисперсии несмещённых оценок, выражаемый через информацию Фишера, и служит эталоном для сравнения процедур оценивания. Особую ценность неравенство приобретает в контексте метода максимального правдоподобия, поскольку оценки максимального правдоподобия являются асимптотически эффективными, то есть достигают этой границы при больших выборках.

Наиболее полезно неравенство в следующих ситуациях:

при анализе точности несмещённых оценок в параметрических моделях;
при обосновании асимптотических свойств ОМП и вычислении стандартных ошибок;
при планировании экспериментов и определении минимального объёма выборки для достижения требуемой точности;
в многомерных задачах — для анализа корреляционных структур оценок.

Важно помнить об ограничениях: неравенство не применимо к смещённым оценкам без модификации и требует выполнения условий регулярности, которые нарушаются в ряде практически важных моделей. Тем не менее, в широком классе задач оно остаётся незаменимым инструментом теоретического и прикладного анализа данных.

Литература

Крамер Х. Математические методы статистики. — 2-е. — Мир, 1975. — 648 с.
Rao, C. R. Linear Statistical Inference and Its Applications. — 2nd. — John Wiley & Sons, 1973. — 656 с. — ISBN 0-471-70823-2
Lehmann, E. L., Casella, G. Theory of Point Estimation. — 2nd. — Springer, 1998. — 588 с. — ISBN 0-387-98502-6
Fisher, R. A. On the mathematical foundations of theoretical statistics // Philosophical Transactions of the Royal Society A. — 1922. — Т. 222. — С. 309–368.
Cramér, H. A contribution to the theory of statistical estimation // Skandinavisk Aktuarietidskrift. — 1946. — Т. 29. — С. 85–94.
Rao, C. R. Information and the accuracy attainable in the estimation of statistical parameters // Bulletin of the Calcutta Mathematical Society. — 1945. — Т. 37. — С. 81–89.

Источник — «http://www.machinelearning.ru/wiki/index.php?title=%D0%9D%D0%B5%D1%80%D0%B0%D0%B2%D0%B5%D0%BD%D1%81%D1%82%D0%B2%D0%BE_%D0%A0%D0%B0%D0%BE-%D0%9A%D1%80%D0%B0%D0%BC%D0%B5%D1%80%D0%B0»

Категории: Математическая статистика | Теория оценивания | Машинное обучение | Энциклопедия анализа данных