Обобщённые линейные модели

Материал из MachineLearning.

(Различия между версиями)

Текущая версия

Статья написана с использованием LLM Gemini Pro 3.1 и проверена участником Nikita Zinoviсh 16:30, 14 июля 2026 (MSD)

Обобщённая линейная модель (ОЛМ) — это гибкое обобщение классической линейной регрессии, позволяющее моделировать зависимости для целевых переменных, распределение которых отличается от нормального. Концепция была впервые сформулирована Джоном Нелдером и Робертом Уэддерберном in 1972 году.

В то время как классическая регрессия (включая метод наименьших квадратов) предполагает, что математическое ожидание зависимой переменной является линейной комбинацией предикторов, а ошибки распределены нормально с постоянной дисперсией (гомоскедастичность), ОЛМ позволяет отклику иметь распределение из экспоненциального семейства, а дисперсии — зависеть от математического ожидания. Это позволяет рассматривать логистическую, пуассоновскую и гамма-регрессии как частные случаи единого математического аппарата.

Содержание

1 Структура обобщённой линейной модели
2 Оценка параметров: Метод максимального правдоподобия
- 2.1 Пошаговый вывод уравнений правдоподобия
- 2.2 Итерационно взвешенный метод наименьших квадратов
3 Диагностика качества модели
- 3.1 Девианс
- 3.2 Остатки
4 См. также
5 Литература

Структура обобщённой линейной модели

Любая модель класса ОЛМ строго задаётся через три составляющие:

Случайная компонента: задаёт распределение вероятностей зависимой переменной $Y$ при заданных значениях признаков $X$ . Предполагается, что распределение принадлежит к экспоненциальному семейству.
Систематическая компонента: формирует скалярный линейный предиктор $\eta$ как линейную комбинацию вектора параметров $\beta$ и вектора признаков $x$ .
Функция связи: гладкая, монотонно возрастающая и дифференцируемая функция $g(\cdot)$ , которая связывает математическое ожидание зависимой переменной $\mu = \mathrm{E}[Y|X]$ с линейным предиктором.

Случайная компонента и экспоненциальное семейство

Говорят, что случайная величина $Y$ принадлежит к экспоненциальному семейству, если её плотность (или функция вероятности для дискретных распределений) может быть представлена в каноническом виде:

$f(y; \theta, \phi) = \exp\left( \frac{y\theta - b(\theta)}{a(\phi)} + c(y, \phi) \right)$

где:

$\theta$ — канонический (или естественный) параметр распределения;
$\phi$ — дисперсионный параметр (параметр масштаба);
$b(\theta)$ — кумулянтная функция, форма которой однозначно определяет конкретное распределение из семейства;
$a(\phi)$ и $c(y, \phi)$ — известные функции.

Вывод математического ожидания и дисперсии

Важнейшее свойство экспоненциального семейства состоит в том, что моменты распределения могут быть аналитически выражены через производные функции $b(\theta)$ .

Запишем логарифм функции плотности для одного наблюдения:

$\ln f(y; \theta, \phi) = \frac{y\theta - b(\theta)}{a(\phi)} + c(y, \phi)$

Продифференцируем логарифм плотности по параметру $\theta$ , чтобы получить функцию счёта:

$\frac{\partial \ln f(y; \theta, \phi)}{\partial \theta} = \frac{y - b'(\theta)}{a(\phi)}$

По теореме о регулярности семейства распределений математическое ожидание функции счёта тождественно равно нулю:

$\mathrm{E}\left[ \frac{\partial \ln f(Y; \theta, \phi)}{\partial \theta} \right] = 0$

Подставим сюда наше выражение:

$\mathrm{E}\left[ \frac{Y - b'(\theta)}{a(\phi)} \right] = 0 \implies \frac{\mathrm{E}[Y] - b'(\theta)}{a(\phi)} = 0 \implies \mathrm{E}[Y] = \mu = b'(\theta)$

Таким образом, математическое ожидание $Y$ равно первой производной кумулянтной функции.

Теперь найдём вторую производную логарифма плотности по $\theta$ :

$\frac{\partial^2 \ln f(y; \theta, \phi)}{\partial \theta^2} = -\frac{b''(\theta)}{a(\phi)}$

Используем классическое теоретико-вероятностное тождество для вторых производных:

$\mathrm{E}\left[ \frac{\partial^2 \ln f(Y; \theta, \phi)}{\partial \theta^2} \right] + \mathrm{E}\left[ \left( \frac{\partial \ln f(Y; \theta, \phi)}{\partial \theta} \right)^2 \right] = 0$

Поскольку математическое ожидание функции счёта равно нулю, её второй момент равен её дисперсии:

$\mathrm{E}\left[ \left( \frac{\partial \ln f(Y; \theta, \phi)}{\partial \theta} \right)^2 \right] = \mathrm{D}\left[ \frac{\partial \ln f(Y; \theta, \phi)}{\partial \theta} \right] = \mathrm{D}\left[ \frac{Y - b'(\theta)}{a(\phi)} \right] = \frac{\mathrm{D}[Y]}{a^2(\phi)}$

Подставляя вычисленные компоненты в тождество, получаем:

$-\frac{b''(\theta)}{a(\phi)} + \frac{\mathrm{D}[Y]}{a^2(\phi)} = 0 \implies \mathrm{D}[Y] = b''(\theta) a(\phi)$

Определив функцию дисперсии как вторую производную кумулянтной функции $V(\mu) = b''(\theta)$ , мы получаем финальное выражение для дисперсии:

$\mathrm{D}[Y] = V(\mu) a(\phi)$

Систематическая компонента

Систематическая компонента определяет, как входные признаки $x = (x_1, \dots, x_p)^T$ влияют на модель. Это влияние выражается через скалярный линейный предиктор $\eta$ :

$\eta = \beta_0 + \beta_1 x_1 + \dots + \beta_p x_p = x^T \beta$

где $\beta$ — неизвестный vector параметров, подлежащий оценке.

Функция связи

Функция связи $g$ сопоставляет математическое ожидание $\mu$ линейному предиктору:

$\eta = g(\mu)$

$\mu = g^{-1}(\eta)$

Особое значение имеет каноническая функция связи. Она возникает в том случае, если линейный предиктор приравнивается непосредственно к естественному параметру: $\theta = \eta$ . Это приводит к существенному упрощению уравнений правдоподобия и гарантирует, что модель обладает достаточными статистиками для оценки вектора параметров $\beta$ .

Примеры классических моделей и их канонических функций связи:

Нормальное распределение: $g(\mu) = \mu$ (тождественная функция связи).
Распределение Бернулли: $g(\mu) = \ln\left(\frac{\mu}{1-\mu}\right)$ (логит-функция).
Распределение Пуассона: $g(\mu) = \ln(\mu)$ (логарифмическая функция связи).

Оценка параметров: Метод максимального правдоподобия

Для обучения ОЛМ применяется метод максимального правдоподобия. Пусть дана обучающая выборка из $n$ независимых наблюдений $(x_i, y_i)$ . Логарифм функции правдоподобия имеет вид:

$\ell(\beta) = \sum_{i=1}^n \left( \frac{y_i \theta_i - b(\theta_i)}{a(\phi_i)} + c(y_i, \phi_i) \right)$

Пошаговый вывод уравнений правдоподобия

Для нахождения оценки максимума правдоподобия необходимо вычислить градиент функции $\ell(\beta)$ по параметрам $\beta_j$ и приравнять его к нулю. Применим правило дифференцирования сложной функции:

$\frac{\partial \ell}{\partial \beta_j} = \sum_{i=1}^n \frac{\partial \ell_i}{\partial \beta_j} = \sum_{i=1}^n \frac{\partial \ell_i}{\partial \theta_i} \cdot \frac{\partial \theta_i}{\partial \mu_i} \cdot \frac{\partial \mu_i}{\partial \eta_i} \cdot \frac{\partial \eta_i}{\partial \beta_j}$

Вычислим каждую частную производную по отдельности:

Производная логарифма правдоподобия по каноническому параметру:
$\frac{\partial \ell_i}{\partial \theta_i} = \frac{y_i - b'(\theta_i)}{a(\phi_i)} = \frac{y_i - \mu_i}{a(\phi_i)}$
Производная канонического параметра по математическому ожиданию. Так как $\mu_i = b'(\theta_i)$ , то производная $\frac{\partial \mu_i}{\partial \theta_i} = b''(\theta_i) = V(\mu_i)$ . Соответственно, по теореме о производной обратной функции:
$\frac{\partial \theta_i}{\partial \mu_i} = \frac{1}{V(\mu_i)}$
Производная математического ожидания по линейному предиктору выражается через функцию связи. Так как $\eta_i = g(\mu_i)$ , по теореме о производной обратной функции получаем:
$\frac{\partial \mu_i}{\partial \eta_i} = \frac{1}{g'(\mu_i)}$
Производная линейного предиктора $\eta_i = \sum_{k=0}^p \beta_k x_{ik}$ по весу $\beta_j$ :
$\frac{\partial \eta_i}{\partial \beta_j} = x_{ij}$

Подставим все четыре компонента обратно в цепное правило:

$\frac{\partial \ell_i}{\partial \beta_j} = \frac{y_i - \mu_i}{a(\phi_i)} \cdot \frac{1}{V(\mu_i)} \cdot \frac{\partial \mu_i}{\partial \eta_i} \cdot x_{ij} = \frac{y_i - \mu_i}{a(\phi_i) V(\mu_i)} \frac{\partial \mu_i}{\partial \eta_i} x_{ij}$

Суммируя по всем наблюдениям, мы получаем систему уравнений правдоподобия:

$\sum_{i=1}^n \frac{(y_i - \mu_i)}{a(\phi_i) V(\mu_i)} \frac{\partial \mu_i}{\partial \eta_i} x_{ij} = 0, \quad j=0, 1, \dots, p$

Итерационно взвешенный метод наименьших квадратов

Поскольку полученная система уравнений нелинейна относительно параметров $\beta$ , для её решения применяется метод скоринга Фишера. В рамках ОЛМ метод скоринга Фишера эквивалентен итерационно взвешенному методу наименьших квадратов (ИВМНК).

В методе скоринга Фишера вместо классического гессиана используется Информационная матрица Фишера $\mathcal{I}(\beta)$ , элементы которой представляют собой математическое ожидание вторых производных логарифма правдоподобия, взятых с обратным знаком:

$\mathcal{I}_{jk} = -\mathrm{E}\left[ \frac{\partial^2 \ell}{\partial \beta_j \partial \beta_k} \right] = \mathrm{E}\left[ \left(\frac{\partial \ell}{\partial \beta_j}\right) \left(\frac{\partial \ell}{\partial \beta_k}\right) \right]$

Используя независимость наблюдений и свойства дисперсии, распишем каждый элемент информационной матрицы:

$\mathcal{I}_{jk} = \sum_{i=1}^n \mathrm{E}\left[ \frac{(Y_i - \mu_i)^2}{a^2(\phi_i) V^2(\mu_i)} \left( \frac{\partial \mu_i}{\partial \eta_i} \right)^2 x_{ij} x_{ik} \right]$

Вынося детерминированные величины за знак математического ожидания и учитывая, что $\mathrm{E}[(Y_i - \mu_i)^2] = \mathrm{D}[Y_i] = V(\mu_i) a(\phi_i)$ , получаем:

$\mathcal{I}_{jk} = \sum_{i=1}^n \frac{V(\mu_i) a(\phi_i)}{a^2(\phi_i) V^2(\mu_i)} \left( \frac{\partial \mu_i}{\partial \eta_i} \right)^2 x_{ij} x_{ik} = \sum_{i=1}^n \frac{1}{a(\phi_i) V(\mu_i)} \left( \frac{\partial \mu_i}{\partial \eta_i} \right)^2 x_{ij} x_{ik}$

Введём стандартную параметризацию для масштаба индивидуального наблюдения: $a(\phi_i) = \phi / w_i$ , где $w_i$ — известные веса наблюдений, а $\phi$ — общий параметр дисперсии. Перепишем элементы информационной матрицы:

$\mathcal{I}_{jk} = \frac{1}{\phi} \sum_{i=1}^n w_i \frac{1}{V(\mu_i)} \left( \frac{\partial \mu_i}{\partial \eta_i} \right)^2 x_{ij} x_{ik}$

Определим диагональную матрицу весов $W$ размера $n \times n$ с элементами:

$W_{ii} = \frac{w_i}{V(\mu_i) \left( g'(\mu_i) \right)^2}$

Тогда вся информационная матрица Фишера в компактном матричном виде запишется как:

$\mathcal{I}(\beta) = \frac{1}{\phi} X^T W X$

Аналогично запишем вектор градиента логарифма правдоподобия $U(\beta)$ :

$U(\beta) = \frac{1}{\phi} X^T W D (y - \mu)$

где $D$ — диагональная матрица, содержащая производные функции связи на диагонали: $D_{ii} = g'(\mu_i)$ .

Шаг обновления параметров в методе Фишера задаётся уравнением:

$\beta^{(t+1)} = \beta^{(t)} + \left( \mathcal{I}(\beta^{(t)}) \right)^{-1} U(\beta^{(t)})$

Подставляя матричные представления, мы видим, что общий дисперсионный параметр $\phi$ сокращается:

$\beta^{(t+1)} = \beta^{(t)} + (X^T W^{(t)} X)^{-1} X^T W^{(t)} D^{(t)} (y - \mu^{(t)})$

Раскроем слагаемые, представив $\beta^{(t)}$ через единичную матрицу $(X^T W^{(t)} X)^{-1} (X^T W^{(t)} X)$ :

$\beta^{(t+1)} = (X^T W^{(t)} X)^{-1} X^T W^{(t)} X \beta^{(t)} + (X^T W^{(t)} X)^{-1} X^T W^{(t)} D^{(t)} (y - \mu^{(t)})$

$\beta^{(t+1)} = (X^T W^{(t)} X)^{-1} X^T W^{(t)} \left( X \beta^{(t)} + D^{(t)} (y - \mu^{(t)}) \right)$

Введем вектор псевдооткликов $z^{(t)}$ с элементами:

$z_i^{(t)} = \eta_i^{(t)} + (y_i - \mu_i^{(t)}) g'(\mu_i^{(t)})$

Финальная рекуррентная формула полностью совпадает с классическим решением средневзвешенного метода наименьших квадратов на каждой итерации:

$\beta^{(t+1)} = (X^T W^{(t)} X)^{-1} X^T W^{(t)} z^{(t)}$

Диагностика качества модели

Поскольку в ОЛМ распределение остатков в общем случае не является нормальным, классический коэффициент детерминации $R^2$ и обычные остатки не подходят для оценки качества подогнанной модели.

Девианс

Адекватность модели оценивается с помощью девианса, который обобщает концепцию суммы квадратов остатков. Масштабированный девианс определяется через логарифм отношения правдоподобий исследуемой модели и «насыщенной» модели (модели, в которой число параметров равно числу наблюдений, то есть $\hat{\mu}_i = y_i$ ):

$D^* = 2 \left( \ell(\mathrm{saturated}) - \ell(\mathrm{model}) \right)$

При достаточно большом размере выборки масштабированный девианс имеет распределение хи-квадрат с $n-p$ степенями свободы, где $p$ — количество оцениваемых параметров модели.

Остатки

Вместо стандартных разностей $y_i - \hat{\mu}_i$ в ОЛМ применяют:

Остатки Пирсона: стандартизируют отклонение с учетом функции дисперсии:

$r_P = \frac{y_i - \hat{\mu}_i}{\sqrt{V(\hat{\mu}_i)}}$

Остатки девианса: компоненты, из которых складывается суммарный девианс модели. Они имеют распределение, более близкое к нормальному, и чаще используются для визуальной диагностики выбросов.

См. также

Литература

Воронцов К. В. Математические методы обучения по прецедентам (теория обучения машин). — М.: МФТИ, 2007.
Айвазян С. А., Мхитарян В. С. Прикладная статистика и основы эконометрики. — М.: ЮНИТИ, 1998.
McCullagh, P., Nelder, J. A. Generalized Linear Models, 2nd ed. Chapman and Hall/CRC, 1989.
Hastie, T., Tibshirani, R., Friedman, J. The Elements of Statistical Learning: Data Mining, Inference, and Prediction. Springer, 2009.

Источник — «http://www.machinelearning.ru/wiki/index.php?title=%D0%9E%D0%B1%D0%BE%D0%B1%D1%89%D1%91%D0%BD%D0%BD%D1%8B%D0%B5_%D0%BB%D0%B8%D0%BD%D0%B5%D0%B9%D0%BD%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8»

@@ Строка 1: / Строка 1: @@
-{{well|Статья написана с использованием LLM '''Gemini Pro 3.1''' и проверена участником [[Участник:Nikita Zinoviсh|Nikita Zinoviсh]] 16:00, 14 июля 2026 (MSD)}}
+{{well|Статья написана с использованием LLM '''Gemini Pro 3.1''' и проверена участником [[Участник:Nikita Zinoviсh|Nikita Zinoviсh]] 16:30, 14 июля 2026 (MSD)}}
 '''Обобщённая линейная модель''' (ОЛМ) — это гибкое обобщение классической [[Линейная регрессия|линейной регрессии]], позволяющее моделировать зависимости для целевых переменных, распределение которых отличается от [[Нормальное распределение|нормального]]. Концепция была впервые сформулирована Джоном Нелдером и Робертом Уэддерберном in 1972 году.
@@ Строка 8: / Строка 9: @@
 Любая модель класса ОЛМ строго задаётся через три составляющие:
-# '''Случайная компонента''': задаёт распределение вероятностей зависимой переменной <tex> Y </tex> при заданных значениях признаков <tex> X </tex>. Предполагается, что распределение принадлежит к экспоненциальному семейству.
+# '''Случайная компонента''': задаёт распределение вероятностей зависимой переменной <tex>Y</tex> при заданных значениях признаков <tex>X</tex>. Предполагается, что распределение принадлежит к экспоненциальному семейству.
-# '''Систематическая компонента''': формирует скалярный линейный предиктор <tex> \eta </tex> как линейную комбинацию вектора параметров <tex> \beta </tex> и вектора признаков <tex> x </tex>.
+# '''Систематическая компонента''': формирует скалярный линейный предиктор <tex>\eta</tex> как линейную комбинацию вектора параметров <tex>\beta</tex> и вектора признаков <tex>x</tex>.
-# '''Функция связи''': гладкая, монотонно возрастающая и дифференцируемая функция <tex> g(\cdot) </tex>, которая связывает [[Математическое ожидание|математическое ожидание]] зависимой переменной <tex> \mu = \mathrm{E}[Y|X] </tex> с линейным предиктором.
+# '''Функция связи''': гладкая, монотонно возрастающая и дифференцируемая функция <tex>g(\cdot)</tex>, которая связывает [[Математическое ожидание|математическое ожидание]] зависимой переменной <tex>\mu = \mathrm{E}[Y|X]</tex> с линейным предиктором.
 === Случайная компонента и экспоненциальное семейство ===
-Говорят, что случайная величина <tex> Y </tex> принадлежит к экспоненциальному семейству, если её плотность (или функция вероятности для дискретных распределений) может быть представлена в каноническом виде:
+Говорят, что случайная величина <tex>Y</tex> принадлежит к экспоненциальному семейству, если её плотность (или функция вероятности для дискретных распределений) может быть представлена в каноническом виде:
-:<tex> f(y; \theta, \phi) = \exp\left( \frac{y\theta - b(\theta)}{a(\phi)} + c(y, \phi) \right) </tex>
+:<tex>f(y; \theta, \phi) = \exp\left( \frac{y\theta - b(\theta)}{a(\phi)} + c(y, \phi) \right)</tex>
 где:
-* <tex> \theta </tex> — канонический (или естественный) параметр распределения;
+* <tex>\theta</tex> — канонический (или естественный) параметр распределения;
-* <tex> \phi </tex> — дисперсионный параметр (параметр масштаба);
+* <tex>\phi</tex> — дисперсионный параметр (параметр масштаба);
-* <tex> b(\theta) </tex> — кумулянтная функция, форма которой однозначно определяет конкретное распределение из семейства;
+* <tex>b(\theta)</tex> — кумулянтная функция, форма которой однозначно определяет конкретное распределение из семейства;
-* <tex> a(\phi) </0> и <tex> c(y, \phi) </0> — известные функции.
+* <tex>a(\phi)</tex> и <tex>c(y, \phi)</tex> — известные функции.
 ==== Вывод математического ожидания и дисперсии ====
-Важнейшее свойство экспоненциального семейства состоит в том, что моменты распределения могут быть аналитически выражены через производные функции <tex> b(\theta) </0>.
+Важнейшее свойство экспоненциального семейства состоит в том, что моменты распределения могут быть аналитически выражены через производные функции <tex>b(\theta)</tex>.
 Запишем логарифм функции плотности для одного наблюдения:
-:<tex> \ln f(y; \theta, \phi) = \frac{y\theta - b(\theta)}{a(\phi)} + c(y, \phi) </tex>
+:<tex>\ln f(y; \theta, \phi) = \frac{y\theta - b(\theta)}{a(\phi)} + c(y, \phi)</tex>
-Продифференцируем логарифм плотности по параметру <tex> \theta </0>, чтобы получить функцию счёта:
+Продифференцируем логарифм плотности по параметру <tex>\theta</tex>, чтобы получить функцию счёта:
-:<tex> \frac{\partial \ln f(y; \theta, \phi)}{\partial \theta} = \frac{y - b'(\theta)}{a(\phi)} </ / По теореме о регулярности семейства распределений математическое ожидание функции счёта тождественно равно нулю:
+:<tex>\frac{\partial \ln f(y; \theta, \phi)}{\partial \theta} = \frac{y - b'(\theta)}{a(\phi)}</tex>
-:<tex> \mathrm{E}\left[ \frac{\partial \ln f(Y; \theta, \phi)}{\partial \theta} \right] = 0 </ / Подставим сюда наше выражение:
+По теореме о регулярности семейства распределений математическое ожидание функции счёта тождественно равно нулю:
-:<tex> \mathrm{E}\left[ \frac{Y - b'(\theta)}{a(\phi)} \right] = 0 \implies \frac{\mathrm{E}[Y] - b'(\theta)}{a(\phi)} = 0 \implies \mathrm{E}[Y] = \mu = b'(\theta) </ / Таким образом, математическое ожидание <tex> Y </0> равно первой производной кумулянтной функции.
+:<tex>\mathrm{E}\left[ \frac{\partial \ln f(Y; \theta, \phi)}{\partial \theta} \right] = 0</tex>
-Теперь найдём вторую производную логарифма плотности по <tex> \theta </0>:
+Подставим сюда наше выражение:
-:<tex> \frac{\partial^2 \ln f(y; \theta, \phi)}{\partial \theta^2} = -\frac{b''(\theta)}{a(\phi)} </ / Используем классическое теоретико-вероятностное тождество для вторых производных:
+:<tex>\mathrm{E}\left[ \frac{Y - b'(\theta)}{a(\phi)} \right] = 0 \implies \frac{\mathrm{E}[Y] - b'(\theta)}{a(\phi)} = 0 \implies \mathrm{E}[Y] = \mu = b'(\theta)</tex>
-:<tex> \mathrm{E}\left[ \frac{\partial^2 \ln f(Y; \theta, \phi)}{\partial \theta^2} \right] + \mathrm{E}\left[ \left( \frac{\partial \ln f(Y; \theta, \phi)}{\partial \theta} \right)^2 \right] = 0 </ / Поскольку математическое ожидание функции счёта равно нулю, её второй момент равен её дисперсии:
+Таким образом, математическое ожидание <tex>Y</tex> равно первой производной кумулянтной функции.
-:<tex> \mathrm{E}\left[ \left( \frac{\partial \ln f(Y; \theta, \phi)}{\partial \theta} \right)^2 \right] = \mathrm{D}\left[ \frac{\partial \ln f(Y; \theta, \phi)}{\partial \theta} \right] = \mathrm{D}\left[ \frac{Y - b'(\theta)}{a(\phi)} \right] = \frac{\mathrm{D}[Y]}{a^2(\phi)} </ / Подставляя вычисленные компоненты в тождество, получаем:
+Теперь найдём вторую производную логарифма плотности по <tex>\theta</tex>:
-:<tex> -\frac{b''(\theta)}{a(\phi)} + \frac{\mathrm{D}[Y]}{a^2(\phi)} = 0 \implies \mathrm{D}[Y] = b''(\theta) a(\phi) </ / Определив функцию дисперсии как вторую производную кумулянтной функции <tex> V(\mu) = b''(\theta) </0>, мы получаем финальное выражение для дисперсии:
+:<tex>\frac{\partial^2 \ln f(y; \theta, \phi)}{\partial \theta^2} = -\frac{b''(\theta)}{a(\phi)}</tex>
-:<tex> \mathrm{D}[Y] = V(\mu) a(\phi) </0>
+Используем классическое теоретико-вероятностное тождество для вторых производных:
+:<tex>\mathrm{E}\left[ \frac{\partial^2 \ln f(Y; \theta, \phi)}{\partial \theta^2} \right] + \mathrm{E}\left[ \left( \frac{\partial \ln f(Y; \theta, \phi)}{\partial \theta} \right)^2 \right] = 0</tex>
+Поскольку математическое ожидание функции счёта равно нулю, её второй момент равен её дисперсии:
+:<tex>\mathrm{E}\left[ \left( \frac{\partial \ln f(Y; \theta, \phi)}{\partial \theta} \right)^2 \right] = \mathrm{D}\left[ \frac{\partial \ln f(Y; \theta, \phi)}{\partial \theta} \right] = \mathrm{D}\left[ \frac{Y - b'(\theta)}{a(\phi)} \right] = \frac{\mathrm{D}[Y]}{a^2(\phi)}</tex>
+Подставляя вычисленные компоненты в тождество, получаем:
+:<tex>-\frac{b''(\theta)}{a(\phi)} + \frac{\mathrm{D}[Y]}{a^2(\phi)} = 0 \implies \mathrm{D}[Y] = b''(\theta) a(\phi)</tex>
+Определив функцию дисперсии как вторую производную кумулянтной функции <tex>V(\mu) = b''(\theta)</tex>, мы получаем финальное выражение для дисперсии:
+:<tex>\mathrm{D}[Y] = V(\mu) a(\phi)</tex>
 === Систематическая компонента ===
-Систематическая компонента определяет, как входные признаки <tex> x = (x_1, \dots, x_p)^T </0> влияют на модель. Это влияние выражается через скалярный линейный предиктор <tex> \eta </0>:
+Систематическая компонента определяет, как входные признаки <tex>x = (x_1, \dots, x_p)^T</tex> влияют на модель. Это влияние выражается через скалярный линейный предиктор <tex>\eta</tex>:
-:<tex> \eta = \beta_0 + \beta_1 x_1 + \dots + \beta_p x_p = x^T \beta </ / где <tex> \beta </0> — неизвестный вектор параметров, подлежащий оценке.
+:<tex>\eta = \beta_0 + \beta_1 x_1 + \dots + \beta_p x_p = x^T \beta</tex>
+где <tex>\beta</tex> — неизвестный vector параметров, подлежащий оценке.
 === Функция связи ===
-Функция связи <tex> g </0> сопоставляет математическое ожидание <tex> \mu </0> линейному предиктору:
+Функция связи <tex>g</tex> сопоставляет математическое ожидание <tex>\mu</tex> линейному предиктору:
+:<tex>\eta = g(\mu)</tex>
+:<tex>\mu = g^{-1}(\eta)</tex>
-:<tex> \eta = g(\mu) </ / :<tex> \mu = g^{-1}(\eta) </ / Особое значение имеет '''каноническая функция связи'''. Она возникает в том случае, если линейный предиктор приравнивается непосредственно к естественному параметру: <tex> \theta = \eta </0>. Это приводит к существенному упрощению уравнений правдоподобия и гарантирует, что модель обладает [[Достаточная статистика|достаточными статистиками]] для оценки вектора параметров <tex> \beta </0>.
+Особое значение имеет '''каноническая функция связи'''. Она возникает в том случае, если линейный предиктор приравнивается непосредственно к естественному параметру: <tex>\theta = \eta</tex>. Это приводит к существенному упрощению уравнений правдоподобия и гарантирует, что модель обладает [[Достаточная статистика|достаточными статистиками]] для оценки вектора параметров <tex>\beta</tex>.
 Примеры классических моделей и их канонических функций связи:
-* '''Нормальное распределение''': <tex> g(\mu) = \mu </0> (тождественная функция связи).
+* '''Нормальное распределение''': <tex>g(\mu) = \mu</tex> (тождественная функция связи).
-* '''Распределение Бернулли''': <tex> g(\mu) = \ln\left(\frac{\mu}{1-\mu}\right) </0> (логит-функция).
+* '''Распределение Бернулли''': <tex>g(\mu) = \ln\left(\frac{\mu}{1-\mu}\right)</tex> (логит-функция).
-* '''Распределение Пуассона''': <tex> g(\mu) = \ln(\mu) </0> (логарифмическая функция связи).
+* '''Распределение Пуассона''': <tex>g(\mu) = \ln(\mu)</tex> (логарифмическая функция связи).
 == Оценка параметров: Метод максимального правдоподобия ==
-Для обучения ОЛМ применяется [[Метод максимального правдоподобия|метод максимального правдоподобия]]. Пусть дана обучающая выборка из <tex> n </0> независимых наблюдений <tex> (x_i, y_i) </0>. Логарифм функции правдоподобия имеет вид:
+Для обучения ОЛМ применяется [[Метод максимального правдоподобия|метод максимального правдоподобия]]. Пусть дана обучающая выборка из <tex>n</tex> независимых наблюдений <tex>(x_i, y_i)</tex>. Логарифм функции правдоподобия имеет вид:
-:<tex> \ell(\beta) = \sum_{i=1}^n \left( \frac{y_i \theta_i - b(\theta_i)}{a(\phi_i)} + c(y_i, \phi_i) \right) </ / ==== Пошаговый вывод уравнений правдоподобия ====
+:<tex>\ell(\beta) = \sum_{i=1}^n \left( \frac{y_i \theta_i - b(\theta_i)}{a(\phi_i)} + c(y_i, \phi_i) \right)</tex>
-Для нахождения оценки максимума правдоподобия необходимо вычислить градиент функции <tex> \ell(\beta) </0> по параметрам <tex> \beta_j </0> и приравнять его к нулю. Применим [[Теорема о производной сложной функции|правило дифференцирования сложной функции]]:
+==== Пошаговый вывод уравнений правдоподобия ====
-:<tex> \frac{\partial \ell}{\partial \beta_j} = \sum_{i=1}^n \frac{\partial \ell_i}{\partial \beta_j} = \sum_{i=1}^n \frac{\partial \ell_i}{\partial \theta_i} \cdot \frac{\partial \theta_i}{\partial \mu_i} \cdot \frac{\partial \mu_i}{\partial \eta_i} \cdot \frac{\partial \eta_i}{\partial \beta_j} </ / Вычислим каждую частную производную по отдельности:
+Для нахождения оценки максимума правдоподобия необходимо вычислить градиент функции <tex>\ell(\beta)</tex> по параметрам <tex>\beta_j</tex> и приравнять его к нулю. Применим [[Теорема о производной сложной функции|правило дифференцирования сложной функции]]:
+:<tex>\frac{\partial \ell}{\partial \beta_j} = \sum_{i=1}^n \frac{\partial \ell_i}{\partial \beta_j} = \sum_{i=1}^n \frac{\partial \ell_i}{\partial \theta_i} \cdot \frac{\partial \theta_i}{\partial \mu_i} \cdot \frac{\partial \mu_i}{\partial \eta_i} \cdot \frac{\partial \eta_i}{\partial \beta_j}</tex>
+Вычислим каждую частную производную по отдельности:
 # Производная логарифма правдоподобия по каноническому параметру:
-#:<tex> \frac{\partial \ell_i}{\partial \theta_i} = \frac{y_i - b'(\theta_i)}{a(\phi_i)} = \frac{y_i - \mu_i}{a(\phi_i)} </ / # Производная канонического параметра по математическому ожиданию. Так как <tex> \mu_i = b'(\theta_i) </0>, то производная <tex> \frac{\partial \mu_i}{\partial \theta_i} = b''(\theta_i) = V(\mu_i) </0>. Соответственно, по теореме о производной обратной функции:
+#:<tex>\frac{\partial \ell_i}{\partial \theta_i} = \frac{y_i - b'(\theta_i)}{a(\phi_i)} = \frac{y_i - \mu_i}{a(\phi_i)}</tex>
-#:<tex> \frac{\partial \theta_i}{\partial \mu_i} = \frac{1}{V(\mu_i)} </ / # Производная математического ожидания по линейному предиктору выражается через функцию связи. Так как <tex> \eta_i = g(\mu_i) </0>, по теореме о производной обратной функции получаем:
+# Производная канонического параметра по математическому ожиданию. Так как <tex>\mu_i = b'(\theta_i)</tex>, то производная <tex>\frac{\partial \mu_i}{\partial \theta_i} = b''(\theta_i) = V(\mu_i)</tex>. Соответственно, по теореме о производной обратной функции:
-#:<tex> \frac{\partial \mu_i}{\partial \eta_i} = \frac{1}{g'(\mu_i)} </ / # Производная линейного предиктора <tex> \eta_i = \sum_{k=0}^p \beta_k x_{ik} </0> по весу <tex> \beta_j </0>:
+#:<tex>\frac{\partial \theta_i}{\partial \mu_i} = \frac{1}{V(\mu_i)}</tex>
-#:<tex> \frac{\partial \eta_i}{\partial \beta_j} = x_{ij} </ / Подставим все четыре компонента обратно в цепное правило:
+# Производная математического ожидания по линейному предиктору выражается через функцию связи. Так как <tex>\eta_i = g(\mu_i)</tex>, по теореме о производной обратной функции получаем:
+#:<tex>\frac{\partial \mu_i}{\partial \eta_i} = \frac{1}{g'(\mu_i)}</tex>
+# Производная линейного предиктора <tex>\eta_i = \sum_{k=0}^p \beta_k x_{ik}</tex> по весу <tex>\beta_j</tex>:
+#:<tex>\frac{\partial \eta_i}{\partial \beta_j} = x_{ij}</tex>
-:<tex> \frac{\partial \ell_i}{\partial \beta_j} = \frac{y_i - \mu_i}{a(\phi_i)} \cdot \frac{1}{V(\mu_i)} \cdot \frac{\partial \mu_i}{\partial \eta_i} \cdot x_{ij} = \frac{y_i - \mu_i}{a(\phi_i) V(\mu_i)} \frac{\partial \mu_i}{\partial \eta_i} x_{ij} </ / Суммируя по всем наблюдениям, мы получаем систему уравнений правдоподобия:
+Подставим все четыре компонента обратно в цепное правило:
-:<tex> \sum_{i=1}^n \frac{(y_i - \mu_i)}{a(\phi_i) V(\mu_i)} \frac{\partial \mu_i}{\partial \eta_i} x_{ij} = 0, \quad j=0, 1, \dots, p </ / === Итерационно взвешенный метод наименьших квадратов ===
+:<tex>\frac{\partial \ell_i}{\partial \beta_j} = \frac{y_i - \mu_i}{a(\phi_i)} \cdot \frac{1}{V(\mu_i)} \cdot \frac{\partial \mu_i}{\partial \eta_i} \cdot x_{ij} = \frac{y_i - \mu_i}{a(\phi_i) V(\mu_i)} \frac{\partial \mu_i}{\partial \eta_i} x_{ij}</tex>
-Поскольку полученная система уравнений нелинейна относительно параметров <tex> \beta </0>, для её решения применяется метод скоринга Фишера. В рамках ОЛМ метод скоринга Фишера эквивалентен '''итерационно взвешенному методу наименьших квадратов''' (ИВМНК).
+Суммируя по всем наблюдениям, мы получаем систему уравнений правдоподобия:
-В методе скоринга Фишера вместо классического [[Матрица Гессе|гессиана]] используется [[Информационная матрица Фишера]] <tex> \mathcal{I}(\beta) </0>, элементы которой представляют собой математическое ожидание вторых производных логарифма правдоподобия, взятых с обратным знаком:
+:<tex>\sum_{i=1}^n \frac{(y_i - \mu_i)}{a(\phi_i) V(\mu_i)} \frac{\partial \mu_i}{\partial \eta_i} x_{ij} = 0, \quad j=0, 1, \dots, p</tex>
-:<tex> \mathcal{I}_{jk} = -\mathrm{E}\left[ \frac{\partial^2 \ell}{\partial \beta_j \partial \beta_k} \right] = \mathrm{E}\left[ \left(\frac{\partial \ell}{\partial \beta_j}\right) \left(\frac{\partial \ell}{\partial \beta_k}\right) \right] </ / Используя независимость наблюдений и свойства дисперсии, распишем каждый элемент информационной матрицы:
+=== Итерационно взвешенный метод наименьших квадратов ===
-:<tex> \mathcal{I}_{jk} = \sum_{i=1}^n \mathrm{E}\left[ \frac{(Y_i - \mu_i)^2}{a^2(\phi_i) V^2(\mu_i)} \left( \frac{\partial \mu_i}{\partial \eta_i} \right)^2 x_{ij} x_{ik} \right] </ / Вынося детерминированные величины за знак математического ожидания и учитывая, что <tex> \mathrm{E}[(Y_i - \mu_i)^2] = \mathrm{D}[Y_i] = V(\mu_i) a(\phi_i) </0>, получаем:
+Поскольку полученная система уравнений нелинейна относительно параметров <tex>\beta</tex>, для её решения применяется метод скоринга Фишера. В рамках ОЛМ метод скоринга Фишера эквивалентен '''итерационно взвешенному методу наименьших квадратов''' (ИВМНК).
-:<tex> \mathcal{I}_{jk} = \sum_{i=1}^n \frac{V(\mu_i) a(\phi_i)}{a^2(\phi_i) V^2(\mu_i)} \left( \frac{\partial \mu_i}{\partial \eta_i} \right)^2 x_{ij} x_{ik} = \sum_{i=1}^n \frac{1}{a(\phi_i) V(\mu_i)} \left( \frac{\partial \mu_i}{\partial \eta_i} \right)^2 x_{ij} x_{ik} </ / Введём стандартную параметризацию для масштаба индивидуального наблюдения: <tex> a(\phi_i) = \phi / w_i </0>, где <tex> w_i </0> — известные веса наблюдений, а <tex> \phi </0> — общий параметр дисперсии. Перепишем элементы информационной матрицы:
+В методе скоринга Фишера вместо классического [[Матрица Гессе|гессиана]] используется [[Информационная матрица Фишера]] <tex>\mathcal{I}(\beta)</tex>, элементы которой представляют собой математическое ожидание вторых производных логарифма правдоподобия, взятых с обратным знаком:
-:<tex> \mathcal{I}_{jk} = \frac{1}{\phi} \sum_{i=1}^n w_i \frac{1}{V(\mu_i)} \left( \frac{\partial \mu_i}{\partial \eta_i} \right)^2 x_{ij} x_{ik} </ / Определим диагональную матрицу весов <tex> W </0> размера <tex> n \times n </0> с элементами:
+:<tex>\mathcal{I}_{jk} = -\mathrm{E}\left[ \frac{\partial^2 \ell}{\partial \beta_j \partial \beta_k} \right] = \mathrm{E}\left[ \left(\frac{\partial \ell}{\partial \beta_j}\right) \left(\frac{\partial \ell}{\partial \beta_k}\right) \right]</tex>
-:<tex> W_{ii} = \frac{w_i}{V(\mu_i) \left( g'(\mu_i) \right)^2} </ / Тогда вся информационная матрица Фишера в компактном матричном виде запишется как:
+Используя независимость наблюдений и свойства дисперсии, распишем каждый элемент информационной матрицы:
-:<tex> \mathcal{I}(\beta) = \frac{1}{\phi} X^T W X </ / Аналогично запишем вектор градиента логарифма правдоподобия <tex> U(\beta) </0>:
+:<tex>\mathcal{I}_{jk} = \sum_{i=1}^n \mathrm{E}\left[ \frac{(Y_i - \mu_i)^2}{a^2(\phi_i) V^2(\mu_i)} \left( \frac{\partial \mu_i}{\partial \eta_i} \right)^2 x_{ij} x_{ik} \right]</tex>
-:<tex> U(\beta) = \frac{1}{\phi} X^T W D (y - \mu) </ / где <tex> D </0> — диагональная матрица, содержащая производные функции связи на диагонали: <tex> D_{ii} = g'(\mu_i) </0>.
+Вынося детерминированные величины за знак математического ожидания и учитывая, что <tex>\mathrm{E}[(Y_i - \mu_i)^2] = \mathrm{D}[Y_i] = V(\mu_i) a(\phi_i)</tex>, получаем:
+:<tex>\mathcal{I}_{jk} = \sum_{i=1}^n \frac{V(\mu_i) a(\phi_i)}{a^2(\phi_i) V^2(\mu_i)} \left( \frac{\partial \mu_i}{\partial \eta_i} \right)^2 x_{ij} x_{ik} = \sum_{i=1}^n \frac{1}{a(\phi_i) V(\mu_i)} \left( \frac{\partial \mu_i}{\partial \eta_i} \right)^2 x_{ij} x_{ik}</tex>
+Введём стандартную параметризацию для масштаба индивидуального наблюдения: <tex>a(\phi_i) = \phi / w_i</tex>, где <tex>w_i</tex> — известные веса наблюдений, а <tex>\phi</tex> — общий параметр дисперсии. Перепишем элементы информационной матрицы:
+:<tex>\mathcal{I}_{jk} = \frac{1}{\phi} \sum_{i=1}^n w_i \frac{1}{V(\mu_i)} \left( \frac{\partial \mu_i}{\partial \eta_i} \right)^2 x_{ij} x_{ik}</tex>
+Определим диагональную матрицу весов <tex>W</tex> размера <tex>n \times n</tex> с элементами:
+:<tex>W_{ii} = \frac{w_i}{V(\mu_i) \left( g'(\mu_i) \right)^2}</tex>
+Тогда вся информационная матрица Фишера в компактном матричном виде запишется как:
+:<tex>\mathcal{I}(\beta) = \frac{1}{\phi} X^T W X</tex>
+Аналогично запишем вектор градиента логарифма правдоподобия <tex>U(\beta)</tex>:
+:<tex>U(\beta) = \frac{1}{\phi} X^T W D (y - \mu)</tex>
+где <tex>D</tex> — диагональная матрица, содержащая производные функции связи на диагонали: <tex>D_{ii} = g'(\mu_i)</tex>.
 Шаг обновления параметров в методе Фишера задаётся уравнением:
-:<tex> \beta^{(t+1)} = \beta^{(t)} + \left( \mathcal{I}(\beta^{(t)}) \right)^{-1} U(\beta^{(t)}) </ / Подставляя матричные представления, мы видим, что общий дисперсионный параметр <tex> \phi </0> сокращается:
+:<tex>\beta^{(t+1)} = \beta^{(t)} + \left( \mathcal{I}(\beta^{(t)}) \right)^{-1} U(\beta^{(t)})</tex>
-:<tex> \beta^{(t+1)} = \beta^{(t)} + (X^T W^{(t)} X)^{-1} X^T W^{(t)} D^{(t)} (y - \mu^{(t)}) </ / Раскроем слагаемые, представив <tex> \beta^{(t)} </0> через единичную матрицу <tex> (X^T W^{(t)} X)^{-1} (X^T W^{(t)} X) </0>:
+Подставляя матричные представления, мы видим, что общий дисперсионный параметр <tex>\phi</tex> сокращается:
-:<tex> \beta^{(t+1)} = (X^T W^{(t)} X)^{-1} X^T W^{(t)} X \beta^{(t)} + (X^T W^{(t)} X)^{-1} X^T W^{(t)} D^{(t)} (y - \mu^{(t)}) </ / :<tex> \beta^{(t+1)} = (X^T W^{(t)} X)^{-1} X^T W^{(t)} \left( X \beta^{(t)} + D^{(t)} (y - \mu^{(t)}) \right) </ / Введем вектор псевдооткликов <tex> z^{(t)} </0> с элементами:
+:<tex>\beta^{(t+1)} = \beta^{(t)} + (X^T W^{(t)} X)^{-1} X^T W^{(t)} D^{(t)} (y - \mu^{(t)})</tex>
-:<tex> z_i^{(t)} = \eta_i^{(t)} + (y_i - \mu_i^{(t)}) g'(\mu_i^{(t)}) </ / Финальная рекуррентная формула полностью совпадает с классическим решением средневзвешенного метода наименьших квадратов на каждой итерации:
+Раскроем слагаемые, представив <tex>\beta^{(t)}</tex> через единичную матрицу <tex>(X^T W^{(t)} X)^{-1} (X^T W^{(t)} X)</tex>:
-:<tex> \beta^{(t+1)} = (X^T W^{(t)} X)^{-1} X^T W^{(t)} z^{(t)} </ / == Диагностика качества модели ==
+:<tex>\beta^{(t+1)} = (X^T W^{(t)} X)^{-1} X^T W^{(t)} X \beta^{(t)} + (X^T W^{(t)} X)^{-1} X^T W^{(t)} D^{(t)} (y - \mu^{(t)})</tex>
-Поскольку в ОЛМ распределение остатков в общем случае не является нормальным, классический [[Коэффициент детерминации|коэффициент детерминации]] <tex> R^2 </0> и обычные остатки не подходят для оценки качества подогнанной модели.
+:<tex>\beta^{(t+1)} = (X^T W^{(t)} X)^{-1} X^T W^{(t)} \left( X \beta^{(t)} + D^{(t)} (y - \mu^{(t)}) \right)</tex>
+Введем вектор псевдооткликов <tex>z^{(t)}</tex> с элементами:
+:<tex>z_i^{(t)} = \eta_i^{(t)} + (y_i - \mu_i^{(t)}) g'(\mu_i^{(t)})</tex>
+Финальная рекуррентная формула полностью совпадает с классическим решением средневзвешенного метода наименьших квадратов на каждой итерации:
+:<tex>\beta^{(t+1)} = (X^T W^{(t)} X)^{-1} X^T W^{(t)} z^{(t)}</tex>
+== Диагностика качества модели ==
+Поскольку в ОЛМ распределение остатков в общем случае не является нормальным, классический [[Коэффициент детерминации|коэффициент детерминации]] <tex>R^2</tex> и обычные остатки не подходят для оценки качества подогнанной модели.
 === Девианс ===
-Адекватность модели оценивается с помощью девианса, который обобщает концепцию суммы квадратов остатков. Масштабированный девианс определяется через логарифм отношения правдоподобий исследуемой модели и «насыщенной» модели (модели, в которой число параметров равно числу наблюдений, то есть <tex> \hat{\mu}_i = y_i </0>):
+Адекватность модели оценивается с помощью девианса, который обобщает концепцию суммы квадратов остатков. Масштабированный девианс определяется через логарифм отношения правдоподобий исследуемой модели и «насыщенной» модели (модели, в которой число параметров равно числу наблюдений, то есть <tex>\hat{\mu}_i = y_i</tex>):
+:<tex>D^* = 2 \left( \ell(\mathrm{saturated}) - \ell(\mathrm{model}) \right)</tex>
-:<tex> D^* = 2 \left( \ell(\mathrm{saturated}) - \ell(\mathrm{model}) \right) </ / При достаточно большом размере выборки масштабированный девианс имеет [[Распределение хи-квадрат|распределение хи-квадрат]] с <tex> n-p </0> степенями свободы, где <tex> p </0> — количество оцениваемых параметров модели.
+При достаточно большом размере выборки масштабированный девианс имеет [[Распределение хи-квадрат|распределение хи-квадрат]] с <tex>n-p</tex> степенями свободы, где <tex>p</tex> — количество оцениваемых параметров модели.
 === Остатки ===
-Вместо стандартных разностей <tex> y_i - \hat{\mu}_i </0> в ОЛМ применяют:
+Вместо стандартных разностей <tex>y_i - \hat{\mu}_i</tex> в ОЛМ применяют:
 * '''Остатки Пирсона''': стандартизируют отклонение с учетом функции дисперсии:
-:<tex> r_P = \frac{y_i - \hat{\mu}_i}{\sqrt{V(\hat{\mu}_i)}} </ / * '''Остатки девианса''': компоненты, из которых складывается суммарный девианс модели. Они имеют распределение, более близкое к нормальному, и чаще используются для визуальной диагностики выбросов.
+:<tex>r_P = \frac{y_i - \hat{\mu}_i}{\sqrt{V(\hat{\mu}_i)}}</tex>
+* '''Остатки девианса''': компоненты, из которых складывается суммарный девианс модели. Они имеют распределение, более близкое к нормальному, и чаще используются для визуальной диагностики выбросов.
 == См. также ==