Обобщённые линейные модели

Материал из MachineLearning.

Версия от 12:29, 14 июля 2026; Nikita Zinoviсh (Обсуждение | вклад)

(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)

Статья написана с использованием LLM Gemini Pro 3.1 и проверена участником Nikita Zinoviсh 16:30, 14 июля 2026 (MSD)

Обобщённая линейная модель (ОЛМ) — это гибкое обобщение классической линейной регрессии, позволяющее моделировать зависимости для целевых переменных, распределение которых отличается от нормального. Концепция была впервые сформулирована Джоном Нелдером и Робертом Уэддерберном in 1972 году.

В то время как классическая регрессия (включая метод наименьших квадратов) предполагает, что математическое ожидание зависимой переменной является линейной комбинацией предикторов, а ошибки распределены нормально с постоянной дисперсией (гомоскедастичность), ОЛМ позволяет отклику иметь распределение из экспоненциального семейства, а дисперсии — зависеть от математического ожидания. Это позволяет рассматривать логистическую, пуассоновскую и гамма-регрессии как частные случаи единого математического аппарата.

Содержание

1 Структура обобщённой линейной модели
2 Оценка параметров: Метод максимального правдоподобия
- 2.1 Пошаговый вывод уравнений правдоподобия
- 2.2 Итерационно взвешенный метод наименьших квадратов
3 Диагностика качества модели
- 3.1 Девианс
- 3.2 Остатки
4 См. также
5 Литература

Структура обобщённой линейной модели

Любая модель класса ОЛМ строго задаётся через три составляющие:

Случайная компонента: задаёт распределение вероятностей зависимой переменной $Y$ при заданных значениях признаков $X$ . Предполагается, что распределение принадлежит к экспоненциальному семейству.
Систематическая компонента: формирует скалярный линейный предиктор $\eta$ как линейную комбинацию вектора параметров $\beta$ и вектора признаков $x$ .
Функция связи: гладкая, монотонно возрастающая и дифференцируемая функция $g(\cdot)$ , которая связывает математическое ожидание зависимой переменной $\mu = \mathrm{E}[Y|X]$ с линейным предиктором.

Случайная компонента и экспоненциальное семейство

Говорят, что случайная величина $Y$ принадлежит к экспоненциальному семейству, если её плотность (или функция вероятности для дискретных распределений) может быть представлена в каноническом виде:

$f(y; \theta, \phi) = \exp\left( \frac{y\theta - b(\theta)}{a(\phi)} + c(y, \phi) \right)$

где:

$\theta$ — канонический (или естественный) параметр распределения;
$\phi$ — дисперсионный параметр (параметр масштаба);
$b(\theta)$ — кумулянтная функция, форма которой однозначно определяет конкретное распределение из семейства;
$a(\phi)$ и $c(y, \phi)$ — известные функции.

Вывод математического ожидания и дисперсии

Важнейшее свойство экспоненциального семейства состоит в том, что моменты распределения могут быть аналитически выражены через производные функции $b(\theta)$ .

Запишем логарифм функции плотности для одного наблюдения:

$\ln f(y; \theta, \phi) = \frac{y\theta - b(\theta)}{a(\phi)} + c(y, \phi)$

Продифференцируем логарифм плотности по параметру $\theta$ , чтобы получить функцию счёта:

$\frac{\partial \ln f(y; \theta, \phi)}{\partial \theta} = \frac{y - b'(\theta)}{a(\phi)}$

По теореме о регулярности семейства распределений математическое ожидание функции счёта тождественно равно нулю:

$\mathrm{E}\left[ \frac{\partial \ln f(Y; \theta, \phi)}{\partial \theta} \right] = 0$

Подставим сюда наше выражение:

$\mathrm{E}\left[ \frac{Y - b'(\theta)}{a(\phi)} \right] = 0 \implies \frac{\mathrm{E}[Y] - b'(\theta)}{a(\phi)} = 0 \implies \mathrm{E}[Y] = \mu = b'(\theta)$

Таким образом, математическое ожидание $Y$ равно первой производной кумулянтной функции.

Теперь найдём вторую производную логарифма плотности по $\theta$ :

$\frac{\partial^2 \ln f(y; \theta, \phi)}{\partial \theta^2} = -\frac{b''(\theta)}{a(\phi)}$

Используем классическое теоретико-вероятностное тождество для вторых производных:

$\mathrm{E}\left[ \frac{\partial^2 \ln f(Y; \theta, \phi)}{\partial \theta^2} \right] + \mathrm{E}\left[ \left( \frac{\partial \ln f(Y; \theta, \phi)}{\partial \theta} \right)^2 \right] = 0$

Поскольку математическое ожидание функции счёта равно нулю, её второй момент равен её дисперсии:

$\mathrm{E}\left[ \left( \frac{\partial \ln f(Y; \theta, \phi)}{\partial \theta} \right)^2 \right] = \mathrm{D}\left[ \frac{\partial \ln f(Y; \theta, \phi)}{\partial \theta} \right] = \mathrm{D}\left[ \frac{Y - b'(\theta)}{a(\phi)} \right] = \frac{\mathrm{D}[Y]}{a^2(\phi)}$

Подставляя вычисленные компоненты в тождество, получаем:

$-\frac{b''(\theta)}{a(\phi)} + \frac{\mathrm{D}[Y]}{a^2(\phi)} = 0 \implies \mathrm{D}[Y] = b''(\theta) a(\phi)$

Определив функцию дисперсии как вторую производную кумулянтной функции $V(\mu) = b''(\theta)$ , мы получаем финальное выражение для дисперсии:

$\mathrm{D}[Y] = V(\mu) a(\phi)$

Систематическая компонента

Систематическая компонента определяет, как входные признаки $x = (x_1, \dots, x_p)^T$ влияют на модель. Это влияние выражается через скалярный линейный предиктор $\eta$ :

$\eta = \beta_0 + \beta_1 x_1 + \dots + \beta_p x_p = x^T \beta$

где $\beta$ — неизвестный vector параметров, подлежащий оценке.

Функция связи

Функция связи $g$ сопоставляет математическое ожидание $\mu$ линейному предиктору:

$\eta = g(\mu)$

$\mu = g^{-1}(\eta)$

Особое значение имеет каноническая функция связи. Она возникает в том случае, если линейный предиктор приравнивается непосредственно к естественному параметру: $\theta = \eta$ . Это приводит к существенному упрощению уравнений правдоподобия и гарантирует, что модель обладает достаточными статистиками для оценки вектора параметров $\beta$ .

Примеры классических моделей и их канонических функций связи:

Нормальное распределение: $g(\mu) = \mu$ (тождественная функция связи).
Распределение Бернулли: $g(\mu) = \ln\left(\frac{\mu}{1-\mu}\right)$ (логит-функция).
Распределение Пуассона: $g(\mu) = \ln(\mu)$ (логарифмическая функция связи).

Оценка параметров: Метод максимального правдоподобия

Для обучения ОЛМ применяется метод максимального правдоподобия. Пусть дана обучающая выборка из $n$ независимых наблюдений $(x_i, y_i)$ . Логарифм функции правдоподобия имеет вид:

$\ell(\beta) = \sum_{i=1}^n \left( \frac{y_i \theta_i - b(\theta_i)}{a(\phi_i)} + c(y_i, \phi_i) \right)$

Пошаговый вывод уравнений правдоподобия

Для нахождения оценки максимума правдоподобия необходимо вычислить градиент функции $\ell(\beta)$ по параметрам $\beta_j$ и приравнять его к нулю. Применим правило дифференцирования сложной функции:

$\frac{\partial \ell}{\partial \beta_j} = \sum_{i=1}^n \frac{\partial \ell_i}{\partial \beta_j} = \sum_{i=1}^n \frac{\partial \ell_i}{\partial \theta_i} \cdot \frac{\partial \theta_i}{\partial \mu_i} \cdot \frac{\partial \mu_i}{\partial \eta_i} \cdot \frac{\partial \eta_i}{\partial \beta_j}$

Вычислим каждую частную производную по отдельности:

Производная логарифма правдоподобия по каноническому параметру:
$\frac{\partial \ell_i}{\partial \theta_i} = \frac{y_i - b'(\theta_i)}{a(\phi_i)} = \frac{y_i - \mu_i}{a(\phi_i)}$
Производная канонического параметра по математическому ожиданию. Так как $\mu_i = b'(\theta_i)$ , то производная $\frac{\partial \mu_i}{\partial \theta_i} = b''(\theta_i) = V(\mu_i)$ . Соответственно, по теореме о производной обратной функции:
$\frac{\partial \theta_i}{\partial \mu_i} = \frac{1}{V(\mu_i)}$
Производная математического ожидания по линейному предиктору выражается через функцию связи. Так как $\eta_i = g(\mu_i)$ , по теореме о производной обратной функции получаем:
$\frac{\partial \mu_i}{\partial \eta_i} = \frac{1}{g'(\mu_i)}$
Производная линейного предиктора $\eta_i = \sum_{k=0}^p \beta_k x_{ik}$ по весу $\beta_j$ :
$\frac{\partial \eta_i}{\partial \beta_j} = x_{ij}$

Подставим все четыре компонента обратно в цепное правило:

$\frac{\partial \ell_i}{\partial \beta_j} = \frac{y_i - \mu_i}{a(\phi_i)} \cdot \frac{1}{V(\mu_i)} \cdot \frac{\partial \mu_i}{\partial \eta_i} \cdot x_{ij} = \frac{y_i - \mu_i}{a(\phi_i) V(\mu_i)} \frac{\partial \mu_i}{\partial \eta_i} x_{ij}$

Суммируя по всем наблюдениям, мы получаем систему уравнений правдоподобия:

$\sum_{i=1}^n \frac{(y_i - \mu_i)}{a(\phi_i) V(\mu_i)} \frac{\partial \mu_i}{\partial \eta_i} x_{ij} = 0, \quad j=0, 1, \dots, p$

Итерационно взвешенный метод наименьших квадратов

Поскольку полученная система уравнений нелинейна относительно параметров $\beta$ , для её решения применяется метод скоринга Фишера. В рамках ОЛМ метод скоринга Фишера эквивалентен итерационно взвешенному методу наименьших квадратов (ИВМНК).

В методе скоринга Фишера вместо классического гессиана используется Информационная матрица Фишера $\mathcal{I}(\beta)$ , элементы которой представляют собой математическое ожидание вторых производных логарифма правдоподобия, взятых с обратным знаком:

$\mathcal{I}_{jk} = -\mathrm{E}\left[ \frac{\partial^2 \ell}{\partial \beta_j \partial \beta_k} \right] = \mathrm{E}\left[ \left(\frac{\partial \ell}{\partial \beta_j}\right) \left(\frac{\partial \ell}{\partial \beta_k}\right) \right]$

Используя независимость наблюдений и свойства дисперсии, распишем каждый элемент информационной матрицы:

$\mathcal{I}_{jk} = \sum_{i=1}^n \mathrm{E}\left[ \frac{(Y_i - \mu_i)^2}{a^2(\phi_i) V^2(\mu_i)} \left( \frac{\partial \mu_i}{\partial \eta_i} \right)^2 x_{ij} x_{ik} \right]$

Вынося детерминированные величины за знак математического ожидания и учитывая, что $\mathrm{E}[(Y_i - \mu_i)^2] = \mathrm{D}[Y_i] = V(\mu_i) a(\phi_i)$ , получаем:

$\mathcal{I}_{jk} = \sum_{i=1}^n \frac{V(\mu_i) a(\phi_i)}{a^2(\phi_i) V^2(\mu_i)} \left( \frac{\partial \mu_i}{\partial \eta_i} \right)^2 x_{ij} x_{ik} = \sum_{i=1}^n \frac{1}{a(\phi_i) V(\mu_i)} \left( \frac{\partial \mu_i}{\partial \eta_i} \right)^2 x_{ij} x_{ik}$

Введём стандартную параметризацию для масштаба индивидуального наблюдения: $a(\phi_i) = \phi / w_i$ , где $w_i$ — известные веса наблюдений, а $\phi$ — общий параметр дисперсии. Перепишем элементы информационной матрицы:

$\mathcal{I}_{jk} = \frac{1}{\phi} \sum_{i=1}^n w_i \frac{1}{V(\mu_i)} \left( \frac{\partial \mu_i}{\partial \eta_i} \right)^2 x_{ij} x_{ik}$

Определим диагональную матрицу весов $W$ размера $n \times n$ с элементами:

$W_{ii} = \frac{w_i}{V(\mu_i) \left( g'(\mu_i) \right)^2}$

Тогда вся информационная матрица Фишера в компактном матричном виде запишется как:

$\mathcal{I}(\beta) = \frac{1}{\phi} X^T W X$

Аналогично запишем вектор градиента логарифма правдоподобия $U(\beta)$ :

$U(\beta) = \frac{1}{\phi} X^T W D (y - \mu)$

где $D$ — диагональная матрица, содержащая производные функции связи на диагонали: $D_{ii} = g'(\mu_i)$ .

Шаг обновления параметров в методе Фишера задаётся уравнением:

$\beta^{(t+1)} = \beta^{(t)} + \left( \mathcal{I}(\beta^{(t)}) \right)^{-1} U(\beta^{(t)})$

Подставляя матричные представления, мы видим, что общий дисперсионный параметр $\phi$ сокращается:

$\beta^{(t+1)} = \beta^{(t)} + (X^T W^{(t)} X)^{-1} X^T W^{(t)} D^{(t)} (y - \mu^{(t)})$

Раскроем слагаемые, представив $\beta^{(t)}$ через единичную матрицу $(X^T W^{(t)} X)^{-1} (X^T W^{(t)} X)$ :

$\beta^{(t+1)} = (X^T W^{(t)} X)^{-1} X^T W^{(t)} X \beta^{(t)} + (X^T W^{(t)} X)^{-1} X^T W^{(t)} D^{(t)} (y - \mu^{(t)})$

$\beta^{(t+1)} = (X^T W^{(t)} X)^{-1} X^T W^{(t)} \left( X \beta^{(t)} + D^{(t)} (y - \mu^{(t)}) \right)$

Введем вектор псевдооткликов $z^{(t)}$ с элементами:

$z_i^{(t)} = \eta_i^{(t)} + (y_i - \mu_i^{(t)}) g'(\mu_i^{(t)})$

Финальная рекуррентная формула полностью совпадает с классическим решением средневзвешенного метода наименьших квадратов на каждой итерации:

$\beta^{(t+1)} = (X^T W^{(t)} X)^{-1} X^T W^{(t)} z^{(t)}$

Диагностика качества модели

Поскольку в ОЛМ распределение остатков в общем случае не является нормальным, классический коэффициент детерминации $R^2$ и обычные остатки не подходят для оценки качества подогнанной модели.

Девианс

Адекватность модели оценивается с помощью девианса, который обобщает концепцию суммы квадратов остатков. Масштабированный девианс определяется через логарифм отношения правдоподобий исследуемой модели и «насыщенной» модели (модели, в которой число параметров равно числу наблюдений, то есть $\hat{\mu}_i = y_i$ ):

$D^* = 2 \left( \ell(\mathrm{saturated}) - \ell(\mathrm{model}) \right)$

При достаточно большом размере выборки масштабированный девианс имеет распределение хи-квадрат с $n-p$ степенями свободы, где $p$ — количество оцениваемых параметров модели.

Остатки

Вместо стандартных разностей $y_i - \hat{\mu}_i$ в ОЛМ применяют:

Остатки Пирсона: стандартизируют отклонение с учетом функции дисперсии:

$r_P = \frac{y_i - \hat{\mu}_i}{\sqrt{V(\hat{\mu}_i)}}$

Остатки девианса: компоненты, из которых складывается суммарный девианс модели. Они имеют распределение, более близкое к нормальному, и чаще используются для визуальной диагностики выбросов.

См. также

Литература

Воронцов К. В. Математические методы обучения по прецедентам (теория обучения машин). — М.: МФТИ, 2007.
Айвазян С. А., Мхитарян В. С. Прикладная статистика и основы эконометрики. — М.: ЮНИТИ, 1998.
McCullagh, P., Nelder, J. A. Generalized Linear Models, 2nd ed. Chapman and Hall/CRC, 1989.
Hastie, T., Tibshirani, R., Friedman, J. The Elements of Statistical Learning: Data Mining, Inference, and Prediction. Springer, 2009.

Источник — «http://www.machinelearning.ru/wiki/index.php?title=%D0%9E%D0%B1%D0%BE%D0%B1%D1%89%D1%91%D0%BD%D0%BD%D1%8B%D0%B5_%D0%BB%D0%B8%D0%BD%D0%B5%D0%B9%D0%BD%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8»