Байесовское обучение

Материал из MachineLearning.

Версия от 05:17, 15 июля 2026; Roman Iuкharev (Обсуждение | вклад)

(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)

Статья написана с использованием LLM ChatGPT 5.6 Sol - xhigh и проверена участником Юхарев Роман Андреевич 19:32 14 июля 2026.

Содержание

1 Теорема Байеса
2 Апостериорное предсказание
3 Примеры сопряжённых моделей
- 3.1 Модель Бернулли
- 3.2 Байесовская линейная регрессия
4 Априорное распределение
5 Точечные оценки
6 Неопределённость
7 Свидетельство и сравнение моделей
8 Приближённый вывод
9 Байесовские нейронные сети
10 Проверка и ограничения
11 Типичные ошибки интерпретации
12 См. также
13 Примечания
14 Литература

Байесовское обучение — подход к построению моделей, в котором неизвестные параметры, скрытые переменные и иногда сама структура модели описываются вероятностными распределениями. До наблюдения данных знания задаются априорным распределением, после наблюдения — апостериорным распределением, а предсказание получают усреднением по допустимым значениям неизвестных величин.

В отличие от метода, возвращающего единственный набор параметров, байесовский подход сохраняет распределение правдоподобных объяснений данных. Это позволяет учитывать неопределённость параметров при предсказании, сравнивать модели через маргинальное правдоподобие и формулировать решения с учётом цены ошибок. Практическая точность этих выводов зависит от выбранной модели, априорного распределения и качества вычислительного приближения.

Теорема Байеса

Пусть $D$ — наблюдаемые данные, $\theta$ — неизвестные параметры модели. Байесовская модель задаёт:

априорное распределение $p(\theta)$ ;
правдоподобие $p(D\mid\theta)$ — распределение данных при фиксированном $\theta$ ;
апостериорное распределение $p(\theta\mid D)$ .

По теореме Байеса

$p(\theta\mid D)=\frac{p(D\mid\theta)p(\theta)}{p(D)},$

где нормирующая константа

$p(D)=\int p(D\mid\theta)p(\theta)\,d\theta$

называется маргинальным правдоподобием, свидетельством или evidence. Если $\theta$ дискретна, интеграл заменяется суммой. Равенство часто сокращённо записывают как

$p(\theta\mid D)\propto p(D\mid\theta)p(\theta).$

Априорное распределение описывает допущения до учёта текущих данных. Правдоподобие задаёт механизм наблюдения и шум, а не распределение параметров. Апостериорное распределение объединяет оба источника информации. При последовательном поступлении независимых порций данных $D_1,D_2$ posterior после первой порции становится prior для второй:

$p(\theta\mid D_1,D_2)\propto p(D_2\mid\theta,D_1)p(\theta\mid D_1).$

Апостериорное предсказание

Для нового объекта $x_*$ и ответа $y_*$ предсказательное распределение имеет вид

$p(y_*\mid x_*,D)=\int p(y_*\mid x_*,\theta)p(\theta\mid D)\,d\theta.$

Таким образом, предсказания разных параметров усредняются с апостериорными весами. Для классификации итогом являются вероятности классов, а для регрессии — распределение возможных ответов, из которого можно получить среднее, медиану, квантили и предсказательные интервалы.

Подстановка одной оценки $\hat\theta$

$p(y_*\mid x_*,D)\approx p(y_*\mid x_*,\hat\theta)$

теряет неопределённость параметров. Такое приближение может быть приемлемо при сильно сконцентрированном posterior, но оно не является полным байесовским усреднением.

Примеры сопряжённых моделей

Модель Бернулли

Пусть $y_i\in\{0,1\}$ , $y_i\mid\pi\sim\mathrm{Bernoulli}(\pi)$ , а априорное распределение вероятности успеха равно

$\pi\sim\mathrm{Beta}(a,b).$

Если среди $n$ наблюдений было $s=\sum_i y_i$ успехов, то

$\pi\mid D\sim\mathrm{Beta}(a+s,b+n-s).$

Предсказательная вероятность следующего успеха равна

$p(y_*=1\mid D)=\frac{a+s}{a+b+n}.$

Параметры $a$ и $b$ можно интерпретировать как псевдосчётчики, однако эта интерпретация не заменяет проверки того, насколько Beta-prior соответствует предметным знаниям.

Байесовская линейная регрессия

Рассмотрим

$y=Xw+\varepsilon,\qquad \varepsilon\sim\mathcal N(0,\beta^{-1}I)$

с априорным распределением

$w\sim\mathcal N(m_0,S_0).$

Апостериорное распределение также гауссовское:

$p(w\mid X,y)=\mathcal N(m_N,S_N),$

где

$S_N^{-1}=S_0^{-1}+\beta X^{\mathsf T}X,$

$m_N=S_N(S_0^{-1}m_0+\beta X^{\mathsf T}y).$

Для нового вектора признаков $x_*$

$y_*\mid x_*,D\sim\mathcal N(x_*^{\mathsf T}m_N,\ \beta^{-1}+x_*^{\mathsf T}S_Nx_*).$

В дисперсии предсказания первый член отвечает за шум наблюдений, а второй — за неопределённость коэффициентов. При изотропном prior $\mathcal N(0,\tau^2I)$ максимум апостериорной плотности совпадает с решением L2-регуляризованной линейной регрессии после согласования коэффициентов. Но полное гауссовское posterior содержит больше информации, чем его максимум.

Априорное распределение

Prior является частью модели, а не необязательным украшением. Он может выражать:

допустимый масштаб и знак параметров;
гладкость функции или корреляцию соседних коэффициентов;
разреженность;
симметрии и иерархическую структуру;
знания из предыдущих исследований.

Слабо информативный prior ограничивает неправдоподобные области, не фиксируя узкий диапазон заранее. Информативный prior может заметно влиять на результат даже при умеренном объёме данных. Формально «равномерный» prior зависит от параметризации: распределение, равномерное по $\theta$ , обычно не равномерно по $g(\theta)$ . Неправильный несобственный prior может привести к ненормируемому posterior.

В иерархической модели параметры групп условно распределены через общие гиперпараметры. Например,

$\theta_j\mid\mu,\tau\sim\mathcal N(\mu,\tau^2).$

Данные разных групп тогда частично обмениваются информацией: оценки малых групп стягиваются к общей закономерности, а степень стягивания выводится из данных. Гиперпараметрам $\mu,\tau$ можно задать собственные гиперприоры.

Практика включает априорные предсказательные проверки: из prior генерируют параметры и возможные данные, чтобы обнаружить масштабы или формы, противоречащие предметной области, ещё до обучения.

Точечные оценки

Оценка максимального правдоподобия определяется как

$\hat\theta_{\mathrm{ML}}={\rm arg\,max}_\theta p(D\mid\theta),$

а максимум апостериорной плотности — как

$\hat\theta_{\mathrm{MAP}}={\rm arg\,max}_\theta p(\theta\mid D)={\rm arg\,max}_\theta p(D\mid\theta)p(\theta).$

MAP учитывает prior, но остаётся точечной оценкой. Он не инвариантен к нелинейной перепараметризации плотности и не сохраняет форму posterior. Байесовская оценка для конкретной задачи принятия решений определяется функцией потерь. Например, при квадратичной потере оптимально апостериорное среднее, а при абсолютной — апостериорная медиана.

Поэтому выражение «байесовское обучение» не следует сводить к добавлению регуляризатора. Регуляризованная оптимизация часто имеет MAP-интерпретацию, но полноценный байесовский анализ включает интегрирование по неопределённым величинам и проверку вероятностной модели.

Неопределённость

В задачах машинного обучения часто различают два источника неопределённости.^[1]

Алеаторическая неопределённость связана со случайностью и неоднозначностью наблюдений при фиксированной модели: шумом измерения, перекрытием классов, неполными признаками. Она задаётся правдоподобием и не обязана исчезать при росте выборки.
Эпистемическая неопределённость связана с недостатком знаний о параметрах или модели. В корректно заданной идентифицируемой модели она обычно уменьшается там, где появляется достаточно релевантных данных.

В регрессии закон полной дисперсии даёт разложение

$\mathrm{Var}(y_*\mid x_*,D)=\mathbb E_{p(\theta\mid D)}[\mathrm{Var}(y_*\mid x_*,\theta)]+\mathrm{Var}_{p(\theta\mid D)}[\mathbb E(y_*\mid x_*,\theta)].$

Первый член связывают с ожидаемым шумом наблюдений, второй — с разбросом предсказаний между параметрами. Это разложение зависит от принятой вероятностной модели: оно не создаёт автоматически правильной неопределённости при ошибочном likelihood.

Для классификации используют энтропию апостериорного предсказания

$H[y_*\mid x_*,D]=-\sum_c p(y_*=c\mid x_*,D)\log p(y_*=c\mid x_*,D).$

Она смешивает разные источники неопределённости. Разность между предсказательной энтропией и средней энтропией при фиксированных параметрах выражает взаимную информацию ответа и параметров и часто используется как мера эпистемической неопределённости.

Свидетельство и сравнение моделей

Для модели $M$ маргинальное правдоподобие равно

$p(D\mid M)=\int p(D\mid\theta,M)p(\theta\mid M)\,d\theta.$

Оно усредняет правдоподобие по всему prior, поэтому модель с большой областью параметров, плохо объясняющих данные, может получить меньшее свидетельство, даже если её лучшее решение имеет высокое правдоподобие. Этот эффект иногда называют байесовским штрафом за сложность или Occam factor.^[1]

Апостериорная вероятность модели вычисляется как

$p(M\mid D)\propto p(D\mid M)p(M).$

Отношение свидетельств двух моделей называют фактором Байеса. Оно чувствительно к prior, особенно к его масштабу. Подбор prior после просмотра тех же данных без включения этой процедуры в модель может сделать сравнение чрезмерно оптимистичным.

Часто вместо выбора одной модели выполняют байесовское усреднение моделей: предсказания усредняют по $p(M\mid D)$ . В больших моделях точное вычисление свидетельства обычно недоступно, и результат зависит от приближения.

Приближённый вывод

Точные posterior и predictive доступны лишь для специальных сопряжённых моделей. В остальных случаях применяют приближённые методы.

Аппроксимация Лапласа

Около MAP-точки логарифм posterior заменяют квадратичным разложением. Если $H$ — гессиан отрицательного логарифма posterior в $\hat\theta_{\mathrm{MAP}}$ , то

$p(\theta\mid D)\approx\mathcal N(\hat\theta_{\mathrm{MAP}},H^{-1}).$

Метод локален и может плохо описывать асимметрию, тяжёлые хвосты и несколько мод posterior. Аппроксимации Лапласа используются также для оценивания интегралов и свидетельства.^[1]

Методы Монте-Карло

MCMC строит цепь, стационарным распределением которой является posterior. После диагностики сходимости выборки $\theta^{(1)},\ldots,\theta^{(S)}$ используют для приближения ожиданий:

$\mathbb E[f(\theta)\mid D]\approx\frac{1}{S}\sum_{s=1}^{S}f(\theta^{(s)}).$

Классический алгоритм Метрополиса — Гастингса обобщает выбор предложения и правило принятия.^[1] MCMC асимптотически точно при выполнении условий, но конечные цепи коррелированы, могут плохо смешиваться между модами и требуют диагностики эффективного размера выборки и сходимости.

Вариационный вывод

Вариационный вывод выбирает семейство распределений $q_\phi(\theta)$ и приближает posterior решением оптимизационной задачи. Часто максимизируют нижнюю границу свидетельства (ELBO):

$\mathcal L(\phi)=\mathbb E_{q_\phi(\theta)}[\log p(D\mid\theta)]-\mathrm{KL}(q_\phi(\theta)\|p(\theta)).$

Максимизация ELBO эквивалентна минимизации $\mathrm{KL}(q_\phi(\theta)\|p(\theta\mid D))$ в выбранном семействе. Метод обычно масштабируется лучше MCMC, но ограниченное семейство $q$ и направление KL-дивергенции могут занижать дисперсию или пропускать моды.^[1]

Байесовские нейронные сети

В байесовской нейронной сети распределения задаются для весов или непосредственно для функций. Предсказание требует интегрирования по высокоразмерному posterior, поэтому используются MCMC, вариационные приближения, аппроксимация Лапласа и их масштабируемые варианты. Ранние систематические исследования байесовского обучения нейронных сетей показали связь широких сетей с гауссовскими процессами и возможность усреднения по весам.^[1]

Метод Bayes by Backprop обучает вариационное распределение весов с помощью стохастической оптимизации и репараметризации.^[1] Существуют также приближённые интерпретации dropout и ансамблевые методы, однако не всякая процедура, выдающая несколько предсказаний, является выборкой из определённого байесовского posterior.

Posterior в пространстве весов может содержать множество симметричных мод: перестановка скрытых нейронов иногда не меняет функцию. Поэтому геометрия параметров сложна, а простой независимый гауссовский prior на веса задаёт зависящее от архитектуры распределение функций.

Проверка и ограничения

Байесовская модель не гарантирует корректной неопределённости вне своих предположений. Если семейство правдоподобия не включает реальный механизм данных, posterior может уверенно концентрироваться около лучшего, но неверного приближения. При сдвиге распределения калибровка многих методов оценки неопределённости ухудшается; это требуется проверять на сценариях, близких к применению.^[1]

Проверка анализа включает:

априорные и апостериорные предсказательные проверки;
анализ чувствительности к разумным вариантам prior;
диагностику MCMC или устойчивости вариационного решения;
оценку на отложенных данных с помощью логарифмической потери, Brier score и покрытия интервалов;
отдельные испытания при сдвиге распределения и на объектах вне обучающей области.

Покрытие, близкое к номинальному, не является единственным критерием: чрезмерно широкие интервалы могут иметь хорошее покрытие, но малую практическую ценность. Вероятностный прогноз оценивают одновременно по калибровке и информативности с помощью proper scoring rules.

Типичные ошибки интерпретации

Правдоподобие принимают за вероятность параметров. $p(D\mid\theta)$ и $p(\theta\mid D)$ — разные условные распределения.
MAP называют полным posterior. MAP — одна точка и не передаёт ширину, асимметрию или мультимодальность распределения.
Prior считают несущественным при любом объёме данных. Его влияние зависит от идентифицируемости, размерности, параметризации и соответствия модели данным.
Высокую байесовскую неопределённость ожидают на любом объекте вне распределения. Поведение определяется моделью и prior; без специальных предпосылок уверенность может остаться высокой.
Приближённый вывод считают точным. Вариационное семейство, конечная MCMC-цепь и локальная аппроксимация Лапласа вносят собственную ошибку.
Интервал параметра смешивают с предсказательным интервалом. Последний обычно дополнительно включает шум будущего наблюдения.

См. также

Примечания

Литература

MacKay D. J. C. Bayesian Interpolation // Neural Computation. 1992. Vol. 4, No. 3. P. 415–447.
Neal R. M. Bayesian Learning for Neural Networks. Springer, 1996.
Bishop C. M. Pattern Recognition and Machine Learning. Springer, 2006.
Gelman A. et al. Bayesian Data Analysis. 3rd ed. Chapman and Hall/CRC, 2013.
Murphy K. P. Probabilistic Machine Learning: An Introduction. MIT Press, 2022.
Blei D. M., Kucukelbir A., McAuliffe J. D. Variational Inference: A Review for Statisticians // Journal of the American Statistical Association. 2017. Vol. 112, No. 518. P. 859–877.

Источник — «http://www.machinelearning.ru/wiki/index.php?title=%D0%91%D0%B0%D0%B9%D0%B5%D1%81%D0%BE%D0%B2%D1%81%D0%BA%D0%BE%D0%B5_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5»

Категории: Машинное обучение | Энциклопедия анализа данных