Механистическая интерпретируемость

Материал из MachineLearning.

(Различия между версиями)

Версия 12:49, 19 июля 2026

Статья написана с использованием LLM GPT-5.6 Terra High и проверена участником Oleg Batsiev 18:21, 11 июля 2026 (MSD).

Промпты и описание редакторской проверки приведены в Обсуждение:Байесовская нейронная сеть.

Содержание

1 Основная идея
2 Источники неопределённости
3 Априорные распределения
4 Почему требуется приближённый вывод
5 Вариационный вывод
6 Bayes by Backprop
7 Монте-Карло dropout
8 Методы Монте-Карло по марковским цепям
9 Сравнение с ансамблями
10 Практическая оценка неопределённости
11 Применения
12 Ограничения
13 Философский аспект
14 См. также
15 Примечания
16 Литература

Байесовская нейронная сеть (англ. Bayesian neural network, BNN) — вероятностная нейронная сеть, в которой неизвестные параметры или часть параметров снабжают априорным распределением и после наблюдения данных рассматривают их апостериорное распределение. Предсказание получают усреднением по этому распределению, а не только подстановкой одного оценённого набора весов.

Байесовская постановка позволяет формально учитывать неопределённость параметров и распространять её в прогноз. Однако она не гарантирует хорошую калибровку, обнаружение произвольных объектов вне обучающего распределения или безопасность решения. Результат зависит от правдоподобия, априорного распределения и качества приближённого вывода.

Основная идея

Пусть $\mathcal D=\{(x_i,y_i)\}_{i=1}^{n}$ — обучающая выборка, а $w$ обозначает веса и смещения сети. В обычном обучении получают одну точечную оценку $\hat w$ , например оценку максимального правдоподобия:

$\hat w_{\mathrm{ML}}=\mathop{\arg\max}_{w}\,p(\mathcal D\mid w).$

В байесовском подходе сначала задают априорное распределение $p(w)$ . После наблюдения выборки оно обновляется по формуле Байеса:

$p(w\mid\mathcal D)=\frac{p(\mathcal D\mid w)p(w)}{p(\mathcal D)},$

где $p(\mathcal D\mid w)$ — правдоподобие, а знаменатель

$p(\mathcal D)=\int p(\mathcal D\mid w)p(w)\,dw$

называют маргинальным правдоподобием, или свидетельством модели (model evidence). Ранние практические схемы байесовского обучения нейронных сетей, включая приближение апостериорного распределения и применение свидетельства, были подробно рассмотрены Маккеем.^[1]

Для нового объекта $x_*$ интерес представляет апостериорное предиктивное распределение:

$p(y_*\mid x_*,\mathcal D)=\int p(y_*\mid x_*,w)p(w\mid\mathcal D)\,dw.$

В классификации $p(y_*\mid x_*,w)$ может быть категориальным распределением, параметры которого задаёт softmax-выход сети. В регрессии сеть может задавать среднее и дисперсию нормального правдоподобия. Следовательно, неопределённость прогноза определяется не только распределением весов, но и выбранной моделью наблюдений.

Источники неопределённости

Алеаторическая неопределённость

Алеаторическая неопределённость (англ. aleatoric uncertainty) связана со случайностью наблюдений, шумом измерения или неполнотой доступных признаков. Даже при известных параметрах модели результат $y$ может оставаться случайным. Такая неопределённость задаётся прежде всего правдоподобием $p(y\mid x,w)$ и не обязана исчезать при увеличении выборки.

В регрессии различают гомоскедастическую модель с общей дисперсией шума и гетероскедастическую модель, в которой сеть предсказывает зависящую от объекта дисперсию. Если правдоподобие принято детерминированным или его дисперсия задана неверно, одно распределение весов не восстановит корректную алеаторическую неопределённость.

Эпистемическая неопределённость

Эпистемическая неопределённость (англ. epistemic uncertainty) отражает недостаточную определённость модели по имеющимся данным. Разные значения $w$ , правдоподобные после обучения, могут давать разные прогнозы. При поступлении репрезентативных данных эта составляющая в принципе может уменьшаться, но только внутри принятого класса моделей.

Для скалярной регрессии закон полной дисперсии даёт модельно-зависимое разложение:

$\operatorname{Var}(y_*\mid x_*,\mathcal D)= \mathbb E_{p(w\mid\mathcal D)}[\operatorname{Var}(y_*\mid x_*,w)] +\operatorname{Var}_{p(w\mid\mathcal D)}(\mathbb E[y_*\mid x_*,w]).$

Первое слагаемое обычно интерпретируют как алеаторическую, второе — как эпистемическую составляющую. Это разложение не является независимой от модели физической истиной: оно зависит от правдоподобия, априора и того, какие параметры включены в $w$ .

Вероятность класса, калибровка и неизвестные объекты

Высокая вероятность выбранного класса не означает автоматически, что модель хорошо откалибрована или что объект похож на обучающие данные. В классификации предиктивная энтропия смешивает несколько источников неопределённости, а расхождение прогнозов при разных выборках весов характеризует только неопределённость, представленную данным апостериорным приближением.

Поэтому байесовскую нейронную сеть следует отдельно проверять на калибровку, качество вероятностного прогноза и поведение при сдвиге распределения. Неудачный априор или слишком узкое приближение $q(w)$ может дать уверенные ответы и на непривычных объектах.

Априорные распределения

Простой выбор — независимый нормальный априор:

$p(w)=\prod_j\mathcal N(w_j\mid 0,\sigma_p^2).$

При нормальном априоре и точечной MAP-оценке отрицательный логарифм априора соответствует квадратичному штрафу на веса. Но полное байесовское усреднение не сводится к такой регуляризации: априор влияет на форму всего апостериорного и предиктивного распределений.

Независимый одинаковый априор для миллионов параметров удобен, но слабо выражает знания о функциях, реализуемых сетью. Влияние масштаба $\sigma_p$ зависит от архитектуры, ширины слоёв и параметризации. Возможны иерархические априоры, разные масштабы для групп параметров и априоры, задаваемые через свойства функций, однако их выбор и вычислительный вывод сложнее.

Почему требуется приближённый вывод

В нейронной сети отображение от весов к выходу нелинейно, а пространство параметров высокоразмерно. Кроме того, перестановки скрытых нейронов и другие симметрии могут создавать несколько эквивалентных областей апостериорного распределения. Поэтому обычно недоступны как нормирующий интеграл $p(\mathcal D)$ , так и точное вычисление предиктивного распределения.

Практические методы строят приближение к $p(w\mid\mathcal D)$ или непосредственно к предиктивному распределению. Важно различать три уровня ошибки: несовершенство самой вероятностной модели, ошибку аппроксимации апостериорного распределения и ошибку конечного числа выборок при оценивании интеграла.

Вариационный вывод

При вариационном выводе выбирают вычислимо удобное семейство $q_\theta(w)$ и минимизируют

$\mathrm{KL}\bigl(q_\theta(w)\,\|\,p(w\mid\mathcal D)\bigr).$

Поскольку истинный апостериор содержит недоступное маргинальное правдоподобие, вместо этого максимизируют нижнюю границу свидетельства — ELBO (англ. evidence lower bound):

$\mathcal L(\theta)= \mathbb E_{q_\theta(w)}[\log p(\mathcal D\mid w)] -\mathrm{KL}\bigl(q_\theta(w)\,\|\,p(w)\bigr).$

Она связана с логарифмом свидетельства тождеством

$\log p(\mathcal D)=\mathcal L(\theta)+ \mathrm{KL}\bigl(q_\theta(w)\,\|\,p(w\mid\mathcal D)\bigr).$

Первое слагаемое ELBO поощряет объяснение данных, а второе штрафует отклонение от априора. Поскольку KL-дивергенция неотрицательна, ELBO действительно является нижней границей $\log p(\mathcal D)$ .

В распространённом среднеполевом приближении веса независимы:

$q_\theta(w)=\prod_j\mathcal N(w_j\mid\mu_j,\sigma_j^2).$

Такое семейство не описывает корреляции и несколько разнесённых мод апостериорного распределения. Минимизация «обратной» дивергенции $\mathrm{KL}(q\|p)$ может сосредоточить приближение около одной моды и недооценить некоторые виды неопределённости. При этом увеличение выразительности вариационного семейства повышает вычислительную стоимость. Практический стохастический вариационный метод для разных архитектур нейросетей предложил Грейвс.^[1]

Bayes by Backprop

Bayes by Backprop — вариант вариационного обучения распределения весов с помощью обратного распространения ошибки. Для диагонального гауссовского приближения можно положить

$\sigma_j=\log(1+\exp(\rho_j)),\qquad w_j=\mu_j+\sigma_j\varepsilon_j,\qquad \varepsilon_j\sim\mathcal N(0,1).$

Репараметризация отделяет источник случайности $\varepsilon_j$ от оптимизируемых параметров $\mu_j$ и $\rho_j$ . Благодаря этому выборочную оценку отрицательной ELBO можно дифференцировать по параметрам вариационного распределения и оптимизировать обычными методами стохастического градиента.^[1]

Метод не получает точное апостериорное распределение: результат ограничен выбранным семейством $q_\theta$ , стохастической оптимизацией и конечным числом выборок. При диагональном гауссовском $q_\theta$ число сохраняемых вариационных параметров весов примерно удваивается относительно точечной сети.

Монте-Карло dropout

Монте-Карло dropout (MC dropout) сохраняет случайные dropout-маски не только при обучении, но и при предсказании. Для объекта выполняют $S$ проходов и усредняют условные прогнозы:

$\widehat p(y_*\mid x_*,\mathcal D)= \frac{1}{S}\sum_{s=1}^{S}p(y_*\mid x_*,w^{(s)}).$

Gal и Ghahramani интерпретировали обучение с dropout как вариационное приближение в связанной вероятностной модели глубокого гауссовского процесса.^[1]

Выборочная дисперсия стохастических выходов измеряет разброс, создаваемый dropout-приближением. Для полной предиктивной дисперсии регрессии к ней необходимо добавить условную дисперсию наблюдений, заданную правдоподобием. Поэтому выражение, содержащее только разброс проходов, нельзя без оговорок называть всей неопределённостью будущего $y_*$ .

MC dropout удобен тем, что может использовать знакомую архитектуру, но остаётся конкретным приближением, зависящим от вероятности dropout, места установки масок, способа обучения и числа проходов. Он не является выборкой из точного апостериорного распределения произвольной сети.

Методы Монте-Карло по марковским цепям

Методы Монте-Карло по марковским цепям (MCMC) строят зависимую последовательность значений $w^{(1)},w^{(2)},\ldots$ , стационарным распределением которой при выполнении условий метода является апостериорное $p(w\mid\mathcal D)$ . После разогрева цепи предиктивный интеграл оценивают усреднением по выборкам.

В отличие от фиксированного среднеполевого семейства, MCMC не требует диагонального гауссовского вида апостериора. Однако асимптотическая корректность не означает, что конечная цепь хорошо исследовала многомодальное высокоразмерное распределение. Для глубоких сетей возникают высокая стоимость вычисления градиентов по всей выборке, автокорреляция, медленное смешивание и необходимость диагностики сходимости. Поэтому MCMC полезен как принципиальный и исследовательский подход, но не всегда практичен для крупной сети.

Сравнение с ансамблями

Ансамбль обычных нейронных сетей получают, независимо обучая несколько точечных моделей с разными инициализациями, порядком объектов или подвыборками данных. Усреднение и разброс их прогнозов могут улучшать качество и давать практически полезный сигнал несогласия.

Различия подходов состоят в следующем:

байесовская сеть начинается с одной вероятностной модели, априора и правила обновления до апостериорного распределения;
ансамбль задаётся процедурой обучения нескольких моделей и не обязан соответствовать выборкам из какого-либо апостериорного распределения;
среднеполевой вариационный метод хранит параметры одного распределения, но ограничивает его форму;
ансамбль может охватывать разные области пространства решений, но требует хранить и запускать несколько сетей;
оба подхода могут быть некалиброванными и давать чрезмерно уверенные прогнозы при сдвиге распределения.

Ни один подход не лучше другого во всех задачах. Сравнивать следует не только точность, но и логарифмическую потерю, калибровку, покрытие предиктивных интервалов, вычислительную стоимость и качество на заранее определённых видах сдвига данных.

Практическая оценка неопределённости

Качество вероятностной модели нельзя установить по ширине интервала или визуально правдоподобному разбросу. В зависимости от задачи проверяют:

отрицательное логарифмическое правдоподобие и другие собственные функции потерь;
калибровку вероятностей классификации;
фактическое покрытие и ширину предиктивных интервалов в регрессии;
качество ранжирования объектов для активного обучения;
поведение на заранее выделенных сдвигах распределения и неизвестных классах;
устойчивость результатов к априору и способу приближённого вывода.

Калибровка внутри исходного распределения не доказывает надёжность вне него. Порог отказа от автоматического решения необходимо проверять на данных, соответствующих реальному сценарию применения.

Применения

Регрессия. Построение предиктивного распределения будущего наблюдения, учитывающего условный шум и неопределённость параметров.
Активное обучение. Выбор объектов, разметка которых ожидаемо уменьшит неопределённость модели или улучшит целевое качество.
Оптимизация эксперимента. Использование предиктивного распределения при выборе следующего измерения или испытания.
Системы с возможностью отказа. Передача случая человеку или резервному алгоритму, если заранее проверенный критерий неопределённости превышает порог.
Сравнение гипотез. Анализ того, насколько вывод чувствителен к весам, априору и доступным данным.

В каждом случае неопределённость является входом для правила принятия решения, а не готовым решением. Необходимо учитывать цену ошибок, изменение распределения, доступность действий и последствия ложного отказа.

Ограничения

Точное апостериорное распределение для практических нейросетей обычно недоступно.
Вариационные семейства могут не отражать корреляции и многомодальность и недооценивать неопределённость.
MCMC может плохо смешиваться и быть вычислительно дорогим.
Априор в пространстве весов не всегда прозрачно задаёт желаемый априор над функциями.
Несколько выборок или моделей увеличивают время предсказания.
Ошибочно заданное правдоподобие и смещённые данные делают даже формально корректный вывод неполным.
Байесовская постановка не заменяет проверку калибровки, качества данных, причинных предположений и последствий решения.

Философский аспект

Байесовская нейронная сеть заменяет единственную «лучшую» параметрическую гипотезу распределением гипотез, относительная правдоподобность которых зависит от данных и априора. Это делает явным различие между точечным ответом и степенью обоснованности ответа внутри модели.

Но апостериорная вероятность условна: она относится к выбранному пространству моделей, правдоподобию и априорному распределению. Если реальные причины не представлены в данных или модель наблюдений неверна, высокая внутренняя уверенность не превращается в знание о мире. Поэтому вероятностная формализация уточняет основания вывода, но не устраняет ответственность за постановку задачи и применение результата.

См. также

Примечания

Литература

MacKay D. J. C. A Practical Bayesian Framework for Backpropagation Networks // Neural Computation. — 1992. — Т. 4. — № 3. — С. 448–472.
Graves A. Practical Variational Inference for Neural Networks // Advances in Neural Information Processing Systems. — 2011. — Т. 24.
Blundell C., Cornebise J., Kavukcuoglu K., Wierstra D. Weight Uncertainty in Neural Network // Proceedings of the 32nd International Conference on Machine Learning. — 2015. — Т. 37. — С. 1613–1622.
Gal Y., Ghahramani Z. Dropout as a Bayesian Approximation: Representing Model Uncertainty in Deep Learning // Proceedings of the 33rd International Conference on Machine Learning. — 2016. — Т. 48. — С. 1050–1059.

Источник — «http://www.machinelearning.ru/wiki/index.php?title=%D0%9C%D0%B5%D1%85%D0%B0%D0%BD%D0%B8%D1%81%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B0%D1%8F_%D0%B8%D0%BD%D1%82%D0%B5%D1%80%D0%BF%D1%80%D0%B5%D1%82%D0%B8%D1%80%D1%83%D0%B5%D0%BC%D0%BE%D1%81%D1%82%D1%8C»

Категории: Машинное обучение | Нейронные сети