Условная вероятность

Материал из MachineLearning.

Версия от 14:08, 7 июля 2026; Arina Iarovenko (Обсуждение | вклад)

(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)

Условная вероятность — это вероятность одного случайного события при условии, что другое событие уже произошло или принято как известное. Если событие $B$ имеет ненулевую вероятность, то условная вероятность события $A$ при условии $B$ определяется как

$P(A\mid B)=\frac{P(A\cap B)}{P(B)}$

Эта формула означает, что после получения информации о наступлении $B$ рассматриваются только те исходы, в которых $B$ произошло. Среди них измеряется доля исходов, в которых одновременно произошло $A$ . Условная вероятность является одним из базовых понятий теории вероятностей, математической статистики, анализа данных и машинного обучения. Многие задачи предсказания можно понимать как оценивание распределения целевой переменной $Y$ при известных признаках $X$ , то есть как работу с величинами вида $P(Y\mid X)$ или $p(y\mid x)$ .^[1]^[1]^[1]

Содержание

1 Определение
2 Интуитивный смысл условия
3 Связь с формулой полной вероятности и формулой Байеса
4 Условная независимость
5 От событий к случайным величинам
6 Условная вероятность в машинном обучении
7 Истинная вероятность, эмпирическая оценка и модельный прогноз
8 Примеры
9 Типичные ошибки интерпретации
10 Исторический контекст
11 См. также
12 Литература

Определение

Пусть задано вероятностное пространство и пусть $A$ и $B$ — события, причём $P(B)>0$ . Условная вероятность $P(A\mid B)$ определяется формулой

$P(A\mid B)=\frac{P(A\cap B)}{P(B)}$

Здесь $A\cap B$ — событие, состоящее в одновременном наступлении $A$ и $B$ . Деление на $P(B)$ нормирует вероятности внутри события $B$ : после условия $B$ вся масса вероятности рассматривается не на исходном пространстве исходов, а на его части, где $B$ истинно.

Из определения следует правило умножения:

$P(A\cap B)=P(A\mid B)P(B)$

Смысл правила состоит в том, что вероятность совместного наступления двух событий можно разложить на вероятность условия и вероятность второго события внутри этого условия. Аналогично, если $P(A)>0$ , то

$P(A\cap B)=P(B\mid A)P(A)$

В общем случае $P(A\mid B)$ и $P(B\mid A)$ различны. Это различие особенно важно в статистике и машинном обучении, где часто путают вероятность причины при наблюдаемом следствии и вероятность следствия при заданной причине.

Интуитивный смысл условия

Условие в выражении $P(A\mid B)$ означает не причинное воздействие $B$ на $A$ , а изменение доступной информации. До получения условия неопределённость описывается исходным распределением вероятностей. После того как известно, что $B$ произошло, все исходы вне $B$ становятся несовместимыми с наблюдением и исключаются из рассмотрения.

Например, если из набора объектов случайно выбран один объект, событие $A$ может означать, что объект принадлежит некоторому классу, а событие $B$ — что у него есть определённый признак. Вероятность $P(A)$ описывает долю объектов класса $A$ во всей совокупности, а $P(A\mid B)$ — долю объектов класса $A$ только среди объектов с признаком $B$ . Поэтому условная вероятность формализует уточнение неопределённости после добавления информации.

Связь с формулой полной вероятности и формулой Байеса

Пусть события $B_1,\ldots,B_k$ образуют разбиение пространства исходов: ровно одно из них происходит, и каждое имеет положительную вероятность. Тогда для любого события $A$ выполняется формула полной вероятности:

$P(A)=\sum_{i=1}^{k}P(A\mid B_i)P(B_i)$

Эта формула говорит, что общая вероятность $A$ может быть получена как сумма вкладов по нескольким взаимоисключающим случаям. В машинном обучении такой принцип появляется, например, при маргинализации по скрытым классам, латентным переменным или компонентам смеси.

Из правила умножения и формулы полной вероятности следует формула Байеса:

$P(B_j\mid A)=\frac{P(A\mid B_j)P(B_j)}{\sum_{i=1}^{k}P(A\mid B_i)P(B_i)}$

Формула Байеса показывает, как вероятность гипотезы $B_j$ обновляется после наблюдения $A$ . Множитель $P(B_j)$ задаёт априорную вероятность гипотезы, $P(A\mid B_j)$ — правдоподобие наблюдения при этой гипотезе, а знаменатель нормирует вероятности всех гипотез так, чтобы их сумма была равна единице.^[1]^[1]

В байесовской статистике эта формула используется для перехода от априорного распределения параметров к апостериорному распределению после наблюдения данных. В классическом анализе данных она также полезна как способ не путать прямую и обратную условные вероятности.

Условная независимость

Два события $A$ и $C$ называются условно независимыми при условии $B$ , если знание $C$ не меняет вероятность $A$ после того, как уже известно $B$ . При $P(B)>0$ это можно записать как

$P(A\cap C\mid B)=P(A\mid B)P(C\mid B)$

Смысл этого равенства состоит в том, что внутри подпространства, заданного условием $B$ , события $A$ и $C$ ведут себя как независимые. Условная независимость не совпадает с обычной независимостью: две величины могут быть зависимы без условия, но независимы при фиксированном значении третьей величины, и наоборот.

Понятие условной независимости лежит в основе байесовских сетей, графических моделей и многих приближённых вероятностных методов. Оно позволяет разложить сложное совместное распределение на произведение более простых условных распределений.^[1]^[1] В терминах взаимной информации это соответствует нулевой условной взаимной информации.^[1]

От событий к случайным величинам

В задачах анализа данных чаще работают не с отдельными событиями, а со случайными величинами. Если $X$ и $Y$ — дискретные случайные величины, то условная вероятность значения $Y=y$ при условии $X=x$ задаётся как

$P(Y=y\mid X=x)=\frac{P(Y=y,X=x)}{P(X=x)}$

Эта формула является прямым обобщением определения для событий. Она говорит, что распределение $Y$ пересчитывается внутри подмножества наблюдений, где $X=x$ .

Для непрерывных случайных величин событие $X=x$ обычно имеет вероятность ноль, поэтому простое деление на $P(X=x)$ неприменимо. В этом случае используют условные плотности. Если существует совместная плотность $f_{X,Y}(x,y)$ и маргинальная плотность $f_X(x)>0$ , то

$f_{Y\mid X}(y\mid x)=\frac{f_{X,Y}(x,y)}{f_X(x)}$

Здесь $f_{Y\mid X}(y\mid x)$ описывает форму распределения возможных значений $Y$ при фиксированном значении $X=x$ . В более общей теории меры это понятие формализуется через регулярные условные распределения, но в большинстве прикладных задач достаточно понимать условное распределение как распределение целевой величины среди объектов с заданными признаками.^[1]

Условная вероятность в машинном обучении

В машинном обучении условная вероятность служит языком для описания предсказания. В задаче классификации объект описывается признаками $X$ , а ответ — меткой класса $Y$ . Вероятностный классификатор стремится оценить

$P(Y=y\mid X=x)$

Эта величина означает вероятность класса $y$ среди объектов, похожих на объект $x$ по признакам. Если модель выдаёт распределение по классам, то её прогноз можно рассматривать не только как выбор наиболее вероятного класса, но и как оценку неопределённости.

В регрессии аналогичной целью является условное распределение $p(y\mid x)$ . Точечный прогноз, например среднее или медиана, является лишь кратким описанием этого распределения. Полное условное распределение может показывать асимметрию, несколько возможных режимов и различную неопределённость для разных областей пространства признаков.

Вероятностные модели машинного обучения можно условно разделить на генеративные и дискриминативные. Генеративные модели описывают совместное распределение $P(X,Y)$ или $P(X\mid Y)P(Y)$ , а затем получают $P(Y\mid X)$ через формулу Байеса. Дискриминативные модели непосредственно оценивают $P(Y\mid X)$ или функцию, достаточную для выбора класса.^[1]^[1]

Примером генеративного подхода является наивный байесовский классификатор. Он использует предположение об условной независимости признаков при заданном классе:

$P(Y\mid X_1,\ldots,X_d)\propto P(Y)\prod_{j=1}^{d}P(X_j\mid Y)$

Смысл этой формулы состоит в том, что вероятность класса пересчитывается по априорной частоте класса и по тому, насколько наблюдаемые признаки типичны для этого класса. Предположение независимости редко выполняется буквально, но часто даёт простую и устойчивую базовую модель.

В нейронных сетях для классификации выход слоя softmax обычно интерпретируют как модельную оценку $P(Y\mid X)$ . Однако такая оценка не обязана быть хорошо откалиброванной. Исследование Guo et al. показало, что современные нейронные сети могут иметь высокую точность, но завышенную уверенность, а простая температурная калибровка часто улучшает соответствие между предсказанными вероятностями и фактическими частотами.^[1]

Условная вероятность также важна при сдвиге распределения. Если распределение данных на обучении и применении различается, то оценка $P(Y\mid X)$ , полученная на обучающей выборке, может перестать соответствовать реальным частотам. В работе Ovadia et al. было показано, что качество оценок неопределённости и калибровка вероятностей могут существенно ухудшаться при сдвиге данных.^[1]

Современные методы неопределённости, включая конформное предсказание, используют условные и эмпирические идеи для построения интервалов или множеств предсказаний с контролируемым уровнем ошибки. Конформное предсказание не требует точного знания истинного условного распределения, но использует данные для получения гарантий покрытия при определённых предположениях об обменности наблюдений.^[1]

Истинная вероятность, эмпирическая оценка и модельный прогноз

В прикладной работе важно различать три уровня: истинную условную вероятность, её эмпирическую оценку и прогноз модели.

Истинная условная вероятность — это свойство распределения, из которого порождаются данные. Например, $P(Y=1\mid X=x)$ означает реальную вероятность положительного класса среди объектов с признаками $x$ . Обычно она неизвестна: исследователь видит только конечную выборку.

Эмпирическая оценка строится по данным. Для событий $A$ и $B$ естественная частотная оценка имеет вид

$\widehat P(A\mid B)=\frac{n(A\cap B)}{n(B)}$

Здесь $n(B)$ — число наблюдений, где произошло $B$ , а $n(A\cap B)$ — число наблюдений, где произошли оба события. Такая оценка понятна, но может быть нестабильной, если $n(B)$ мало. В пространствах с большим числом признаков точное повторение $X=x$ может вообще почти не встречаться, поэтому требуются сглаживание, параметрические модели, непараметрические методы или регуляризация.

Модельный прогноз — это значение, выдаваемое обученной моделью:

$\hat p_\theta(y\mid x)$

Он зависит от архитектуры модели, признаков, функции потерь, процедуры обучения и обучающей выборки. Даже если модель выдаёт число от 0 до 1, это число не автоматически является истинной вероятностью. Его нужно оценивать по качеству предсказаний, калибровке, устойчивости к сдвигу распределения и поведению на релевантных подгруппах данных.^[1]^[1]

Функция потерь также может иметь вероятностный смысл. Например, отрицательное логарифмическое правдоподобие для одного наблюдения записывается как

$-\log \hat p_\theta(y_i\mid x_i)$

Эта величина штрафует модель сильнее, если она присваивает малую вероятность фактически наблюдённому ответу. Поэтому обучение по log loss стимулирует не только правильный выбор класса, но и осмысленные вероятностные оценки, хотя само по себе не гарантирует идеальной калибровки.

Примеры

Классификация писем

В задаче фильтрации спама событие $Y=1$ может означать, что письмо является спамом, а $X$ — набор признаков письма: слова, отправитель, ссылки, технические признаки заголовков. Классификатор оценивает $P(Y=1\mid X=x)$ . Если модель выдаёт 0,9, корректная интерпретация состоит не в том, что конкретное письмо «на 90 % спам», а в том, что среди писем с похожими признаками ожидаемая доля спама близка к 90 %, если модель хорошо откалибрована.

Оценка клика по рекомендации

В рекомендательных системах часто оценивают вероятность действия пользователя при заданном контексте:

$P(\mathrm{click}=1\mid \mathrm{user},\mathrm{item},\mathrm{context})$

Эта вероятность зависит от пользователя, объекта рекомендации, времени, устройства, позиции в выдаче и других факторов. Ошибка интерпретации возникает, если считать её неизменным свойством товара или пользователя. На самом деле это условная величина: изменение контекста может существенно изменить вероятность клика.

Диагностика качества модели по подгруппам

Пусть $A$ — событие ошибки модели, а $B$ — принадлежность объекта к некоторой подгруппе. Тогда $P(A\mid B)$ описывает частоту ошибок внутри этой подгруппы. Даже если общая ошибка модели мала, условная ошибка на отдельной группе может быть высокой. Поэтому анализ условных вероятностей важен для проверки надёжности и справедливости моделей.

Типичные ошибки интерпретации

Смешение $P(A\mid B)$ и $P(B\mid A)$ . Высокая вероятность признака при заданном классе не означает высокую вероятность класса при наличии признака. Для обратного вывода нужно учитывать базовые частоты через формулу Байеса.

Игнорирование базовой частоты. Если событие редко, то даже сильный индикатор может давать умеренную апостериорную вероятность. В анализе данных это проявляется при работе с редкими классами, мошенничеством, отказами оборудования и медицинскими тестами.

Причинная интерпретация условия. Запись $P(A\mid B)$ сама по себе не означает, что $B$ вызывает $A$ . Она описывает статистическую информацию. Для причинных утверждений нужны дополнительные предположения, экспериментальный дизайн или методы каузального вывода.^[1]

Оценка условной вероятности по слишком малой подвыборке. Если условие $B$ выполняется редко, частотная оценка может иметь большую дисперсию. В таких случаях полезны доверительные интервалы, байесовское сглаживание, объединение похожих групп или более осторожная интерпретация.

Отождествление выхода модели с истинной вероятностью. Вероятностный выход модели является оценкой, а не фактом. Он может быть смещённым, плохо откалиброванным или неприменимым вне распределения обучающих данных.

Незамеченный сдвиг распределения. Условная вероятность, оцененная на исторических данных, может измениться после смены популяции, интерфейса, политики сбора данных или внешней среды. Поэтому модели требуют мониторинга после внедрения.

Утечка данных. Если признаки содержат информацию, недоступную в момент реального предсказания, модель может научиться оценивать не нужную условную вероятность $P(Y\mid X)$ , а искусственную зависимость, созданную процедурой сбора данных. Это приводит к завышенной оценке качества на тестировании и плохой работе в эксплуатации.

Исторический контекст

Идеи условной вероятности возникли в ранней теории шансов, где исследовались азартные игры, страхование и демографические расчёты. В 1763 году была посмертно опубликована работа Томаса Байеса «An Essay towards solving a Problem in the Doctrine of Chances», подготовленная к публикации Ричардом Прайсом. Она содержала рассуждения, которые позднее стали связывать с байесовским обновлением вероятностей.^[1]

Пьер-Симон Лаплас независимо развивал методы обратной вероятности и систематически применял вероятностные рассуждения к статистическим и астрономическим задачам. Его книга «Théorie analytique des probabilités» 1812 года стала одним из ключевых трудов классической вероятностной теории.^[1]

Современная аксиоматическая форма теории вероятностей была дана Андреем Николаевичем Колмогоровым в 1933 году. В этой теории условная вероятность событий с положительной вероятностью определяется через отношение вероятностей, а более тонкие случаи, связанные с условием на событие вероятности ноль, развиваются средствами теории меры.^[1]

В XX и XXI веках условная вероятность стала центральным языком статистического вывода, теории информации, графических моделей и машинного обучения. В современной практике она используется не только для вывода формул, но и для постановки задач: что именно известно на момент прогноза, какое распределение нужно оценить, насколько модельная оценка соответствует реальным частотам и как она меняется при сдвиге данных.

См. также

Литература

Источник — «http://www.machinelearning.ru/wiki/index.php?title=%D0%A3%D1%81%D0%BB%D0%BE%D0%B2%D0%BD%D0%B0%D1%8F_%D0%B2%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D1%8C»

Категории: Теория вероятностей | Машинное обучение