Распределение Бернулли

Материал из MachineLearning.

Версия от 12:28, 17 июля 2026; Aliia Latipova (Обсуждение | вклад)

(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)

Перейти к: навигация, поиск

Статья написана с использованием LLM DeepSeek и проверена участником Aliia Latipova 23:50, 16 июля 2026 (MSD)

Распределение Бернулли

Распределение Бернулли (англ. Bernoulli distribution) — дискретное распределение вероятностей, моделирующее результат одного случайного эксперимента с двумя возможными исходами, условно называемыми «успех» и «неудача». Это фундаментальное распределение лежит в основе большого числа статистических моделей, включая биномиальное, категориальное распределение и логистическую регрессию.

Формальное определение

Пусть задано вероятностное пространство $(\Omega, \mathcal{F}, \mathbb{P})$ и случайная величина $X$ , которая может принимать только два значения: $0$ и $1$ . Распределение $X$ называется распределением Бернулли с параметром $p \in [0,1]$ , если вероятность того, что $X=1$ , равна $p$ , а вероятность $X=0$ равна $1-p$ :

$\mathbb{P}(X = 1) = p, \qquad \mathbb{P}(X = 0) = 1-p.$

Функция вероятности (массовая функция) имеет вид

$f(x; p) = p^{x}(1-p)^{1-x}, \quad x = 0, 1,$

с условием $0^0 = 1$ при $p=0$ или $p=1$ . Параметр $p$ интерпретируется как вероятность «успеха». Пространство элементарных исходов состоит из двух точек, соответствующих значениям $0$ и $1$ .

Основные числовые характеристики

Для случайной величины $X \sim \mathrm{Bernoulli}(p)$ :

Математическое ожидание: $\mathbb{E}[X] = p$ .
Дисперсия: $\mathrm{Var}(X) = p(1-p)$ .
Производящая функция моментов: $M_X(t) = \mathbb{E}[e^{tX}] = 1 - p + p e^{t}, \quad t \in \mathbb{R}$ .
Характеристическая функция: $\varphi_X(t) = \mathbb{E}[e^{itX}] = 1 - p + p e^{it}, \quad t \in \mathbb{R}$ .
Моменты произвольного порядка: $\mathbb{E}[X^k] = p$ для всех $k \ge 1$ .

Распределение Бернулли является единственным распределением на двухточечном множестве $\{0,1\}$ , полностью определяемым своим первым моментом.

Связь с другими распределениями и экспоненциальным семейством

Распределение Бернулли принадлежит экспоненциальному семейству с естественным параметром $\theta = \ln\frac{p}{1-p}$ (логит-преобразование). В канонической форме:

$f(x; \theta) = \exp\{ x\theta - \ln(1 + e^\theta) \}, \quad x = 0, 1,$

где $\ln(1+e^\theta)$ — логарифмическая статистическая сумма (нормировочный множитель).

Связь с биномиальным распределением: сумма $n$ независимых одинаково распределённых величин $X_i \sim \mathrm{Bernoulli}(p)$ имеет биномиальное распределение $\mathrm{Bin}(n, p)$ . Таким образом, Бернулли — частный случай биномиального при $n=1$ .

Связь с категориальным распределением: при числе категорий $K=2$ категориальное распределение сводится к распределению Бернулли (с точностью до перекодировки категорий в значения $0$ и $1$ ).

Связь с распределением Пуассона: хотя непосредственной параметрической связи нет, биномиальное распределение (а следовательно, и суммы Бернулли) сходится к пуассоновскому при $n \to \infty$ , $p \to 0$ , $np \to \lambda$ :

$\mathrm{Bin}(n, p) \to \mathrm{Poisson}(\lambda),$

где сходимость понимается в смысле сходимости по распределению. Само распределение Бернулли может рассматриваться как вырожденный случай распределения Пуассона, усечённого до значений $0$ и $1$ , но такая связь не является стандартной.

Сопряжённое априорное распределение: для параметра $p$ естественным сопряжённым априорным является бета-распределение $\mathrm{Beta}(\alpha, \beta)$ . Если $p \sim \mathrm{Beta}(\alpha, \beta)$ , то апостериорное распределение после наблюдения выборки $\mathbf{x} = (x_1,\dots,x_n)$ имеет вид

$p \mid \mathbf{x} \sim \mathrm{Beta}\left(\alpha + \sum_{i=1}^n x_i,\; \beta + n - \sum_{i=1}^n x_i\right).$

Это свойство широко используется в байесовском выводе.

Оценивание параметра $p$

Пусть имеется выборка $X_1,\dots,X_n$ независимых одинаково распределённых величин $X_i \sim \mathrm{Bernoulli}(p)$ . Рассмотрим основные методы оценивания.

Метод моментов

Приравнивание выборочного первого момента к теоретическому даёт оценку

$\hat{p}_{\mathrm{MM}} = \bar{X} = \frac{1}{n}\sum_{i=1}^n X_i.$

Метод максимального правдоподобия (ММП)

Функция правдоподобия:

$L(p; \mathbf{x}) = \prod_{i=1}^n p^{x_i}(1-p)^{1-x_i} = p^{n\bar{x}}(1-p)^{n(1-\bar{x})}.$

Логарифмическое правдоподобие:

$\ell(p) = n\bar{x}\ln p + n(1-\bar{x})\ln(1-p).$

Максимизация по $p$ (при $0<\bar{x}<1$ ) даёт

$\hat{p}_{\mathrm{MLE}} = \bar{X}.$

При $\bar{x}=0$ или $\bar{x}=1$ оценка ММП совпадает с граничными значениями $0$ или $1$ соответственно.

Свойства оценки (при $0<p<1$ ):

Несмещённость: $\mathbb{E}[\hat{p}_{\mathrm{MLE}}] = p$ .
Состоятельность: $\hat{p}_{\mathrm{MLE}} \to p$ по вероятности (по усиленному закону больших чисел).
Асимптотическая нормальность: $\sqrt{n}(\hat{p}_{\mathrm{MLE}} - p) \to \mathcal{N}(0, p(1-p))$ по распределению.
Эффективность: оценка достигает границы Крамера–Рао, поскольку информация Фишера для одного наблюдения равна

$I(p) = \mathbb{E}\left[ \left( \frac{\partial}{\partial p} \ln f(X;p) \right)^2 \right] = \frac{1}{p(1-p)},$

и дисперсия оценки $\mathrm{Var}(\hat{p}_{\mathrm{MLE}}) = \frac{p(1-p)}{n}$ совпадает с нижней границей при выполнении условий регулярности (дифференцируемость по $p$ и носитель, не зависящий от параметра).

Байесовское оценивание

При априорном распределении $p \sim \mathrm{Beta}(\alpha, \beta)$ апостериорное распределение (как указано выше) является бета-распределением. В качестве точечной оценки часто используют апостериорное среднее (при квадратичной функции потерь):

$\hat{p}_{\mathrm{Bayes}} = \frac{\alpha + \sum x_i}{\alpha + \beta + n}.$

При $\alpha=\beta=1$ (равномерный приор) оценка совпадает с оценкой ММП, но со сглаживанием: $\hat{p} = \frac{\sum x_i + 1}{n+2}$ (правило Лапласа).

Применения в машинном обучении

Распределение Бернулли служит базовой моделью для бинарных откликов и признаков.

Моделирование бинарных признаков: в наивном байесовском классификаторе для бинарных данных каждый признак $j$ моделируется распределением Бернулли с параметром $p_{j|y}$ , зависящим от класса $y$ . Оценка параметров производится по ММП с аддитивной регуляризацией.

Логистическая регрессия является обобщением: отклик $Y_i \mid X_i$ имеет распределение Бернулли с вероятностью успеха $p_i = \sigma(\beta^\top X_i)$ , где $\sigma(\cdot)$ — сигмоидная функция. Параметры $\beta$ оцениваются методом максимального правдоподобия (или байесовски), что эквивалентно минимизации логистической потери.

A/B-тестирование: при сравнении двух вариантов (контроль и лечение) конверсия каждого пользователя моделируется как Бернулли с неизвестными вероятностями. Для статистического вывода применяют как классические критерии (z-тест для пропорций), так и байесовские подходы с бета-приорами.

Байесовская оптимизация и многорукие бандиты: в задачах Beta-Bernoulli bandits (например, алгоритм Томпсона) награда от каждого действия распределена по Бернулли с неизвестной вероятностью успеха; априорное распределение — бета, апостериорное обновляется после каждого наблюдения. Это обеспечивает адаптивный выбор действий с сублокинейным сожалением^[1].

Современные обобщения и непараметрические методы

Классическое распределение Бернулли параметризуется одним скалярным параметром. В последние десятилетия развиты его обобщения, в том числе:

Бета-процесс Бернулли (Beta-Bernoulli process) — непараметрический байесовский подход, использующийся для моделирования бесконечных множеств бинарных признаков. В этой конструкции каждая случайная мера порождается бета-процессом, а затем индуцируется распределение Бернулли для каждого признака. Это позволяет обрабатывать данные с потенциально бесконечным числом латентных признаков и применяется в тематическом моделировании, матричной факторизации и анализе текстов^[1].

Обобщённые распределения Бернулли с дополнительными параметрами, учитывающими передисперсию (например, бета-биномиальное распределение) или корреляцию между признаками.

Эти направления активно развиваются в рамках байесовской статистики и непараметрического моделирования, расширяя классическую теорию, но сохраняя распределение Бернулли как краеугольный элемент для бинарных данных.

Примечания

Литература

Капелько В. А. Теория вероятностей и математическая статистика. — М.: Издательство МГУ, 2015. — ISBN 978-5-211-06789-1
Murphy K. P. Machine Learning: A Probabilistic Perspective. — Cambridge, MA: MIT Press, 2012. — ISBN 978-0-262-01802-9
Bishop C. M. Pattern Recognition and Machine Learning. — New York: Springer, 2006. — ISBN 978-0-387-31073-2
Teh Y. W., Jordan M. I., Beal M. J., Blei D. M. Hierarchical Dirichlet Processes // Journal of the American Statistical Association. — 2006. — Т. 101. — № 476. — С. 1566–1581.

Источник — «http://www.machinelearning.ru/wiki/index.php?title=%D0%A0%D0%B0%D1%81%D0%BF%D1%80%D0%B5%D0%B4%D0%B5%D0%BB%D0%B5%D0%BD%D0%B8%D0%B5_%D0%91%D0%B5%D1%80%D0%BD%D1%83%D0%BB%D0%BB%D0%B8»

Категории: Теория вероятностей | Машинное обучение | Статистические распределения

Распределение Бернулли

Материал из MachineLearning.

Содержание

Распределение Бернулли

Формальное определение

Основные числовые характеристики

Связь с другими распределениями и экспоненциальным семейством

Оценивание параметра $p$

Метод моментов

Метод максимального правдоподобия (ММП)

Байесовское оценивание

Применения в машинном обучении

Современные обобщения и непараметрические методы

Примечания

Литература

Просмотры

Личные инструменты

Навигация

Поиск

Инструменты