Математическое ожидание

Материал из MachineLearning.

Версия от 09:19, 19 мая 2010; Riabenko (Обсуждение | вклад)
(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)
Перейти к: навигация, поиск

Математическое ожидание — мера среднего значения случайной величины в теории вероятностей и математической статистике. В зарубежной литературе обозначается через \mathbb{E}[X] (например, от англ. Expected value или нем. Erwartungswert), в русской M[X] (возможно, от англ. Mean value).

Содержание

Определение

Пусть задано вероятностное пространство (\Omega,\mathcal{F},\mathbb{P}) и определённая на нём случайная величина X. Тогда, если существует интеграл Лебега от X по пространству \Omega, то он называется математическим ожиданием, или средним значением, и обозначается M[X] или \mathbf{E}[X].

M[X]=\int\limits_{\Omega}\! X(\omega)\, \mathbb{P}(d\omega).

Основные формулы для математического ожидания

  • Если F_X(x) — функция распределения случайной величины, то её математическое ожидание задаётся интегралом Лебега — Стилтьеса:
M[X]=\int\limits_{-\infty}^{\infty}\!x\, dF_X(x).

Математическое ожидание дискретного распределения

  • Если X — дискретная случайная величина, имеющая распределение
\mathbb{P}(X=x_i) = p_i,\; \sum\limits_{i=1}^{\infty} p_i = 1,

то прямо из определения интеграла Лебега следует, что

M[X]=\sum\limits_{i=1}^{\infty} x_i\, p_i.

Математическое ожидание целочисленной величины

  • Если X — положительная целочисленная случайная величина (частный случай дискретной), имеющая распределение вероятностей
\mathbb{P}(X=j) = p_i,\; j=0,1,...;\quad \sum\limits_{j=0}^{\infty} p_j = 1

то её математическое ожидание может быть выражено через производящую функцию последовательности \{p_i\}

P(s)=\sum_{k=0}^\infty\;p_k s^k

как значение первой производной в единице: M[X] = P'(1). Если математическое ожидание X бесконечно, то \lim_{s\to 1}P'(s)=\infty и мы будем писать P'(1)=M[X]=\infty

Теперь возьмём производящую функцию Q(s) последовательности «хвостов» распределения \{q_k\}

q_k=\mathbb{P}(X>j)=\sum_{j=k+1}^\infty{p_j};\quad Q(s)=\sum_{k=0}^\infty\;q_k s^k.

Эта производящая функция связана с определённой ранее функцией P(s) свойством: Q(s)=\frac{1-P(s)}{1-s} при |s|<1. Из этого по теореме о среднем (формуле конечных приращений) следует, что математическое ожидание равно просто значению этой функции в единице:

M[X]=P'(1)=Q(1)

Математическое ожидание абсолютно непрерывного распределения

M[X]=\int\limits_{-\infty}^{\infty}\! x f_X(x)\, dx.

Математическое ожидание случайного вектора

Пусть X=(X_1,\dots,X_n)^{\top}:\:\Omega \to \mathbb{R}^n — случайный вектор. Тогда по определению

M[X]=(M[X_1],\dots,M[X_n])^{\top},

то есть математическое ожидание вектора определяется покомпонентно.

Математическое ожидание преобразования случайной величины

Пусть g:\:\mathbb{R}\to \mathbb{R} — борелевская функция, такая что случайная величина Y = g(X) имеет конечное математическое ожидание. Тогда для него справедлива формула:

M\left[g(X)\right] = \sum\limits_{i=1}^{\infty} g(x_i) p_i,

если X имеет дискретное распределение;

M\left[g(X)\right] = \int\limits_{-\infty}^{\infty}\!g(x) f_X(x)\, dx,

если X имеет абсолютно непрерывное распределение.

Если распределение \mathbb{P}^X случайной величины X общего вида, то

M\left[g(X)\right] = \int\limits_{-\infty}^{\infty}\!g(x)\, \mathbb{P}^X(dx).

В специальном случае, когда g(X)=X^k, Математическое ожидание M\left[g(X)\right]=M[X^k] называется k-тым моментом случайной величины.

Простейшие свойства математического ожидания

  • Математическое ожидание числа есть само число.
M[a] = a
a \in \mathbb{R} — константа;
  • Математическое ожидание линейно, то есть
M[aX+bY] = aM[X]+bM[Y],
где X,Y — случайные величины с конечным математическим ожиданием, а a,b\in \mathbb{R} — произвольные константы;
  • Математическое ожидание сохраняет неравенства, то есть если 0 \leq X \leq Y почти наверное, и Y — случайная величина с конечным математическим ожиданием, то математическое ожидание случайной величины X также конечно, и более того
0 \leq M[X] \leq M[Y];
  • Математическое ожидание не зависит от поведения случайной величины на событии вероятности нуль, то есть если X = Y почти наверное, то
M[X]=M[Y].
  • Математическое ожидание произведения двух независимых случайных величин X,Y равно произведению их математических ожиданий
M[XY] = M[X]M[Y].

Дополнительные свойства математического ожидания

  • Неравенство Маркова.

Пусть случайная величина X:\:\Omega \to \mathbb{R} определена на вероятностном пространстве (\Omega, \mathcal{F},\mathbb{P}), и её математическое ожидание конечно. Тогда

\mathbb{P}\left(|X| \geq a\right) \leq \frac{M[X]}{a},

где a>0.

  • Теорема Леви о монотонной сходимости.

Пусть \{X_n\}_{n=1}^{\infty} — монотонная последовательность неотрицательных почти наверное интегрируемых случайных величин. Тогда

\mathbb{E}\left[\lim\limits_{n\to \infty} X_n\right] = \lim\limits_{n\to\infty} \mathbb{E}X_n.
  • Теорема Лебега о мажорируемой сходимости.

Пусть есть сходящаяся почти наверное последовательность случайных величин: X_n\to X почти наверное. Пусть в дополнение существует интегрируемая случайная величина Y, такая что \forall n\in\mathbb{N}\quad|X_n|\leq Y почти наверное. Тогда случайные величины X_n,\;X интегрируемы и

\lim\limits_{n\to\infty}\mathbb{E}X_n=\mathbb{E}X.
  • Тождество Вальда.

Пусть X_1,...,X_N — независимые одинаково распределенные случайные величины. N — также является случайной величиной имеющей дискретное распределение и принимающая положительные целые значения. Далее, X_i и N должны иметь конечное математическое ожидание и N должно быть независимым от X_i. Тогда

\mathbb{E}\left(\sum_{i=1}^{N}X_i\right)=\mathbb{E}(N)\mathbb{E}(X).
  • Лемма Фату.

Пусть есть неотрицательная последовательность интегрируемых случайных величин \{X_n\}_{n=1}^{\infty}. Тогда выполняется следующее неравенство для нижних пределов:

\mathbb{E}\left[{\liminf\limits_{n\to \infty}}X_n\right] \le {\liminf\limits_{n\to \infty}} \,\mathbb{E} X_n.

Примеры

  • Пусть случайная величина имеет дискретное равномерное распределение, то есть \mathbb{P}(X = x_i) = \frac{1}{n},\; i=1,\ldots, n. Тогда её математическое ожидание
M[X] = \frac{1}{n} \sum\limits_{i=1}^n x_i

равно среднему арифметическому всех принимаемых значений.

  • Пусть случайная величина имеет непрерывное равномерное распределение на интервале [a,b], где a<b. Тогда её плотность имеет вид f_X(x) = \frac{1}{b-a} \mathbf{1}_{[a,b]}(x) и математическое ожидание равно
M[X] = \int\limits_{a}^b\!\frac{x}{b-a}\, dx = \frac{a+b}{2}.
\int\limits_{-\infty}^{\infty}\!xf_X(x)\, dx = \infty,

то есть математическое ожидание X не определено.

Литература

  • В.Феллер Глава XI. Целочисленные величины. Производящие функции // Введение в теорию вероятностей и её приложения = An introduction to probability theory and its applicatons, Volume I second edition. — 2-е изд. — М.: Мир, 1964. — С. 270—272.