Сходимость по вероятности

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
м (Определение)
(дополнение)
Строка 16: Строка 16:
В результате для каждого элементарного исхода <tex>\omega</tex> последовательность значений имеет вид:
В результате для каждого элементарного исхода <tex>\omega</tex> последовательность значений имеет вид:
-
<center><tex>\{X_n(\omega)\}=(\underbrace{1,0},\underbrace{0,0,1,0},\underbrace{0,0,0,0,0,1,0,0},\ldots)</tex></center>:
+
<center><tex>\{X_n(\omega)\}=(\underbrace{1,0}_2,\underbrace{0,0,1,0}_4,\underbrace{0,0,0,0,0,1,0,0}_8,\ldots)</tex>:</center>
последовательность состоит из серий длин <tex>2,4,8,16,\ldots,2^k,=ldots</tex>, причем в каждой серии на каком-либо одном месте (зависящем от выбранного элементарного исхода) стоит значение 1, а на остальных местах - нули.
последовательность состоит из серий длин <tex>2,4,8,16,\ldots,2^k,=ldots</tex>, причем в каждой серии на каком-либо одном месте (зависящем от выбранного элементарного исхода) стоит значение 1, а на остальных местах - нули.
-
... to be continued...
+
Случайные величины, входящие в серию с номером <tex>k</tex> (длины <tex>2^k</tex>) принимают значение 1 с вероятностью <tex>2^{-k}</tex> и значение 0 с вероятностью <tex>1-2^{-k}</tex>. Из основного определения следует, что данная последовательность сходится по вероятности к случайной величине <tex>X\equiv 0</tex>. При этом ни при одном значении <tex>\omega</tex> последовательность значений <tex>X_n</tex> не сходится к <tex>0</tex>, так как в любой последовательности значений сколь угодно далеко обязательно находятся отстоящие от 0 значения. Однако поскольку длины серий неограниченно возрастают, то вероятность "попасть" на это значение становится сколь угодно малой при выборе элемента последовательности с достаточно большим номером.
 +
 
 +
Заметим, что вместо значения 1 можно выбрать любое другое (в том числе как угодно быстро возрастающее с ростом <tex>n</tex>), и тем самым сделать последовательность математических ожиданий <tex>\mathbb{M}X_n</tex> произвольной (в том числе неограниченной). Данный пример показывает, что сходимость по вероятности не влечет сходимости математических ожиданий (равно как и любых других [[моменты_случайной_величины|моментов]]).
 +
 
 +
Более сильный вид сходимости, который обеспечивает сходимость последовательностей значений к предельному - сходимость почти всюду.
== Литература ==
== Литература ==

Версия 21:15, 6 ноября 2009

Определение

Пусть (\Omega,\mathcal{F},\mathbb{P}) - вероятностное пространство с определёнными на нём случайными величинами X,\; X_n\;(n=1,2,\ldots).

Говорят, что \{X_n\}_{n=1}^{\infty} сходится по вероятности к X, если \forall \varepsilon > 0:

\lim\limits_{n \to \infty} \mathbb{P}(|X_n - X| > \varepsilon) = 0.

Обозначение: X_n \stackrel{\mathbb{P}}{\longrightarrow} X.

Пояснение и пример

Данное свойство означает, что если взять величину X_n с достаточно большим номером, то вероятность значительного отклонения от предельной величины X будет небольшой. Однако важно понимать, что если одновременно (т.е. для одного и того же элементарного исхода \omega) рассмотреть последовательность \{X_n(\omega)\}, то она не обязана сходиться к значению X(\omega), вообще говоря, ни при каком \omega. Т.е. сколь угодно далеко могут находиться сильно отклоняющиеся значения, просто их "не очень много", поэтому вероятность того, что такое сильное отклонение попадет в заданном эксперименте на конкретно заданный номер n, мала.

В качестве примера рассмотрим вероятностное пространство \Omega = [0,1], вероятность - мера Лебега (т.е. вероятность любого интервала равна его длине). Случайные величины зададим следующим образом: для первых двух X_1,X_2 разбиваем \Omega на два интервала [0,\frac{1}{2}) и (\frac{1}{2},1] и определяем X_1 равной 1 на первом интервале и 0 на втором, а X_2 - наоборот, 0 на первом интервале и 1 на втором. Далее берем следующие четыре величины X_3,X_4,X_5,X_6, делим \Omega на четыре непересекающихся интервала длины \frac14 и задаем каждую величину равной 1 на своем интервале и 0 на остальных. Затем рассматриваем следующие 8 величин, делим \Omega на 8 интервалов и т.д.

В результате для каждого элементарного исхода \omega последовательность значений имеет вид:

\{X_n(\omega)\}=(\underbrace{1,0}_2,\underbrace{0,0,1,0}_4,\underbrace{0,0,0,0,0,1,0,0}_8,\ldots):

последовательность состоит из серий длин 2,4,8,16,\ldots,2^k,=ldots, причем в каждой серии на каком-либо одном месте (зависящем от выбранного элементарного исхода) стоит значение 1, а на остальных местах - нули.

Случайные величины, входящие в серию с номером k (длины 2^k) принимают значение 1 с вероятностью 2^{-k} и значение 0 с вероятностью 1-2^{-k}. Из основного определения следует, что данная последовательность сходится по вероятности к случайной величине X\equiv 0. При этом ни при одном значении \omega последовательность значений X_n не сходится к 0, так как в любой последовательности значений сколь угодно далеко обязательно находятся отстоящие от 0 значения. Однако поскольку длины серий неограниченно возрастают, то вероятность "попасть" на это значение становится сколь угодно малой при выборе элемента последовательности с достаточно большим номером.

Заметим, что вместо значения 1 можно выбрать любое другое (в том числе как угодно быстро возрастающее с ростом n), и тем самым сделать последовательность математических ожиданий \mathbb{M}X_n произвольной (в том числе неограниченной). Данный пример показывает, что сходимость по вероятности не влечет сходимости математических ожиданий (равно как и любых других моментов).

Более сильный вид сходимости, который обеспечивает сходимость последовательностей значений к предельному - сходимость почти всюду.

Литература

  1. Биллингсли П. Сходимость вероятностных мер. — пер. с англ. — М.: Наука, 1977.
  2. Ширяев А.Н. Вероятность. — М.: МЦНМО, 2004.