Мультиномиальное распределение зависимых случайных величин

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Технические задачи и технические результаты)
Строка 87: Строка 87:
== Технические задачи и технические результаты ==
== Технические задачи и технические результаты ==
-
Для получения мультиномиального распределения необходимо решить две технические задачи и получить технические результаты, относящиеся к математической
+
Для получения мультиномиального распределения необходимо решить две технические задачи и получить технические результаты, относящиеся к математической физике [1,2].
-
 
+
-
физике [1,2].
+
'''Первая и вторая технические задачи''' — соответственно получение вероятности и математического ожидания мультиномиального распределения.
'''Первая и вторая технические задачи''' — соответственно получение вероятности и математического ожидания мультиномиального распределения.
Строка 100: Строка 98:
При решении второй технической задачи минимально необходимый набор параметров аналогичен предыдущему набору. Исключен из-за ненадобности один параметр — произведение математических ожиданий случайных величин и дополнен двумя параметрами — максимальной вероятностью и максимальной дисперсией мультиномиального распределения.
При решении второй технической задачи минимально необходимый набор параметров аналогичен предыдущему набору. Исключен из-за ненадобности один параметр — произведение математических ожиданий случайных величин и дополнен двумя параметрами — максимальной вероятностью и максимальной дисперсией мультиномиального распределения.
 +
 +
 +
'''Мультиномиальное распределение (полиномиальное распределение) ''' — совместное распределение вероятностей '''зависимых''' (''кроме первой'', в общем случае) случайных величин
 +
 +
:<tex>\prod_{i=1}^kP(t_i,X_i=n_i \mid t_{i-1},X_{i-1}=n_{i-1})=\frac{n!}{n_1! \cdots n_k!} p_1^{n_1}\cdots p_k^{n_k},</tex>
 +
 +
:<tex>2\le k \le n <\infty,</tex>
 +
определённых на точечных пространствах элементарных событий
 +
:<tex>\Omega_1, \ldots, \Omega _k</tex>
 +
 +
и принимающих в дискретные последовательные моменты времени
 +
:<tex>t_1, \ldots, t_k, \quad t_i<t_{i+1}</tex>
 +
 +
целые неотрицательные значения
 +
:<tex>n_1, \ldots, n_k,</tex>
 +
 +
взаимосвязанные условием
 +
:<tex>n_1+\ldots+n_k=n,</tex>
 +
 +
согласно которому
 +
:<tex>X_i=n_i \mid X_{i-1}=n_{i-1}</tex>
 +
 +
в <tex> i</tex> - ый момент времени <tex>i</tex> - ая случайная величина <tex>X _i</tex> принимает значение <tex>n _i, \quad 0\le n_i\le n-\ldots-
 +
 +
n_{i-1}</tex> при условии, что в предшествующий момент времени <tex>t _{i-1}, \quad t_{i-1}<t_i</tex> предшествующая случайная величина <tex>X_{i-1}</tex>.

Версия 11:44, 1 ноября 2013

Мультиномиальное) распределение зависимых случайных величин — это обобщение биномиального распределения двух случайных величин на случай зависимых испытаний случайного эксперимента с несколькими возможными исходами (таблица 1).


Таблица 1 – Характеристики мультиномиального распределения зависимых случайных величин (настоящей интерпретации 21-го века)
Пространство элементарных событий \sum_{i=1}^k\Omega_i(t_i, X_i=n_i \mid t_{i-1},X_{i-1}=n_{i-1})
Вероятность \prod_{i=1}^kP(t_i,X_i=n_i \mid t_{i-1},X_{i-1}=n_{i-1})=

=\frac{n!}{n_1! \cdots n_k!} p_1^{n_1}\cdots p_k^{n_k}

Максимальная вероятность

(при математическом ожидании распределения)

\left(\prod_{i=1}^nP(t_i,X_i=n_i \mid t_{i-1},X_{i-1}=n_{i-1}) \right)_{max}=

=\left(\frac{n!}{n_1! \cdots n_n!} p_1^{n_1}\cdots p_n^{n_n}\right)_{max}=\frac{n!}{n^n}

Математическое ожидание

(как максимальное произведение математических ожиданий

случайных величин)

\left(\prod_{i=1}^nE(t_i,X_i=n_i \mid t_{i-1},X_{i-1}=n_{i-1})\right)_{max}=

=\left(\prod_{i=1}^n(n-\ldots-n_{i-1})p_i)\right)_{max}=\frac{n!}{n^n}

Дисперсия \sum_{i=1}^kD(t_i,X_i=n_i)=\sum_{i=1}^k(n-\ldots-n_{i-1})p_iq_i
Максимальная дисперсия

(при математическом ожидании распределения)

\left(\sum_{i=1}^nD(t_i,X_i =n_i)\right)_{max}=

=\left(\sum_{i=1}^n(n-\ldots-n_{i-1})p_iq_i\right)_{max}=\frac{n^2-1}{2n}

Ковариационная матрица B=\| b_{ij} \|,

где b_{ij} = \begin{cases} (n-\ldots-n_{i-1})p_iq_i, & i=j,\\
0, & i \not= j
\end{cases}

Корреляционная матрица P=\| \rho_{ij} \|,

где \rho _{ij} = \begin{cases} 1, & i=j,\\
0, & i \not= j
\end{cases}

\chi^2 - критерий \chi^2=\sum_{i=1}^k [X_i-(n-\ldots-n_{i-1})p_i^{(0)}]^2/( n-\ldots-n_{i-1})p_i^{(0)}=

=-n+\sum_{i=1}^kX_i^2 /( n-\ldots-n_{i-1})p_i^{(0)}

Схема повторных циклов случайных зависимых экспериментов

Мультиномиальное распределение появляется в так называемой полиномиальной схеме повторных циклов случайных зависимых экспериментов. Каждый цикл экспериментов осуществляют методом выбора без возвращения в дискретной временной последовательности t_1,\ldots,t_k , номера точек которой соответствуют номерам случайных величин.

Каждая из случайных величин распределения X_i=n_i \mid X_{i-1}=n_{i-1} — это число n_i наступлений одного соответствующего события

x_i,\quad i=1,\ldots,k

в  i - ый момент времени при условии, что в (i-1) - ый момент произошло n_{i-1} наступлений предшествующего события x_{i-1} с положительным исходом, все вероятности которых p_i, \quad i=1,\ldots,k нормированы p_1+\ldots+p_k=1 и неизменны во время проведения экспериментов.

Если в каждом цикле экспериментов вероятность наступления события x_i равна p_i, то полиномиальная вероятность равна вероятности того, что при n экспериментах события x_1,\ldots,x_k наступят n_1,\ldots,n_k раз соответственно.

Случайная величина мультиномиального распределения в соответствующей точке дискретной временной последовательности t_1,\ldots,t_k имеет:

пространство элементарных событий

\Omega_i(t_i, X_i=n_i \mid t_{i-1},X_{i-1}=n_{i-1})=[0\le n_i \le n-\ldots-n_{i-1}],

вероятность

P(t_i, X_i=n_i \mid t_{i-1},X_{i-1}=n_{i-1})={n-\ldots-n_{i-1}\choose n_i}p_i^{n_i},

математическое ожидание

E(t_i, X_i=n_i \mid t_{i-1},X_{i-1}=n_{i-1})=(n-\ldots-n_{i-1})p_i

и дисперсию

D(t_i,X_i=n_i)=( n-\ldots-n_{i-1})p_iq_i, \quad q_i=1-p_i.

Пространство элементарных событий мультиномиального распределения есть сумма точечных пространств элементарных событий его случайных величин, образующих дискретную последовательность точек  t_1,\ldots,t_k, цикла, а вероятность мультиномиального распределения — произведение вероятностей его случайных величин.

Технические задачи и технические результаты

Для получения мультиномиального распределения необходимо решить две технические задачи и получить технические результаты, относящиеся к математической физике [1,2].

Первая и вторая технические задачи — соответственно получение вероятности и математического ожидания мультиномиального распределения.

Технические результаты — набор технических параметров, с одной стороны, минимально необходимый для описания мультиномиального распределения и его случайных величин, с другой стороны, позволяющий при необходимости расширить число параметров с целью получения дополнительных сведений о распределении, например, таких как корреляционная матрица, ковариационная матрица , \chi^2 критерий и другие.

Минимально необходимый набор параметров при решении первой технической задачи: пространство элементарных событий,

вероятность, математическое ожидание и дисперсия каждой случайной величины распределения, дисперсия распределения и произведение математических ожиданий его случайных величин как исходное выражение для решения второй технической задачи.

При решении второй технической задачи минимально необходимый набор параметров аналогичен предыдущему набору. Исключен из-за ненадобности один параметр — произведение математических ожиданий случайных величин и дополнен двумя параметрами — максимальной вероятностью и максимальной дисперсией мультиномиального распределения.


Мультиномиальное распределение (полиномиальное распределение) — совместное распределение вероятностей зависимых (кроме первой, в общем случае) случайных величин

\prod_{i=1}^kP(t_i,X_i=n_i \mid  t_{i-1},X_{i-1}=n_{i-1})=\frac{n!}{n_1! \cdots n_k!} p_1^{n_1}\cdots p_k^{n_k},
2\le k \le n <\infty,

определённых на точечных пространствах элементарных событий

\Omega_1, \ldots, \Omega _k

и принимающих в дискретные последовательные моменты времени

t_1, \ldots, t_k, \quad  t_i<t_{i+1}

целые неотрицательные значения

n_1, \ldots, n_k,

взаимосвязанные условием

n_1+\ldots+n_k=n,

согласно которому

X_i=n_i \mid X_{i-1}=n_{i-1}

в  i - ый момент времени i - ая случайная величина X _i принимает значение n _i,  \quad  0\le n_i\le n-\ldots- 
</p><p>n_{i-1} при условии, что в предшествующий момент времени t _{i-1}, \quad t_{i-1}<t_i предшествующая случайная величина X_{i-1}.