Мультиномиальное распределение с равновероятными успехами испытаний Бернулли

Материал из MachineLearning.

Перейти к: навигация, поиск
Уважаемые коллеги!

Эта статья изобилует грубыми математическими ошибками (начиная с непонимания самой сути математического доказательства), как и другие статьи того же автора:

Удалить это безобразие и забанить автора — самое простое решение. Есть и другой вариант — попробовать помочь всем миром и написать коллективную рецензию, объяснив автору его ошибки. Для этого есть страницы Обсуждений статей и Обсуждение участника:Vitsemgol. Это большая работа, непосильная для одного человека, но для сообщества вполне осуществимая. Коллеги, давайте отнесёмся к проблеме как к исследованию. Есть несколько открытых вопросов, которые бросают нам вызов. Упрощает ли Вики задачу интегрирования «непризнанного гения» в профессиональное сообщество? Способен ли человек, ворвавшийся в чужой монастырь со своим уставом, покаяться и услышать, что ему скажут? Откликнется ли хоть кто-то из сообщества? Хватит ли нам всем терпимости? Это добрый эксперимент, дорогие коллеги! Как Администратор, предупреждаю: увижу «войну правок», эмоции и прочие проявления непрофессионализма — прекращу эксперимент как неудачный и удалю всё. — К.В.Воронцов 02:52, 4 ноября 2013 (MSK)


Содержание

Определение

Мультиномиальное распределение с равновероятными успехами испытаний Бернулли — совместное распределение вероятностей зависимых (кроме первой) случайных величин

\prod_{i=1}^kP(t_i,X_i=n_i \mid t_{i-1},X_{i-1}=n_{i-1})=\frac{n!}{n_1! \cdots n_k!}k^{-n},
i=1,\ldots, k,\quad 2\le k \le n <\infty,

определённых на точечных пространствах элементарных событий

\Omega_1, \ldots, \Omega _k

и принимающих в дискретные последовательные моменты времени

t_1, \ldots, t_k, \quad t_i<t_{i+1}

с равновероятными успехами соответствующих Бернулли распределений

p_1= \ldots =p_k=k^{-1}, \quad p_1+\ldots +p_k=1,


целые неотрицательные значения

n_1, \ldots, n_k,

взаимосвязанные условием

n_1+\ldots+n_k=n,

согласно которому

X_i=n_i \mid X_{i-1}=n_{i-1}

в i - ый момент времени i - ая случайная величина X _i принимает значение n _i,\quad 0\le n_i\le n-\ldots- n_{i-1} при условии, что в предшествующий момент времени n _{i-1},\quad t_{i-1}<t_i предшествующая случайная величина X_{i-1} приняла значение n _{i-1}, \quad 0\le n_{i-1}\le n-\ldots-n_{i-2}.

Схема повторных циклов случайных зависимых экспериментов с равновероятными успехами испытаний Бернулли

Мултиномиальное распределение появляется в так называемой мультиномиальной схеме повторных циклов случайных зависимых экспериментов. Каждый цикл экспериментов осуществляют методом выбора без возвращения в дискретной временной последовательности t_1,\ldots,t_k , номера точек которой соответствуют номерам случайных величин.

Каждая из случайных величин распределения X_i=n_i|X_{i-1}=n_{i-1} — это число n_i наступлений одного соответствующего события

x_i,\quad i=1,\ldots,k

в i - ый момент времени при условии, что в (i-1) - ый момент произошло n_{i-1} наступлений предшествующего события x_{i-1} с положительным исходом, все вероятности которых равны p_1=\ldots=p_k, нормированы p_1+\ldots+p_k=1 и неизменны во время проведения экспериментов.

Если в каждом цикле экспериментов вероятность наступления события x_i равна p_i, то полиномиальная вероятность равна вероятности того, что при n экспериментах события x_1,\ldots,x_k наступят n_1,\ldots,n_k раз соответственно.

Случайная величина мультиномиального распределения в соответствующей точке дискретной временной последовательности t_1,\ldots,t_k имеет:

пространство элементарных событий

\Omega_i(t_i, X_i=n_i \mid t_{i-1},X_{i-1}=n_{i-1})=[0\le n_i \le n-\ldots-n_{i-1}],

вероятность

P(t_i, X_i=n_i \mid t_{i-1},X_{i-1}=n_{i-1})={n-\ldots-n_{i-1}\choose n_i}k^{-1},

математическое ожидание

E(t_i, X_i=n_i \mid t_{i-1},X_{i-1}=n_{i-1})=(n-\ldots-n_{i-1})k^{-1}

и дисперсию

D(t_i,X_i=n_i)=(n-\ldots-n_{i-1})\frac{k-1}{k^2}.

Пространство элементарных событий мультиномиального распределения есть сумма точечных пространств элементарных событий его случайных величин, образующих дискретную последовательность точек t_1,\ldots,t_k, цикла, а вероятность мультиномиального распределения — произведение вероятностей его случайных величин.

Технические задачи и технические результаты

Для получения мультиномиального распределения необходимо решить две технические задачи и получить технические результаты, относящиеся к математической физике (http://ru.wikipedia.org/wiki/Математическая физика),[1]

Первая и вторая технические задачи — соответственно получение вероятности и математического ожидания мультиномиального распределения.

Технические результаты — набор технических параметров, с одной стороны, минимально необходимый для описания мультиномиального распределения и его случайных величин, с другой стороны, позволяющий при необходимости расширить число параметров с целью получения дополнительных сведений о распределении, например, таких как корреляционная матрица, ковариационная матрица , \chi^2 -квадрат критерий и другие.

Минимально необходимый набор параметров при решении первой технической задачи: пространство элементарных событий, вероятность, математическое ожидание и дисперсия каждой случайной величины распределения, дисперсия распределения и произведение математических ожиданий его случайных величин как исходное выражение для решения второй технической задачи.

При решении второй технической задачи минимально необходимый набор параметров аналогичен предыдущему набору. Исключен из-за ненадобности один параметр — произведение математических ожиданий случайных величин и дополнен двумя параметрами — максимальной вероятностью и максимальной дисперсией мультиномиального распределения.

Характеристики мультиномиального распределения с равновероятными успехами испытаний Бернулли

Таблица 1 – Характеристики мультиномиального распределения с равновероятными успехами испытаний Бернулли
Пространство элементарных событий \sum_{i=1}^k\Omega_i(t_i, X_i=n_i \mid t_{i-1},X_{i-1}=n_{i-1})
Вероятность \prod_{i=1}^kP(t_i,X_i=n_i \mid t_{i-1},X_{i-1}=n_{i-1})=\frac{n!}{n_1! \cdots n_k!} k^{-n}
Максимальная вероятность

(при математическом ожидании распределения)

\left(\prod_{i=1}^nP(t_i,X_i=n_i \mid t_{i-1},X_{i-1}=n_{i-1}) \right)_{max}==\left(\frac{n!}{n_1! \cdots n_n!}k^{-n}\right)_{max}=\frac{n!}{n^n}
Математическое ожидание

(как максимальное произведение математических ожиданий

случайных величин)

\left(\prod_{i=1}^nE(t_i,X_i=n_i \mid t_{i-1},X_{i-1}=n_{i-1})\right)_{max}=\left(\prod_{i=1}^n(n-\ldots-n_{i-1})k^{-1}\right)_{max}=\frac{n!}{n^n}
Дисперсия \sum_{i=1}^kD(t_i,X_i \mid t_{i-1},X_{i-1})=\sum_{i=1}^k(n-\ldots-n_{i-1})\frac{k-1}{k^2}
Максимальная дисперсия

(при математическом ожидании распределения)

\left(\sum_{i=1}^nD(t_i,X_i=n_i)\right)_{max}=\left(\sum_{i=1}^n(n-\ldots-n_{i-1})\frac{k-1}{k^2}\right)_{max}=\frac{n^2-1}{2n}
Ковариационная матрица B=\| b_{ij}\|, где

b_{ij}=\begin{cases} (n-\ldots-n_{i-1})\frac{k-1}{k^2}, & i=j,\\ 0, & i \not= j, \end{cases}

Корреляционная матрица P=\| \rho_{ij} \|, где

\rho _{ij} = \begin{cases} 1, & i=j,\\ 0, & i \not= j \end{cases}

\chi^2 - критерий \chi^2=\sum_{i=1}^k [X_i-(n-\ldots-n_{i-1})p_i^{(0)}]^2/( n-\ldots-n_{i-1})p_i^{(0)}==-n+\sum_{i=1}^kX_i^2 /( n-\ldots-n_{i-1})p_i^{(0)}

Вероятностная схема получения мультиномиального распределения с равновероятными успехами испытаний Бернулли

содержит циклы повторных зависимых экспериментов. Количество циклов не ограничено. В каждом цикле число экспериментов равно числу случайных величин распределения и в общем случае только первый эксперимент является независимым, а все последующие эксперименты в цикле зависимы от результатов предшествующих экспериментов. Все эксперименты осуществляют методом выбора без возвращения — изъятые элементы не возвращают на свое прежнее место до полного окончания данного цикла.

Случайные события – выборки случайных объемов n_i, \quad i=1,\ldots,k, \quad \sum_{i=1}^kn_i=n осуществляют из n - множества различимых (различающиеся между собой хотя бы одним признаком, например, порядковым номером) неупорядоченных (хаотично расположенных) элементов и следуют в последовательные моменты времени t_i,\quad i=1,\ldots,t_k.

Число выборок k, \quad 2\le k\le n<\infty равно числу случайных величин распределения.

Случайные величины X_i, \quad i=1,\ldots,k распределения — появления случайного числа элементов n - множества в n_i - подмножествах n_i,\quad i=1,\ldots,k, с вероятностями p_i каждого из них.

Попадание одного произвольного элемента n - множества в одно из n_i - подмножеств — независимое событие — испытание Бернулли с положительным исходом; вероятности этих испытаний равны p_1=\ldots=p_k, нормированы p_1+\ldots+p_k=1 и неизменны во время проведения повторных зависимых экспериментов.

Один цикл повторных зависимых экспериментов, осуществляемых методом выбора без возвращения — последовательность k выборок случайных объёмов n_1,\ldots,n_k, обработка результатов разделения n - множества на n_i - подмножества, i=1,\ldots,k в последовательные моменты времени t_1, \ldots, t_k и возврат всех n изъятых элементов на прежнее место к началу следующего цикла.

Совместное проявление вероятностей попадания k выборок случайных объёмов n_1,\ldots,n_k в k подмножеств в одном цикле экспериментов — вероятность мультиномиального распределения с равновероятными успехами испытаний Бернулли.

Урновая модель получения мультиномиального распределения с равновероятными успехами испытаний Бернулли

Состав: одна исходная урна и k приёмных урн. Объем каждой из них не менее объёма исходной урны.

Нумерация приёмных урн соответствует нумерации случайных величин мультиномиального распределения.

В начальный момент времени t_0 исходная урна содержит n - множество различимых неупорядоченных элементов, а все приёмные урны пусты.

В первый момент времени t_1 из исходной урны осуществляют первую выборку n_1, 0\le n_1\le n случайного объёма и направляют её в первую приёмную урну с вероятностью p_1=k^{-1} каждого элемента.

Во второй момент времени t_2 из оставшихся n-n_1 различимых неупорядоченных элементов исходной урны осуществляют вторую выборку n_2,0\le n_2\le{n-n_1} случайного объёма и направляют её во вторую приёмную урну с вероятностью p_2=k^{-1} каждого элемента.

И так далее.

Наконец, в k - ый момент времени все элементы n_k=n-\ldots-n_{k-1}, оставшиеся в исходной урне, направляют в k - ую приёмную урну с вероятностью p_k=k^{-1} каждого.

В результате исходная урна пуста, а все её элементы n_1, \ldots, n_k размещены в приёмных урнах. После обработки результатов разбиения исходного n - множества на k - подмножеств все элементы из приёмных урн возвращают в исходную урну.

На этом один цикл повторных зависимых экспериментов закончен, и урновая модель готова к проведению следующего аналогичного цикла.

Произведение вероятностей попадания элементов n_1, \ldots, n_k исходного множества в приёмные урны есть вероятность мультиномиального распределения с равновероятными успехами испытаний Бернулли.

Способ получения вероятностей мультиномиального распределения с равновероятными успехами испытаний Бернулли

Этот способ относится к техническим задачам разделения дискретного целого на составные части случайных объёмов.

Целым является множество дискретных элементов, различимых (хотя бы одним признаком, например, порядковыми номерами) и не упорядоченных (хаотично расположенных): 2\le n < \infty .

Составные части — дискретные подмножества 2\le k \le n < \infty , в сумме равные объёму множества.

Разделение множества на подмножества осуществляют выборками без возвращения.

Выборки следуют во времени одна за другой.

В начальный момент времени t_0 , не обязательно равный нулю t_0 \ne 0, множество содержит n, 2\le n < \infty различимых неупорядоченных элементов.

В первый момент времени t_1 из n-множества осуществляют первую выборку случайного объёма n_1, 0 \le n_1 \le n с вероятностью p_1=k^{-1} каждого её элемента.

Вероятность первой случайной величины P_1(t_1,\quad X_1=n_1) мультиномиального распределения определяется числом сочетаний {n \choose n_1} из n по n_1, умноженным на вероятность p_1 выбора одного элемента, возведённую в степень числа n_1 выбранных элементов:

P_1(t_1, X_1=n_1)={n \choose n_1}p_1^{n_1}={n \choose n_1}k^{-n_1}.

Во второй момент времени t_2 из оставшихся n-n_1 элементов исходного множества осуществляют вторую выборку случайного объёма n_2,0 \le n_2 \le n-n_1 с вероятностью p_2=k^{-n_1} каждого её элемента.

Вероятность второй случайной величины при условии, что в первый момент времени вероятность первой случайной величины мультиномиального распределения приняла значение P(t_1,\quad X_1=n_1), определяется числом сочетаний {n-n_1 \choose n_2} из n-n_1 по n_2, умноженным на вероятность p_2 выбора одного её элемента, возведённую в степень числа n_2=k^{-n_2} выбранных элементов:

P_2(t_2, X_2=n_2 \mid t_1,X_1=n_1)={n-n_1 \choose n_2}k^{-n_2}.

И так далее.

В i-ый момент времени из оставшихся n-n_{i-1} элементов исходного множества осуществляют i-ую выборку случайного объёма n_i, 0 \le n_i \le n-n_{i-1} с вероятностью p_i=k^{-i} каждого её элемента. Вероятность i-ой случайной величины при условии, что в i-1-ый момент времени вероятность i-1-ой случайной величины мультиномиального распределения приняла значение P_{i-1}(t_{i-1},\quad X_{i-1}=n_{i-1}), определяется числом сочетаний {n-n_{i-1} \choose n_i} из n-n_{i-1} по n_i, умноженным на вероятность p_i=k^{-1} выбора одного её элемента, возведённую в степень числа n_i выбранных элементов:

P_i(t_i, X_i=n_i \mid t_{i-1},X_{i-1})={n-n_{i-1}\choose n_i}k^{-n_i}.

Произведение всех вероятностей есть вероятности мультиномиального распределения с равновероятными успехами испытаний Бернулли — совместное распределение вероятностей зависимых (кроме первой) случайных величин

\prod_{i=1}^kP_i(t_i,X_i=n_i \mid t_{i-1},X_{i-1}=n_{i-1})=\frac{n!}{n_1! \cdots n_k!}k^{-n},
\sum_{i=1}^kn_i=n, \quad \sum_{i=1}^kp_i=1.

В частном случае, когда число случайных величин k=2 равно двум, имеют место вероятности биномиального распределения с равновероятными успехами испытаний Бернулли

\prod_{i=1}^2P_i(t_i,X_i=n_i \mid t_{i-1},X_{i-1}=n_{i-1})=\frac{n!}{n_1!n_2!}2^{-n},
\sum_{i=1}^2n_i=n, \quad \sum_{i=1}^2p_i=1.

Способ получения математического ожидания мультиномиального распределения с равновероятными успехами испытаний Бернулли

Этот способ относится к техническим задачам разделения дискретного целого на составные части и отличается от способа получения вероятностей мультиномиального распределения интерпретации 21-го века тем, что число выборок k равно числу n элементов исходного множества k=n и каждая выборка имеет единичный объём: n_i=1,\quad i=1, \ldots, n, \quad k=n .

Целым является множество дискретных элементов, различимых (хотя бы одним признаком, например, порядковыми номерами) и не упорядоченных (хаотично расположенных): 2\le n < \infty .

Составные части — дискретные подмножества 2\le k \le n < \infty , в сумме равные объёму множества.

Разделение множества на подмножества осуществляют выборками без возвращения.

Выборки следуют во времени одна за другой.

В начальный момент времени t_0 , не обязательно равный нулю t_0 \ne 0, множество содержит n, 2\le n < \infty различимых неупорядоченных элементов.

В первый момент времени t_1 из n-множества осуществляют первую выборку n_1=1 единичного объёма с вероятностью p_1=n^{-1}.

Вероятность первой случайной величины P_1(t_1, X_1=n_1=1) мультиномиального распределения определяется числом сочетаний {n \choose n_1} из n по n_1=1, умноженным на вероятность p_1=n^{-1} выбора одного элемента:

P_1(t_1, X_1=n_1=1)={n \choose n_1}p_1={n \choose 1}n^{-1}=\frac{n}{n}.

Во второй момент времени t_2 из оставшихся n-n_1 элементов исходного множества осуществляют вторую выборку n_2=1 единичного объёма с вероятностью p_2=n^{-1}.

Вероятность второй случайной величины P_2(t_2, X_2=n_2=1) при условии, что в первый момент времени вероятность первая случайная величина мультиномиального распределения приняла значение P_1(t_1, X_1=n_1=1), определяется числом сочетаний {n-n_1 \choose n_2} из n-n_1 по n_2=1, умноженным на вероятность p_2=n^{-1} выбора одного элемента:

P_2(t_2, X_2=n_2=1 \mid t_1,X_1=n_1=1)={n-n_1 \choose n_2}p_2={n-n_1 \choose 1}n^{-1}=\frac{n-1}{n}.

И так далее.

В i-ый момент времени из оставшихся n-n_{i-1} элементов исходного множества осуществляют i-ую выборку n_i=1 единичного объёма с вероятностью p_i=n^{-1}.

Вероятность i-ой случайной величины P_i(t_i, X_i=n_i=1) при условии, что в i-1-ый момент времени вероятность i-1-ой случайной величины мультиномиального распределения приняла значение P_{i-1}(t_{i-1}, X_{i-1}=n_{i-1}=1), определяется числом сочетаний {n-n_{i-1} \choose n_i} из n-n_{i-1} по n_i=1, умноженным на вероятность p_i=n^{-1} выбора одного элемента:

P_i(t_i, X_i=n_i=1 \mid t_{i-1},X_{i-1}=1)=
={n-n_{i-1}\choose n_i}p_i={n-n_{i-1}\choose 1}n^{-1}=\frac {n-n_{i-1}}{n}.

Произведение всех вероятностей есть математическое ожидание мультиномиального распределения с равновероятными успехами испытаний Бернулли — совместное распределение вероятностей зависимых (кроме первой) случайных величин

\prod_{i=1}^nP_i(t_i,X_i=n_i=1 \mid t_{i-1},X_{i-1}=n_{i-1}=1)=\frac{n!}{n^n},
\sum_{i=1}^nn_i=n, \quad \sum_{i=1}^np_i=1.

Причём, математическое ожидание мультиномиального распределения с равновероятными успехами испытаний Бернулли полностью совпадает с математическим ожиданием мультиномиального распределения интерпретации 21-го века.

В частном случае, когда число случайных величин k=2 равно двум и множество содержит два элемента n=2, имеет место математическое ожидание биномиального распределения с равновероятными успехами испытаний Бернулли , которое полностью совпадает с математическим ожиданием биномиального распределения интерпретации 21-го века.

\prod_{i=1}^2P_i(t_i,X_i=n_i \mid t_{i-1},X_{i-1}=n_{i-1})=\frac{1}{2},
\sum_{i=1}^2n_i=n, \quad \sum_{i=1}^2p_i=1.

Два варианта получения математического ожидания мультиномиального распределения с равновероятными успехами испытаний Бернулли:

или как максимум произведения математических ожиданий случайных величин мультиномиального распределения,

или как максимум вероятности мультиномиального распределения.

Необходимые и достаточные условия в обоих вариантах одни и те же.

Необходимые условия

n=k, \qquad n_i=1, \qquad 0<p_i<1, \qquad i=1,\ldots,n.

Достаточные условия

p_1=\ldots=p_n=n^{-1}.

Математическое ожидание и максимальная вероятность мультиномиального распределения с равновероятными успехами испытаний Бернулли соответственно

\left(\prod_{i=1}^nE(t_i,X_i=n_i \mid t_{i-1},X_{i-1}=n_{i-1})\right)_{max}=\left(\prod_{i=1}^n(n-\ldots-n_{i-1})p_i)\right)_{max}=\frac{n!}{n^n},
\left(\prod_{i=1}^nP(t_i,X_i=n_i \mid t_{i-1},X_{i-1}=n_{i-1}) \right)_{max}=\left(\frac{n!}{n_1! \cdots n_n!} p_1^{n_1}\cdots p_n^{n_n}\right)_{max}=\frac{n!}{n^n},

максимальная дисперсия

\left(\sum_{i=1}^nD(t_i,X_i \mid t_{i-1},X_{i-1}\right)_{max}=\left(\sum_{i=1}^n(n-\ldots-n_{i-1})p_iq_i\right)_{max}=\frac{n^2-1}{2n},

пространство элементарных событий

\sum_{i=1}^n\Omega_i(t_i, X_i=n_i=1 \mid t_{i-1}, X_{i-1}=n_{i-1}=1),

расположенное в точках t_1,\ldots,t_n временной последовательности. Число случайных величин распределения равно n и каждая случайная величина принимает единичное значение: X_i=n_i=1, i=1,\ldots,n.

Характеристики случайных величин при получении математического ожидании мультиномиального распределения с равновероятными успехами испытаний Бернулли:

пространство элементарных событий

\Omega_i(t_i, X_i=n_i=1)=[n_j=1, j=1,\ldots,n-i+1], \qquad i=1,\ldots,n,

вероятность

P(t_i, X_i=n_i=1 \mid t_{i-1},X_{i-1}=n_{i-1}=1)= {n-i+1\choose n_i}{p_i^{n_i}}=\frac{n-i+1}{n},

математическое ожидание

E(t_i,X_i=n_i=1 \mid t_{i-1},X_{i-1}=n_{i-1}=1)=\frac{n-i+1}{n},

дисперсия

D(t_i,X_i\mid t_{i-1},X_{i-1})=(n-i+1)p_iq_i=(n-i+1)\frac{n-i}{n^2}.

Урновая модель получения математического ожидания мультиномиального распределения с равновероятными успехами испытаний Бернулли

содержит одну исходную урну и n приёмных урн единичных объемов. Нумерация приёмных урн соответствует нумерации случайных величин распределения.

В начальный момент времени t_0 исходная урна содержит n - множество различимых неупорядоченных элементов, а все приёмные урны пусты.

В первый момент времени t_1 из исходной урны осуществляют первую выборку единичного объёма n_1=1 и направляют её в первую приёмную урну с вероятностью p_1=n^{-1}.

Во второй момент времени t_2 из исходной урны, содержащей n-1 элементов осуществляют вторую выборку единичного объёма n_2=1 и направляют её во вторую приёмную урну с вероятностью p_2=n^{-1}.

И так далее.

Наконец, в последний, n - ый момент времени из исходной урны, содержащей один элемент n-\ldots-n_{n-1}=1, направляют его в n - ую приемную урну с вероятностью p_n=n^{-1}.

В результате исходная урна пуста, а все её n элементов по одному размещены в приёмных урнах.

После обработки результатов разбиения исходного n - множества на n - подмножеств все элементы из приёмных урн возвращают в исходную урну.

На этом один цикл повторных зависимых экспериментов закончен, и урновая модель готова к проведению следующего аналогичного цикла.

Произведение вероятностей попадания по одному произвольному элементу исходного n - множества в n приёмных урн есть математическое ожидание мультиномиального распределения с равновероятными успехами испытаний Бернулли.

Локальные экстремумы математического ожидания мультиномиального распределения с равновероятными успехами испытаний Бернулли

Мультиномиальное распределение в окрестности своего математического ожидания (таблица 2, строка 2) имеет локальные экстремумы и вероятности, и дисперсии.

Таблица 2 – Локальные экстремумы математического ожидания мультиномиального распределения с равновероятными успехами испытаний Бернулли
Значения восьми случайных величин Вероятность Дисперсия Экстремумы
1 1 1 1 1 1 1 1 0.240×10-2 3.937 Математическое ожидание
2 1 1 1 1 1 1 0 0.120×10-2 3.172
2 2 1 1 1 1 0 0 0.600×10-3 2.625
2 2 2 1 1 0 0 0 0.300×10-3 2.297
2 2 2 2 0 0 0 0 0.150×10-3 2.187 1-й локальный минимум
3 1 1 1 1 1 0 0 0.400×10-3 2,516 1-й локальный максимум
3 2 1 1 1 0 0 0 0.200×10-3 2.078
3 2 2 1 0 0 0 0 0.100×10-3 1.859
3 3 2 1 0 0 0 0 0.334×10-4 1.641 2-й локальный минимум
4 1 1 1 1 0 0 0 0.100×10-3 1.969 2-й локальный максимум
4 2 1 1 0 0 0 0 0.500×10-4 1.641
4 2 2 0 0 0 0 0 0.250×10-4 1.531
4 2 2 0 0 0 0 0 0.250×10-4 1.531
4 3 1 0 0 0 0 0 0.167×10-5 1.422
4 4 0 0 0 0 0 0 0.417×10-5 1.312 3-й локальный минимум
5 1 1 1 0 0 0 0 0.200×10-4 1.531 3-й локальный максимум
5 2 1 0 0 0 0 0 0.100×10-4 1.312
5 3 0 0 0 0 0 0 0.334×10-5 1.203
6 1 1 0 0 0 0 0 0.334×10-5 1.203
6 2 0 0 0 0 0 0 0.167×10-5 1.094
7 1 0 0 0 0 0 0 0.477×10-6 0.984
8 0 0 0 0 0 0 0 0.596×10-7 0.875

Локальные максимумы и минимумы

Локальные максимумы и минимумы мультиномиального распределения с равновероятными успехами испытаний Бернулли полностью совпадают с локальными максимумами и минимумами мультиномиального распределения интерпретации 21-го века.

Локальные максимумы (жирный шрифт) соответствуют таким числовым значениям случайных величин, когда одна из них имеет значение, отличное от единичного, а остальные принимают единичные значения. При этом, чем меньшее значение, отличное от единичного, принимает одна случайная величина и чем больше единичных значений принимают остальные случайные величины распределения, тем ближе локальный максимум к математическому ожиданию мультиномиального распределения. В пределе, когда все случайные величины принимают единичные значения (при условии k=n), имеет место математическое ожидание мультиномиального распределения с равновероятными успехами испытаний Бернулли.

При математическом ожидании мультиномиального распределения максимальна и дисперсия мультиномиального распределения, а максимальная вероятность мультиномиального распределения численно равна математическому ожиданию мультиномиального распределения.

Локальные минимумы (наклонный шрифт), как правило, расположены между локальными максимумами и уменьшаются по мере удаления от математического ожидания мультиномиального распределения. Исключение составляют комбинации, предшествующие локальному максимуму и имеющие равные знаменатели мультиномиального (полиномиального) коэффициента (строки 4 и 5 снизу: 5!3!=6!1!1! и 0!=1!=1).

Определение локальных экстремумов основано на вычислении вероятностей мультиномиального распределения. При этом все комбинации значений случайных величин равно возможны и вероятность каждой из них равна n^{-n} . В частности, в таблице 1 n=k=8 , n^{-n}=8^{-8} . Вероятность мультиномиального распределения, у которого, например, (таблица 1, 3-я строка сверху: 22111100) две случайные величины имеют числовые значения 2, четыре случайные величины имеют числовые значения 1 и две случайные величины имеют числовые значения 0 и которые могут быть расположены в произвольном порядке, определяется по формуле

\frac{n!}{n_1!\cdots n_n!} n^{-n}=\frac{8!}{2!2!1!1!1!1!0!}8^{-8}=\frac{8!}{2!2!}8^{-8}=0,600x10^{-3}, \quad n_1+\ldots+n_n=n.

Аналогично рассчитываются вероятности мультиномиального распределения для всех других комбинаций случайных величин.

Мультиномиальное распределение как процесс выполнения взаимосвязанных действий над объектами

Объекты: множество, его подмножества и их элементы как объективная реальность, существующая вне нас и независимо от нас. Мультиномиальное распределение это:

  • случайный процесс безвозвратного разделения во времени t_1,\ldots, t_k, \quad 2\le k\le n и в пространстве конечного n- множества различимых неупорядоченных элементов (2\le n<\infty),
  • разделение множества осуществляют выборками без возвращения (изъятые из множества элементы не возвращают обратно во множество до полного окончания экспериментов),
  • сумма объёмов всех выборок равна объёму исходного множества \sum _{i=1}^k n_i =n, при этом только одна из выборок может иметь случайный объём в пределах всего объёма исходного множества 0\le n_i\le n,
  • попадания одного произвольного элемента множества в одно из подмножеств принимают за успешно завершившееся событие соответствующего Бернулли распределения 0\le p_i<1, \quad i=1,\ldots,k\le n,
  • вероятности 0\le p_i<1, \quad i=1,\ldots,k\le n успешно завершившихся событий всех Бернулли распределения принимают за неизменные в процессе разбиения множества и нормируют их \sum _{i=1}^k p_i =1 согласно аксиоматике Колмогорова,
  • очерёдность следования выборок принимают за нумерацию случайных величин X_1, \ldots, X_k полиномиального распределения,
  • случайный объём каждой выборки n_i, \quad i=1,\ldots, k\le n в момент времени t_i принимают за числовое значение соответствующей случайной величины X_i=n_i \mid X_{i-1}=n_{i-1} полиномиального распределения при условии, что в предшествующий момент времени t_{i-1} предшествующая случайная величина X_{i-1} приняла числовое значение n_{i-1},
  • результаты каждого разбиения обрабатывают вероятностными методами, определяют технические характеристики всех выборок и принимают их за технические характеристики случайных величин мультиномиального распределения,
  • математическое ожидание мультиномиального распределения имеет место, когда число выборок k равно числу элементов n-множества k=n и численно равно \frac{n!}{n^n}, \quad 2\le n <\infty, откуда n=2, \quad \frac{n!}{n^n}=\frac{2!}{2^2}=\frac{1}{2} - математическое ожидание биномиального распределения.

Мультиномиальное распределение и цепи Маркова: совпадения и отличия, частный случай

Мультиномиальное распределение появляется в последовательности зависимых случайных испытаний с конечным или счётным числом исходов. По сути — это цепь Маркова, где X_{i+1}-ая случайная величина зависима от предшествующей X_i-ой случайной величины

t_{i+1}>t_i,X_{i+1}=n_{i+1} \mid t_i<t_{i+1}, X_i=n_i,\quad i=1,\ldots,k \le n

следующим образом: X_{i+1}-ая случайная величина в t_{i+1}-ый момент времени принимает числовое значение, равное n_{i+1}, при условии, что в t_i-ый момент времени X_i-ая случайная величина приняла числовое значение, равное n_i. Случайные величины следуют одна за другой в порядке возрастания своих номеров.

X_0, называемое начальным распределением цепи Маркова, для мультиномиального распределения не имеет смысла t_0=0, \quad X_0=0, поскольку нумерация случайных величин начинается с единицы: t_1, X_1,\ldots, t_k, X_k.

Переходная вероятность мультиномиального распределения

P(t_i,X_i=n_i \mid t_{i-1},X_{i-1}=n_{i-1}),\quad 0\le n_i\le n< \infty

является дискретной функцией времени. Следовательно, и мультиномиальное распределение с равновероятными успехами испытаний Бернулли

\prod_{i=1}^kP(t_i,X_i=n_i \mid t_{i-1},X_{i-1}=n_{i-1})=\frac{n!}{n_1! \cdots n_k!}p_1^{n_1}\cdots p_k^{n_k}=
=\prod_{i=1}^kP(t_i,X_i=n_i \mid t_{i-1},X_{i-1}=n_{i-1})=\frac{n!}{n_1! \cdots n_k!}k^{-n}, \quad p_1=\ldots=p_k=k^{-1},

как произведение его случайных величин, является дискретной функцией времени, иными словами, мультиномиальное распределение является марковским процессом с дискретным временем.

Сумма всех вероятностей мультиномиального распределения равна единице. Следовательно, мультиномиальное распределение как цепь Маркова, является стахостической.

Однако в отличие от марковских цепей и марковских процессов мультиномиальное распределение не обладает свойством отсутствия последействия, согласно которому для любого испытания допускается зависимость его от непосредственно предшествующего ему испытания (и только от него).

Причина заключается в том, что в мультиномиальном распределении имеется ещё одна зависимость — каждая случайная величина (кроме первой) зависима от всех ей предшествующих случайных величин.

Зависимость проявляется в том, что предшествующая случайная величина (X_i) мультиномиального распределения в соответствующий момент времени ( t_i) сокращает на своё числовое значение (n_i) верхнюю границу пространства элементарных событий следующей за ней случайной величины (X_{i+1}):

\Omega_{i+1}(t_{i+1}, X_{i+1}=n_{i+1} \mid t_i,X_i=n_i)=[0 \le n_{i+1} \le n-\ldots-n_i],
i=1,\ldots,k \le n.

Как следствие, все предшествующие случайные величины (если их числовые значения отличны от нуля) поочерёдно в соответствующие моменты времени сокращают на свои числовые значения верхнюю границу пространства элементарных событий последней случайной величины.

В частном случае, когда k=2, имеет место биномиальное распределение с равновероятными успехами испытаний Бернулли.

С точки зрения цепей Маркова — биномиальное распределение — это простейший марковский процесс с дискретным временем, в котором:

вторая случайная величина зависима от первой (и только от неё)

t_2>t_i,X_2=n_2 \mid t_i<t_2, X_1=n_1, \quad n_1+n_2=1;

всего лишь одна переходная вероятность

P(t_2,X_2=n_2 \mid t_1,X_1=n_1);

процесс стахостический, поскольку сумма вероятностей равна единице p_1+p_2=1;

как и в мультиномиальном распределение, начальное состояние цепи Маркова X_0, для биномиального распределения не имеет смысла t_0=0, \quad X_0=0, поскольку нумерация случайных величин начинается с единицы: t_1, X_1, \quad t_2, X_2.

Связь с другими распределениями

Если p_i\ne p_j хотя бы для одной пары вероятностей, то имеет место мультиномиальное распределение интерпретации 21-го века.

Если p_1=\dots p_k и все случайные величины распределения считались независмыми, то в 20-ом веке имели место следующие названия: распределение Максвелла - Больцмана [1], статистика Максвелла - Больцмана [1], распределение Больцмана [1], статистика Больцмана [1].

Если p_1\ne p_2,\quad p_+ p_2=1, то имеет место биномиальное распределение интерпретации 21-го века, иными словами http://ru.science.wikia.com/wiki/Биномиальное распределение:новая интерпретация.

Если p_1=p_2,\quad p_+ p_2=1, то имеет место биномиальное распределение с равновероятными успехами испытаний Бернулли.

Литература


См.также

Источник — «http://www.machinelearning.ru/wiki/index.php?title=%D0%9C%D1%83%D0%BB%D1%8C%D1%82%D0%B8%D0%BD%D0%BE%D0%BC%D0%B8%D0%B0%D0%BB%D1%8C%D0%BD%D0%BE%D0%B5_%D1%80%D0%B0%D1%81%D0%BF%D1%80%D0%B5%D0%B4%D0%B5%D0%BB%D0%B5%D0%BD%D0%B8%D0%B5_%D1%81_%D1%80%D0%B0%D0%B2%D0%BD%D0%BE%D0%B2%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D1%8B%D0%BC%D0%B8_%D1%83%D1%81%D0%BF%D0%B5%D1%85%D0%B0%D0%BC%D0%B8_%D0%B8%D1%81%D0%BF%D1%8B%D1%82%D0%B0%D0%BD%D0%B8%D0%B9_%D0%91%D0%B5%D1%80%D0%BD%D1%83%D0%BB%D0%BB%D0%B8»
Личные инструменты