Участник:Pavlov99

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Новая: {{TOCright}} '''EM-алгоритм с последовательным добавлением компонент''' — общий метод нахождения функции пло...)
Строка 1: Строка 1:
{{TOCright}}
{{TOCright}}
'''EM-алгоритм с последовательным добавлением компонент''' — общий метод нахождения функции плотности распределения объектов. Предполагается, что она имеет вид смеси <tex>k</tex> распределений.
'''EM-алгоритм с последовательным добавлением компонент''' — общий метод нахождения функции плотности распределения объектов. Предполагается, что она имеет вид смеси <tex>k</tex> распределений.
-
В данной статье рассматривается гауссовское распредение выборки, колическтво гауссианов произвольно.
+
В данной статье рассматривается гауссовское распредение выборки, количество гауссианов произвольно.
== Постановка задачи ==
== Постановка задачи ==
Задана выборка <tex>\{(\mathbf{x}_i,y_i)\}_{i=1}^l</tex>, в которой <tex>X^l</tex> = <tex>\{\mathbf{x}_i\}_{i=1}^l</tex> - множество объектов, <tex>Y^l</tex> = <tex>\{\mathbf{y}_i\}_{i=1}^l</tex> - множество ответов. Предполагается, что объекты имеют плотность распределения <tex>p(x)</tex>, представимую в виде смеси <tex>k</tex> гауссиан с параметрами <tex>\mu</tex> и <tex>\Sigma</tex>.
Задана выборка <tex>\{(\mathbf{x}_i,y_i)\}_{i=1}^l</tex>, в которой <tex>X^l</tex> = <tex>\{\mathbf{x}_i\}_{i=1}^l</tex> - множество объектов, <tex>Y^l</tex> = <tex>\{\mathbf{y}_i\}_{i=1}^l</tex> - множество ответов. Предполагается, что объекты имеют плотность распределения <tex>p(x)</tex>, представимую в виде смеси <tex>k</tex> гауссиан с параметрами <tex>\mu</tex> и <tex>\Sigma</tex>.
-
<tex>p(x) = \sum_{i=1}^k w_jp_j(x) = \sum_{i=1}^k w_jN(x;\mu_j,\Sigma_j)</tex>
 
-
Задача разделения смеси заключается в том, чтобы, имея выборку <tex>X^m<> случайных и независимых наблюдений из смеси p(x) оценить вектор параметров <tex>\theta = (w_1,...,w_k,\mu_1,...,\mu_k,\Sigma_1,...,\Sigma_k)</tex> доставляющий максим функции правдоподобия Q(\Theta) = \ln\prod_{i=1}^mp(x_i|w,\mu,\Sigma) = \sum_{i=1}^m\ln\sum_{j=1}^kw_jp_j(x_i) \rightarrow max
+
<center><tex>p(x) = \sum_{i=1}^k w_jp_j(x) = \sum_{i=1}^k w_jN(x;\mu_j,\Sigma_j)</tex></center>
 +
 
 +
Задача разделения смеси заключается в том, чтобы, имея выборку <tex>X^m</tex> случайных и независимых наблюдений из смеси <tex>p(x)</tex> оценить вектор параметров <tex>\theta = (w_1,...,w_k,\mu_1,...,\mu_k,\Sigma_1,...,\Sigma_k)</tex> доставляющий максимум функции правдоподобия
 +
<center><tex>Q(\Theta) = \ln\prod_{i=1}^mp(x_i|w,\mu,\Sigma) = \sum_{i=1}^m\ln\sum_{j=1}^kw_jp_j(x_i) \rightarrow max</tex></center>
 +
 
 +
== Алгоритм отыскания оптимальных параметров ==
 +
Оптимальные параметры отыскиваются последовательно с помощью EM-алгоритма. Идея заключается во введении вспомогательного вектора скрытых переменных

Версия 13:16, 29 апреля 2009

Содержание

EM-алгоритм с последовательным добавлением компонент — общий метод нахождения функции плотности распределения объектов. Предполагается, что она имеет вид смеси k распределений. В данной статье рассматривается гауссовское распредение выборки, количество гауссианов произвольно.

Постановка задачи

Задана выборка \{(\mathbf{x}_i,y_i)\}_{i=1}^l, в которой X^l = \{\mathbf{x}_i\}_{i=1}^l - множество объектов, Y^l = \{\mathbf{y}_i\}_{i=1}^l - множество ответов. Предполагается, что объекты имеют плотность распределения p(x), представимую в виде смеси k гауссиан с параметрами \mu и \Sigma.

p(x) = \sum_{i=1}^k w_jp_j(x) = \sum_{i=1}^k w_jN(x;\mu_j,\Sigma_j)

Задача разделения смеси заключается в том, чтобы, имея выборку X^m случайных и независимых наблюдений из смеси p(x) оценить вектор параметров \theta = (w_1,...,w_k,\mu_1,...,\mu_k,\Sigma_1,...,\Sigma_k) доставляющий максимум функции правдоподобия

Q(\Theta) = \ln\prod_{i=1}^mp(x_i|w,\mu,\Sigma) = \sum_{i=1}^m\ln\sum_{j=1}^kw_jp_j(x_i) \rightarrow max

Алгоритм отыскания оптимальных параметров

Оптимальные параметры отыскиваются последовательно с помощью EM-алгоритма. Идея заключается во введении вспомогательного вектора скрытых переменных

Источник — «http://www.machinelearning.ru/wiki/index.php?title=%D0%A3%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA:Pavlov99»
Личные инструменты