Участник:Platonova.Elena/Песочница

Материал из MachineLearning.

< Участник:Platonova.Elena(Различия между версиями)
Перейти к: навигация, поиск
(Полностью удалено содержимое страницы)
 
(10 промежуточных версий не показаны.)
Строка 1: Строка 1:
-
'''Сравнение работы ЕМ-алгоритма и k-means для смесей с экспоненциальным распределением компонент.''' (само будет в заголовке)
 
-
=='''Краткое описание исследуемых алгоритмов'''==
 
-
==ЕМ алгоритм==
 
-
Основа EM-алгоритма - предположение, что исследуемое множество данных может быть представлено с помощью линейной комбинации распределений, а цель - оценка параметров распределения, которые максимизируют логарифмическую функцию правдоподобия, используемую в качестве меры качества модели.
 
-
Пусть рассматривается смесь из <tex>k</tex> распределений, каждое описывается функцией правдоподобия <tex>p_j(x)</tex>
 
-
 
-
<center><tex>p(x) = \sum_{i=1}^k w_jp_j(x)</tex></center>
 
-
 
-
<tex>w_j</tex> - априорная вероятность <tex>j</tex>-й компоненты. Функции правдоподобия принадлежат параметрическому семейству распределений <tex>\varphi(x; \theta)</tex> и отличаются только значениями параметра <tex>p_j(x) = \varphi(x; \theta_j)</tex>
 
-
 
-
'''Вход''':
 
-
 
-
<tex> R,~ M,~ DELTA,~ L</tex> – общая длина выборки
 
-
 
-
'''Выход''':
 
-
 
-
<tex>\theta = (\omega_1, \omega_2, ..., \omega_k, \theta_1, \theta_2, ..., \theta_k)</tex> параметры распределения и весы компонент.
 
-
 
-
'''ОМП θ'''
 
-
 
-
для одно- и двумерного случая экспоненциального распределения.
 
-
 
-
Необходимо максимизировать
 
-
 
-
<center><tex>Q(\Theta) = ln\prod_{i=1}^m p(x_i)=\sum_{i=1}^mln\sum_{j=1}^k\omega_jp_j(x_i) \rightarrow ma\limits_{\Theta}x</tex></center>
 
-
 
-
Из Лагранжиана следует:
 
-
 
-
<tex>
 
-
\omega_j=\frac{1}m \sum_{i=1}^mg_{ij} </tex> j=1,...,k
 
-
 
-
<tex>\frac{\partial L}{\partial\theta_j}=\frac{\partial}{\partial\theta_j}\sum_{i=1}^mg_{ij}lnp_j(x_i)=0,</tex> j=1,...,k.
 
-
 
-
С учетом <tex>p_j(x)\equiv \varphi(x, \theta_j) = \theta \cdot exp{-\theta \cdot x}</tex> получаем ОМП <tex>\theta </tex> для экспоненциального закона:
 
-
 
-
<center><tex> \frac{\partial}{\partial \theta_j}\sum_{i=1}^mg_{ij}(ln \theta_j - \theta_jx_i)=0
 
-
\theta_j=\frac{\sum_{i=1}^mg_{ij}}{\sum_{i=1}^mx_ig_{ij}}
 
-
</tex></center>
 
-
 
-
В двумерном случае:
 
-
<center><tex> \theta_{jx}=\frac{\sum_{i=1}^mg_{ij}}{\sum_{i=1}^mx_ig_{ij}}
 
-
\theta_{jy}=\frac{\sum_{i=1}^mg_{ij}}{\sum_{i=1}^my_ig_{ij}}
 
-
</tex>
 
-
</center>
 
-
 
-
==k-means (k ближайших соседей)==
 
-
 
-
 
-
 
-
 
-
 
-
 
-
 
-
 
-
{{Задание|Platonova.Elena|Константин Воронцов|7 января 2010}}
 

Текущая версия

Личные инструменты