Участник:Pavlov99
Материал из MachineLearning.
|
EM-алгоритм с последовательным добавлением компонент — общий метод нахождения функции плотности распределения объектов. Предполагается, что она имеет вид смеси распределений.
В данной статье рассматривается гауссовское распредение выборки, количество гауссианов произвольно.
Постановка задачи
Задана выборка , в которой
=
- множество объектов,
=
- множество ответов. Предполагается, что объекты имеют плотность распределения
, представимую в виде смеси
гауссиан с параметрами
и
.
Задача разделения смеси заключается в том, чтобы, имея выборку случайных и независимых наблюдений из смеси
оценить вектор параметров
доставляющий максимум функции правдоподобия
Алгоритм отыскания оптимальных параметров
Оптимальные параметры отыскиваются последовательно с помощью EM-алгоритма. Идея заключается во введении вспомогательного вектора скрытых переменных , обладающего двумя замечательными свойствами. С одной стороны, он может быть вычислен, если известны значения вектора параметров
, с другой стороны, поиск максимума правдоподобия сильно упрощается, если известны значения скрытых переменных.
EM-алгоритм состоит из итерационного повторения двух шагов. На E-шаге вы-
числяется ожидаемое значение (expectation) вектора скрытых переменных
по те-
кущему приближению вектора параметров
. На М-шаге решается задача максими-
зации правдоподобия (maximization) и находится следующее приближение вектора
по текущим значениям векторов
и
.
Если число компонент смеси заранее не известно, то применяется EM-алгоритм с последовательным добавлением компонент. Если при каком-либо
число неправильно классифицированных объектов превышает допустимое, то
увеличивается и повторяется EM(
)
- Вход:
Выборка ;
- максимальный допустимый разброс правдоподобия объектов;
- минимальная длина выборки, по которой можно восстановить плотность;
- параметр критерия останова;
- Выход:
- число компонент смеси;
- Алгоритм
1. начальное приближение - одна компонента:
2. для всех
3. выделить объекты с низким правдоподобием
4. Если то выход из цикла по
5. Начальное приближение для компоненты:
6.
Смотри также
Литература
- К. В. Воронцов, Лекции по статистическим (байесовским) алгоритмам классификации