Аппроксимация Лапласа (пример)

Материал из MachineLearning.

(Различия между версиями)

Версия 03:51, 8 декабря 2010

Аппроксимация Лапласа - способ оценки параметров нормального распределения при апроксимации заданой плотности вероятности.

Содержание

1 Постановка задачи
2 Описание алгоритма
3 Вычислительный эксперимент
4 Смотри также
5 Литература
6 Примечания

Постановка задачи

Задана выборка — множество $X^N=\{{x}_1,\ldots,{x}_N|x\in\R^M\}$ значений свободных переменных и множество $\{y_1,\ldots, y_N| y\in\R\}$ соответствующих им значений зависимой переменной. Необходимо для выбранной регрессионной модели $f(w,x)$ :

3-1 показать зависимость среднеквадратичной ошибки от значений параметров модели: $SSE=SSE(w)$ ;

3-2 построить график и сделать апроксимацию Лапласа для зависимости $SSE=SSE(w)$ ;

3-3 найти расстояния между получеными зависимостями, используя расстояние Кульбака - Лейблера.

Описание алгоритма

При востановлении регрессии рассматривалась следующая гипотеза порождения данных:

$y=f(x,w)+\epsilon$ , где $\epsilon\propto N(0,\sigma^2)$

В таком случае, при фиксированной модели f плотность вероятности появления данных равняется^[1]:

$p(y|x,w)=\frac{1}{Z_D}exp(-E_D)$ , где

$E_D$ - это функция регрессионных невязок, т.е. $SSE$ ;

$Z_D$ - нормировачный коэффициент.

3-1. В заданной модели f, используя метод наименьших квадратов, находим оптимальное значение вектора параметров $\mathcal w_{opt}$ . Далее, фиксируем все параметры выбранной регрессионной модели (для определенности зададим им оптимальные значения) кроме одного (пусть этот незафиксированный параметр будет $w_1$ ). После чего, варируя значение $w_1$ , строим искомую зависимость $SSE=SSE(w_1)$ и график $p(y|x,w_1)$ . Таким образом построена зависимость от одного параметра $w_1$ . Аналогично действуя, строится зависимость от большего количества параметров.

3-2. При апроксимации Лапласа, полученную в пункте 3-1 функцию $p(y|x,w_1)$ приближаем функцией многомерного нормального распределения $N(w_{otp},A)$ . Воспользуемся нелиейной регрессионной моделью:

$p \propto exp((w - w_{otp})^T A^{-1} (w-w_{otp}))$

Другими словами, зная из пункта 3-1 значение $p(D|w)$ (т.е. множество пар $(p_i, w_i)$ , где $w_i$ - вектор параметров i-го сэмпла), надо получить корреляционную матрцу $A$ .

Вначале, представляем элементы матрицы $A$ в виде вектора параметров. Далее, используя метод Ньютона-Гаусса,нахождим оптимальный вектора параметров (минимум суммы остаточных квадратов). Затем, делаем обратный переход от вектора параметров к матрице и получаем искомую корреляционную матрицу $A$ .

3-3. Расстояние Кульбака - Лейблера между двумя распределениями p(z) и q(z) равняется:

$D_{kl}(p,q)=\sum\limits_{z\in \mathcal{Z}} p(z) \ln \frac{p(z)}{q(z)}$

Вычислительный эксперимент

Обозначим плотность распределения SSE как $p_{SSE}$ , а его апроксимация лапласса $p_{lap}$ .

Во время вычислительного эксперимента SSE принимало достаточно большие значения (порядка $10^3 - 10^4$ ). Как следствие, p(y) принимало значения порядка 1, и апроксимация Лапласса была некоректной.

Поэтому, апроксимация Лапласса применялась не к самому распределению p(y), а к ln(p(y)) (т.е. к -SSE c точностью до коэффициента).

Пример 1

Задуманная функция $y=x + sin3x$ . Рассматривается линейная регрессионная модель с двумя параметрами: $y(x)=w_1+w_2x$ . $w_1_{opt}$ и $w_2_{opt}$ - оптимальное значение параметров (при которых SSE минимально).

Фиксируем один параметр $w_1=w_1_{opt}$ и задаем различные значение $w_2$ (500 случайных значений на отрезке [-1;2]). Строим зависимость:

$D_{kl}(p_{SSE},p_{lap})=0.0085$ .

Повторим эксперимент, только теперь варируем сразу оба параметра $w_1$ и $w_2$ :

Рис. 1. Зависимость $- SSE$ от $w_1$ и $w_2$

Рис. 2. Зависимость от и . Ось log(p) направлена вверх

Рис. 2. Зависимость $- SSE$ от $w_1$ и $w_2$ . Ось log(p) направлена вверх

апроксимация Лапласса:

Laplace approximation

$D_{kl}(p_{SSE},p_{lap})=4.9491*10^{-5}$

ковариационная матрица $A=10^3*\begin{Vmatrix} -0.1021 & -0.3141\\ -0.3141 & -1.3242\\ \end{Vmatrix}$

На рис.2 наблюдается зависимость между коэффициентами $w_1$ и $w_2$ . Следовательно, ковариационная матрица $cov(w_1,w_2)$ не будет диагональной.

Пример 2

Задуманная функция $y=7.5x + 12tanx+\epsilon$ , где $\epsilon$ - белый гауссовский шум. Рассматривается следующая регрессионная модель: линейная комбинация функций $x$ и $tanx$ .

$y(x)=w_1*x+w_2tanx$ .

$w_1_{opt}$ и $w_2_{opt}$ - оптимальное значение параметров (при которых SSE минимально).

Фиксируем один параметр $w_1=w_1_{opt}$ и задаем различные значение $w_2$ (10000 случайных значений на отрезке [5;15]). Строим зависимость:

$D_{kl}(p_{SSE},p_{lap})=4.3097*10^{-16}$

Повторим эксперимент, только теперь варируем сразу оба параметра $w_1$ и $w_2$ (10000 случайных значений на отрезке [-100;100]):

Рис. 1. Зависимость $- SSE$ от $w_1$ и $w_2$

Рис. 2. Зависимость $- SSE$ от $w_1$ и $w_2$ . Ось log(p) направлена вверх

апроксимация Лапласса:

Laplace Approximation

Laplace Approximation. Ось log(p) направлена вверх

$D_{kl}(p_{SSE},p_{lap})=0.1753$

ковариационная матрица $A=10^4*\begin{Vmatrix} -2.9234 & 0.0413\\ 0.0413 & -3.9066\\ \end{Vmatrix}$

Пример 3

Смотри также

Литература

Bishop, C. Pattern Recognition And Machine Learning. Springer. 2006.

Примечания

Данная статья является непроверенным учебным заданием.

Студент: Евгений Зайцев

Преподаватель: В.В.Стрижов

Срок: 24 декабря 2010

До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}.

См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе.

Источник — «http://www.machinelearning.ru/wiki/index.php?title=%D0%90%D0%BF%D0%BF%D1%80%D0%BE%D0%BA%D1%81%D0%B8%D0%BC%D0%B0%D1%86%D0%B8%D1%8F_%D0%9B%D0%B0%D0%BF%D0%BB%D0%B0%D1%81%D0%B0_%28%D0%BF%D1%80%D0%B8%D0%BC%D0%B5%D1%80%29»

Категории: Непроверенные учебные задания | Практика и вычислительные эксперименты

@@ Строка 84: / Строка 84: @@
 <tex>w_1_{opt}</tex> и <tex>w_2_{opt}</tex> - оптимальное значение параметров (при которых ''SSE'' минимально).
-'''Фиксируем один параметр''' <tex>w_1=w_1_{opt}</tex> и задаем различные значение <tex>w_2</tex> (10000 случайных значений на отрезке [-1;2]). Строим зависимость:
+'''Фиксируем один параметр''' <tex>w_1=w_1_{opt}</tex> и задаем различные значение <tex>w_2</tex> (10000 случайных значений на отрезке [5;15]). Строим зависимость:
 [[Изображение:Odin_parametr.png‎|center|frame]]
@@ Строка 90: / Строка 90: @@
 <tex>D_{kl}(p_{SSE},p_{lap})=4.3097*10^{-16}</tex>
-'''Повторим эксперимент''', только теперь варируем сразу оба параметра <tex>w_1</tex> и <tex>w_2</tex>:
+'''Повторим эксперимент''', только теперь варируем сразу оба параметра <tex>w_1</tex> и <tex>w_2</tex>(10000 случайных значений на отрезке [-100;100]):
 [[Изображение:Dva_parametr_bok.png‎|center|frame|Рис. 1. Зависимость <tex>- SSE</tex> от <tex>w_1</tex> и <tex>w_2</tex>]]
@@ Строка 110: / Строка 110: @@
 \end{Vmatrix}
 </tex>
 ===Пример 3===