Аппроксимация Лапласа (пример)

Материал из MachineLearning.

(Различия между версиями)

Версия 19:31, 16 ноября 2010

Аппроксимация Лапласа - простой, но широко используемый способ нахождения нормального (Гауссово) распределения для апроксимации заданой плотности вероятности.

Содержание

1 Сэмплирование
2 Постановка задачи
3 Описание алгоритма
4 Вычислительный эксперимент
- 4.1 Пример 1

Сэмплирование

Сэмплирование – процесс выбора подмножества наблюдаемых величин из данного множества, для дальнейшего его анализа. Одно из основных приминений методов сэмплирования заключается в оценке мат. ожидания сложных вероятностных распределений: $E[f]=\int f(z)p(z) dz$ , для которых тяжело делать выборку непосредственно из распределения p(z). Однако, можно подсчитать значение p(z) в любой точке z. Один из наиболее простых методов подсчета мат. ожидаия – разбить ось z на равномерную сетку и подсчитать интеграл как сумму $E[f]$ ≅ $\sum_{l=1}^{L} f(z^{(l)})p(z^{(l)}) dz$ . Существует несколько методов сэмплирования для создания подходящей выборки длинны L ???.

Постановка задачи

Задана выборка — множество $X^N=\{{x}_1,\ldots,{x}_N|x\in\R^M\}$ значений свободных переменных и множество $\{y_1,\ldots, y_N| y\in\R\}$ соответствующих им значений зависимой переменной. Необходимо для выбранной регрессионной модели $f(\mathbf{w},\mathbf{x})$ показать зависимость среднеквадратичной ошибки от значений параметров модели: $SSE=SSE(w)$ ; построить график и сделать апроксимацию Лапласа для него; найти расстояния между получиными зависимостями, используя метрику Кульбака - Лейблера.

Описание алгоритма

метрика Кульбака - Лейблера: $D_{kl}(p,q)=\sum\limits_{x\in \mathcal{X}} p(x) \ln \frac{p(x)}{q(x)}$

Вычислительный эксперимент

Обозначим плоность распределения SSE как $p_{SSE}$ , а его апроксимация лапласса $p_{lap}$

Пример 1

Задуманная функция $y=x + sin3x$ . Берем линейную регрессионную модель с 2-мя параметрами: $y(x)=w_1+w_2x$ . Используя МНК находим оптимальное значение $w_1_{opt}$ и $w_2_{opt}$ (при которых SSE минимально).