Аппроксимация Лапласа (пример)
Материал из MachineLearning.
(→Постановка задачи) |
|||
| Строка 1: | Строка 1: | ||
| - | '''Аппроксимация Лапласа''' - | + | '''Аппроксимация Лапласа''' - способ оценки параметров нахождения нормального распределения при апроксимации заданой плотности вероятности. |
==Сэмплирование== | ==Сэмплирование== | ||
| - | '''Сэмплирование''' – | + | '''Сэмплирование''' – метод выбора подмножества наблюдаемых величин из данного множества, для дальнейшего его анализа. |
Одно из основных приминений методов сэмплирования заключается в оценке мат. ожидания сложных вероятностных распределений: <tex>E[f]=\int f(z)p(z) dz</tex>, для которых тяжело делать выборку непосредственно из распределения ''p(z)''. Однако, можно подсчитать значение ''p(z)'' в любой точке '''z'''. Один из наиболее простых методов подсчета мат. ожидаия – разбить ось z на равномерную сетку и подсчитать интеграл как сумму <tex>E[f]</tex> ≅<tex>\sum_{l=1}^{L} f(z^{(l)})p(z^{(l)}) dz</tex>. Существует несколько методов сэмплирования для создания подходящей выборки длинны ''L'' ???. | Одно из основных приминений методов сэмплирования заключается в оценке мат. ожидания сложных вероятностных распределений: <tex>E[f]=\int f(z)p(z) dz</tex>, для которых тяжело делать выборку непосредственно из распределения ''p(z)''. Однако, можно подсчитать значение ''p(z)'' в любой точке '''z'''. Один из наиболее простых методов подсчета мат. ожидаия – разбить ось z на равномерную сетку и подсчитать интеграл как сумму <tex>E[f]</tex> ≅<tex>\sum_{l=1}^{L} f(z^{(l)})p(z^{(l)}) dz</tex>. Существует несколько методов сэмплирования для создания подходящей выборки длинны ''L'' ???. | ||
| Строка 9: | Строка 9: | ||
Задана выборка — множество <tex>X^N=\{{x}_1,\ldots,{x}_N|x\in\R^M\}</tex> значений свободных переменных и множество <tex>\{y_1,\ldots, y_N| y\in\R\}</tex> соответствующих им значений зависимой переменной. | Задана выборка — множество <tex>X^N=\{{x}_1,\ldots,{x}_N|x\in\R^M\}</tex> значений свободных переменных и множество <tex>\{y_1,\ldots, y_N| y\in\R\}</tex> соответствующих им значений зависимой переменной. | ||
| - | Необходимо для выбранной регрессионной модели <tex>f(\mathbf{w},\mathbf{x})</tex>показать зависимость среднеквадратичной ошибки от значений параметров модели: <tex>SSE=SSE(w)</tex>; построить график и сделать апроксимацию Лапласа для | + | Необходимо для выбранной регрессионной модели <tex>f(\mathbf{w},\mathbf{x})</tex>показать зависимость среднеквадратичной ошибки от значений параметров модели: <tex>SSE=SSE(w)</tex>; построить график и сделать апроксимацию Лапласа для нее; найти расстояния между получеными зависимостями, используя [http://en.wikipedia.org/wiki/Kullback%E2%80%93Leibler_divergence расстояние Кульбака - Лейблера]. |
==Описание алгоритма== | ==Описание алгоритма== | ||
Версия 19:23, 21 ноября 2010
Аппроксимация Лапласа - способ оценки параметров нахождения нормального распределения при апроксимации заданой плотности вероятности.
Содержание |
Сэмплирование
Сэмплирование – метод выбора подмножества наблюдаемых величин из данного множества, для дальнейшего его анализа.
Одно из основных приминений методов сэмплирования заключается в оценке мат. ожидания сложных вероятностных распределений: , для которых тяжело делать выборку непосредственно из распределения p(z). Однако, можно подсчитать значение p(z) в любой точке z. Один из наиболее простых методов подсчета мат. ожидаия – разбить ось z на равномерную сетку и подсчитать интеграл как сумму
≅
. Существует несколько методов сэмплирования для создания подходящей выборки длинны L ???.
Постановка задачи
Задана выборка — множество значений свободных переменных и множество
соответствующих им значений зависимой переменной.
Необходимо для выбранной регрессионной модели
показать зависимость среднеквадратичной ошибки от значений параметров модели:
; построить график и сделать апроксимацию Лапласа для нее; найти расстояния между получеными зависимостями, используя расстояние Кульбака - Лейблера.
Описание алгоритма
метрика Кульбака - Лейблера:
Вычислительный эксперимент
Обозначим плоность распределения SSE как , а его апроксимация лапласса
Пример 1
Задуманная функция . Берем линейную регрессионную модель с 2-мя параметрами:
.
Используя МНК находим оптимальное значение
и
(при которых SSE минимально).
При фиксированном задаем различные значение
(500 рандомных значений на отрезке [-1;2]) и строим зависимость:
.
Повторим эксперимент, только теперь варируем сразу оба параметра и
:
апроксимация лапласса:
На рис.2 наблюдается зависимость между коэффициентами и
. Следовательно, ковариационная матрица cov(w_1,w_2) не будет диагональной.
Смотри также
Литература
| Данная статья является непроверенным учебным заданием.
До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}. См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе. |
