Аппроксимация Лапласа (пример)
Материал из MachineLearning.
| Строка 10: | Строка 10: | ||
Задана выборка — множество <tex>X^N=\{{x}_1,\ldots,{x}_N|x\in\R^M\}</tex> значений свободных переменных и множество <tex>\{y_1,\ldots, y_N| y\in\R\}</tex> соответствующих им значений зависимой переменной. | Задана выборка — множество <tex>X^N=\{{x}_1,\ldots,{x}_N|x\in\R^M\}</tex> значений свободных переменных и множество <tex>\{y_1,\ldots, y_N| y\in\R\}</tex> соответствующих им значений зависимой переменной. | ||
Необходимо для выбранной регрессионной модели <tex>f(\mathbf{w},\mathbf{x})</tex>показать зависимость среднеквадратичной ошибки от значений параметров модели: <tex>SSE=SSE(w)</tex>; построить график и сделать апроксимацию Лапласа для него; используя метрику Кульбака - Лейблера, найти расстояния между получиными зависимостями. | Необходимо для выбранной регрессионной модели <tex>f(\mathbf{w},\mathbf{x})</tex>показать зависимость среднеквадратичной ошибки от значений параметров модели: <tex>SSE=SSE(w)</tex>; построить график и сделать апроксимацию Лапласа для него; используя метрику Кульбака - Лейблера, найти расстояния между получиными зависимостями. | ||
| + | |||
| + | ==Описание алгоритма== | ||
| + | |||
| + | ==Вычислительный эксперимент== | ||
| + | |||
| + | ===Пример 1=== | ||
| + | Задуманная функция <tex>y=x + sin3x</tex>. Берем линейную регрессионную модель с 2-мя параметрами: <tex>y(x)=w_1+w_2x</tex> | ||
Версия 01:22, 16 ноября 2010
Аппроксимация Лапласа - простой, но широко используемый способ нахождения нормального (Гауссово) распределения для апроксимации заданой плотности вероятности.
Содержание |
Сэмплирование
Сэмплирование – процесс выбора подмножества наблюдаемых величин из данного множества, для дальнейшего его анализа.
Одно из основных приминений методов сэмплирования заключается в оценке мат. ожидания сложных вероятностных распределений: , для которых тяжело делать выборку непосредственно из распределения p(z). Однако, можно подсчитать значение p(z) в любой точке z. Один из наиболее простых методов подсчета мат. ожидаия – разбить ось z на равномерную сетку и подсчитать интеграл как сумму
≅
. Существует несколько методов сэмплирования для создания подходящей выборки длинны L ???.
Постановка задачи
Задана выборка — множество значений свободных переменных и множество
соответствующих им значений зависимой переменной.
Необходимо для выбранной регрессионной модели
показать зависимость среднеквадратичной ошибки от значений параметров модели:
; построить график и сделать апроксимацию Лапласа для него; используя метрику Кульбака - Лейблера, найти расстояния между получиными зависимостями.
Описание алгоритма
Вычислительный эксперимент
Пример 1
Задуманная функция . Берем линейную регрессионную модель с 2-мя параметрами:
