Аппроксимация Лапласа (пример)
Материал из MachineLearning.
| Строка 1: | Строка 1: | ||
'''Аппроксимация Лапласа''' - простой, но широко используемый способ нахождения нормального (Гауссово) распределения для апроксимации заданой плотности вероятности. | '''Аппроксимация Лапласа''' - простой, но широко используемый способ нахождения нормального (Гауссово) распределения для апроксимации заданой плотности вероятности. | ||
| - | == | + | ==Сэмплирование== |
| - | ''' | + | '''Сэмплирование''' – процесс выбора подмножества наблюдаемых величин из данного множества, для дальнейшего его анализа. |
| - | Одно из основных приминений методов | + | Одно из основных приминений методов сэмплирования заключается в оценке мат. ожидания сложных вероятностных распределений: <tex>E[f]=\int f(z)p(z) dz</tex>, для которых тяжело делать выборку непосредственно из распределения ''p(z)''. Однако, можно подсчитать значение ''p(z)'' в любой точке '''z'''. Один из наиболее простых методов подсчета мат. ожидаия – разбить ось z на равномерную сетку и подсчитать интеграл как сумму <tex>E[f]</tex> ≅<tex>\sum_{l=1}^{L} f(z^{(l)})p(z^{(l)}) dz</tex>. Существует несколько методов сэмплирования для создания подходящей выборки длинны ''L'' ???. |
| + | |||
| + | ==Постановка задачи== | ||
| + | |||
| + | Задана выборка — множество <tex>X^N=\{{x}_1,\ldots,{x}_N|x\in\R^M\}</tex> значений свободных переменных и множество <tex>\{y_1,\ldots, y_N| y\in\R\}</tex> соответствующих им значений зависимой переменной. | ||
Версия 00:37, 16 ноября 2010
Аппроксимация Лапласа - простой, но широко используемый способ нахождения нормального (Гауссово) распределения для апроксимации заданой плотности вероятности.
Сэмплирование
Сэмплирование – процесс выбора подмножества наблюдаемых величин из данного множества, для дальнейшего его анализа.
Одно из основных приминений методов сэмплирования заключается в оценке мат. ожидания сложных вероятностных распределений: , для которых тяжело делать выборку непосредственно из распределения p(z). Однако, можно подсчитать значение p(z) в любой точке z. Один из наиболее простых методов подсчета мат. ожидаия – разбить ось z на равномерную сетку и подсчитать интеграл как сумму
≅
. Существует несколько методов сэмплирования для создания подходящей выборки длинны L ???.
Постановка задачи
Задана выборка — множество значений свободных переменных и множество
соответствующих им значений зависимой переменной.
