Аппроксимация Лапласа
Материал из MachineLearning.
(→Многомерная случайная величина) |
(→Описание) |
||
(11 промежуточных версий не показаны.) | |||
Строка 3: | Строка 3: | ||
==Описание== | ==Описание== | ||
===Постановка задачи=== | ===Постановка задачи=== | ||
- | Пусть | + | Пусть задано ненормированное распределение <tex>P^*(x)</tex>. Необходимо найти нормировочную константу |
<tex>Z_P=\int_{-\infty}^{\infty} P(x) dx,</tex> | <tex>Z_P=\int_{-\infty}^{\infty} P(x) dx,</tex> | ||
- | причем | + | причем это распеделение имеет максимум в точке <tex>x_0</tex>. |
===Применение метода=== | ===Применение метода=== | ||
Разложим ее по Тейлору: | Разложим ее по Тейлору: | ||
Строка 15: | Строка 15: | ||
где | где | ||
- | <tex> c = - \frac{\partial^2}{\partial x^2} {P^* (x) | + | <tex> c = - \frac{\partial^2}{\partial x^2} \ln {P^* (x) |}_{x = x_0}.</tex> |
Тогда можно аппроксимировать <tex>P^* (x)</tex> ненормированным гауссианом: | Тогда можно аппроксимировать <tex>P^* (x)</tex> ненормированным гауссианом: | ||
- | <tex>Q^* (x) = P^* (x_0) \exp | + | <tex>Q^* (x) = P^* (x_0) \exp\[-\frac{c}{2}(x - x_0 )^2\],</tex> |
для такой аппроксимации плотности вероятности запишем нормирующий коэффициент: | для такой аппроксимации плотности вероятности запишем нормирующий коэффициент: | ||
Строка 26: | Строка 26: | ||
===Многомерная случайная величина=== | ===Многомерная случайная величина=== | ||
- | Можно получить аналогичный результат, если <tex>x=(x_1, \cdots, x_k)</tex> | + | Можно получить аналогичный результат, если <tex>x=(x_1, \cdots, x_k)</tex> – векторная величина. Введем обозначение |
- | <tex>A_{ij} = - \frac{\partial^2}{\partial x_i \partial x_j} \ln P^* (x) | + | <tex>A_{ij} = - \frac{\partial^2}{\partial x_i \partial x_j} \ln P^* (x) |_{x = x_0}.</tex> |
Тогда разложение по Тейлору логарифма плотности вероятности имеет вид: | Тогда разложение по Тейлору логарифма плотности вероятности имеет вид: | ||
Строка 39: | Строка 39: | ||
==Замечания== | ==Замечания== | ||
- | Необходимо отметить, что такой способ оценки нормирующего зависит от того, рассматриваем мы случайную величину <tex>x</tex> или произвольную нелинейную функцию от нее <tex>u(x)</tex>. Действительно, <tex>P(u)</tex> имеет вид <tex>P(u) = P(x)\frac{\partial x}{\partial u}</tex>, | + | [[Изображение:Model5Sw.png|100px|thumb|right|Пример аппроксимируемой функции]] |
- | и, вообще говоря, нормировочный коэффициент <tex>Z_P</tex> будет отличаться, если метод будет использоваться для такой преобразованной случайной величины. Такого эффекта не наблюдалось бы, если бы оценка нормировочного коэффициента была точна. Мы либо должны учитывать этот факт при применении аппроксимации Лапласа, либо пытаться каким-то образом искать такую функцию <tex>u(x)</tex>, | + | Необходимо отметить, что такой способ оценки нормирующего зависит от того, рассматриваем мы [[Случайная величина|случайную величину]] <tex>x</tex> или произвольную нелинейную функцию от нее <tex>u(x)</tex>. Действительно, <tex>P(u)</tex> имеет вид <tex>P(u) = P(x)\frac{\partial x}{\partial u}</tex>, |
+ | и, вообще говоря, нормировочный коэффициент <tex>Z_P</tex> будет отличаться, если метод будет использоваться для такой преобразованной случайной величины. Такого эффекта не наблюдалось бы, если бы оценка нормировочного коэффициента была точна. Мы либо должны учитывать этот факт при применении аппроксимации Лапласа, либо пытаться каким-то образом искать такую функцию <tex>u(x)</tex>, для которой данная оценка наиболее точна. | ||
+ | |||
+ | ==См. также== | ||
+ | * [[Аппроксимация Лапласа (пример)]] | ||
+ | * [[Связанный Байесовский вывод]] | ||
+ | * [[Метод наибольшего правдоподобия]] | ||
==Литература== | ==Литература== | ||
Строка 48: | Строка 54: | ||
|год = 2005 | |год = 2005 | ||
|издательство = Cambridge University Press | |издательство = Cambridge University Press | ||
- | |страницы = 341-342 | + | |страницы = 341-342 |
+ | |ссылка = http://www.inference.phy.cam.ac.uk/mackay/itila/book.html | ||
}} | }} | ||
+ | [[Категория:Байесовские методы]] | ||
+ | [[Категория:Регрессионный анализ]] |
Текущая версия
Содержание |
Определение
Аппроксимация Лапласа -- способ оценивания нормировочного коэффициента для ненормированной плотности вероятности.
Описание
Постановка задачи
Пусть задано ненормированное распределение . Необходимо найти нормировочную константу
причем это распеделение имеет максимум в точке .
Применение метода
Разложим ее по Тейлору:
где
Тогда можно аппроксимировать ненормированным гауссианом:
для такой аппроксимации плотности вероятности запишем нормирующий коэффициент:
Многомерная случайная величина
Можно получить аналогичный результат, если – векторная величина. Введем обозначение
Тогда разложение по Тейлору логарифма плотности вероятности имеет вид:
отбрасывая члены с порядком по выше квадратичного, получаем нормировочный коэффициент:
Замечания
Необходимо отметить, что такой способ оценки нормирующего зависит от того, рассматриваем мы случайную величину или произвольную нелинейную функцию от нее . Действительно, имеет вид , и, вообще говоря, нормировочный коэффициент будет отличаться, если метод будет использоваться для такой преобразованной случайной величины. Такого эффекта не наблюдалось бы, если бы оценка нормировочного коэффициента была точна. Мы либо должны учитывать этот факт при применении аппроксимации Лапласа, либо пытаться каким-то образом искать такую функцию , для которой данная оценка наиболее точна.
См. также
Литература
1. David J.C. MacKay Information Theory, Inference, and Learning Algorithms. — Cambridge University Press, 2005. — С. 341-342.