Формула Надарая-Ватсона
Материал из MachineLearning.
Строка 1: | Строка 1: | ||
{{Задание|Kolesnikov||8 января 2009}} | {{Задание|Kolesnikov||8 января 2009}} | ||
- | '''Формула Надарая-Ватсона''' используется для решения задачи непараметрического [ | + | '''Формула Надарая-Ватсона''' используется для решения задачи непараметрического [http://www.machinelearning.ru/wiki/index.php?title=%D0%A0%D0%B5%D0%B3%D1%80%D0%B5%D1%81%D1%81%D0%B8%D0%BE%D0%BD%D0%BD%D1%8B%D0%B9_%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7 восстановления регрессии]. |
== Постановка задачи == | == Постановка задачи == | ||
Пусть задано пространство объектов <tex>X</tex> и множество возможных ответов <tex>Y = \mathbb{R}</tex>. Существует неизвестная зависимость <tex>$y^*:X \rightarrow Y$</tex>, значения которой известны только на объектах обучающией выборки <tex>$ X^l = (x_i\ ,\ y_i)^l_{i=1},\ y_i = y^*(x_i) $</tex>. Требуется построить [[алгоритм]] <tex>a:\ X\rightarrow Y</tex>, аппроксимирующий неизвестную зависимость <tex>$y^*$</tex>. Предполагается, что на множестве <tex>X</tex> задана [[метрика]] <tex>\rho(x,x^')</tex>. | Пусть задано пространство объектов <tex>X</tex> и множество возможных ответов <tex>Y = \mathbb{R}</tex>. Существует неизвестная зависимость <tex>$y^*:X \rightarrow Y$</tex>, значения которой известны только на объектах обучающией выборки <tex>$ X^l = (x_i\ ,\ y_i)^l_{i=1},\ y_i = y^*(x_i) $</tex>. Требуется построить [[алгоритм]] <tex>a:\ X\rightarrow Y</tex>, аппроксимирующий неизвестную зависимость <tex>$y^*$</tex>. Предполагается, что на множестве <tex>X</tex> задана [[метрика]] <tex>\rho(x,x^')</tex>. | ||
==Формула Надарая-Ватсона== | ==Формула Надарая-Ватсона== | ||
- | Для вычисления <tex>$a(x) = \alpha$</tex> при <tex>$ \forall x \in X$</tex>, воспользуемся [ | + | Для вычисления <tex>$a(x) = \alpha$</tex> при <tex>$ \forall x \in X$</tex>, воспользуемся [http://www.machinelearning.ru/wiki/index.php?title=%D0%9C%D0%B5%D1%82%D0%BE%D0%B4_%D0%BD%D0%B0%D0%B8%D0%BC%D0%B5%D0%BD%D1%8C%D1%88%D0%B8%D1%85_%D0%BA%D0%B2%D0%B0%D0%B4%D1%80%D0%B0%D1%82%D0%BE%D0%B2 методом наименьших квадратов]: <br /> |
<tex>Q(\alpha;X^l) = \sum_{i=1}^l \omega_i(x)(\alpha-y_i)^2 \rightarrow \underset{\alpha \in \mathbb{R}}{min}</tex>, где <tex>\omega_i</tex> - это вес i-ого объекта. <br /> | <tex>Q(\alpha;X^l) = \sum_{i=1}^l \omega_i(x)(\alpha-y_i)^2 \rightarrow \underset{\alpha \in \mathbb{R}}{min}</tex>, где <tex>\omega_i</tex> - это вес i-ого объекта. <br /> | ||
Веса <tex>\omega_i</tex> разумно задать так, чтобы они убывали по мере увеличения расстояния <tex>\rho(x,x_i)</tex>. Для этого можно ввести невозрастающую, гладкую, ограниченную функцию <tex>K:[0, \infty) \rightarrow [0, \infty)</tex>, называемую [[ядром]], и представить <tex>\omega_i</tex> в следующем виде : <br /> | Веса <tex>\omega_i</tex> разумно задать так, чтобы они убывали по мере увеличения расстояния <tex>\rho(x,x_i)</tex>. Для этого можно ввести невозрастающую, гладкую, ограниченную функцию <tex>K:[0, \infty) \rightarrow [0, \infty)</tex>, называемую [[ядром]], и представить <tex>\omega_i</tex> в следующем виде : <br /> |
Версия 13:22, 5 января 2010
![]() | Данная статья является непроверенным учебным заданием.
До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}. См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе. |
Формула Надарая-Ватсона используется для решения задачи непараметрического восстановления регрессии.
Содержание |
Постановка задачи
Пусть задано пространство объектов и множество возможных ответов
. Существует неизвестная зависимость
, значения которой известны только на объектах обучающией выборки
. Требуется построить алгоритм
, аппроксимирующий неизвестную зависимость
. Предполагается, что на множестве
задана метрика
.
Формула Надарая-Ватсона
Для вычисления при
, воспользуемся методом наименьших квадратов:
, где
- это вес i-ого объекта.
Веса разумно задать так, чтобы они убывали по мере увеличения расстояния
. Для этого можно ввести невозрастающую, гладкую, ограниченную функцию
, называемую ядром, и представить
в следующем виде :
Приравняв нулю производную ,получаем формулу Надалая-Ватсона :