Формула Надарая-Ватсона
Материал из MachineLearning.
Строка 9: | Строка 9: | ||
<tex>Q(\alpha;X^l) = \sum_{i=1}^l \omega_i(x)(\alpha-y_i)^2 \rightarrow \underset{\alpha \in \mathbb{R}}{min}</tex>, где <tex>\omega_i</tex> - это вес i-ого объекта. <br /> | <tex>Q(\alpha;X^l) = \sum_{i=1}^l \omega_i(x)(\alpha-y_i)^2 \rightarrow \underset{\alpha \in \mathbb{R}}{min}</tex>, где <tex>\omega_i</tex> - это вес i-ого объекта. <br /> | ||
Веса <tex>\omega_i</tex> разумно задать так, чтобы они убывали по мере увеличения расстояния <tex>\rho(x,x_i)</tex>. Для этого можно ввести невозрастающую, гладкую, ограниченную функцию <tex>K:[0, \infty) \rightarrow [0, \infty)</tex>, называемую [[ядром]], и представить <tex>\omega_i</tex> в следующем виде : <br /> | Веса <tex>\omega_i</tex> разумно задать так, чтобы они убывали по мере увеличения расстояния <tex>\rho(x,x_i)</tex>. Для этого можно ввести невозрастающую, гладкую, ограниченную функцию <tex>K:[0, \infty) \rightarrow [0, \infty)</tex>, называемую [[ядром]], и представить <tex>\omega_i</tex> в следующем виде : <br /> | ||
- | <tex>\omega_i(x) = K\left(\frac{\rho(x,x_i)}{h} \right )</tex> | + | <tex>\omega_i(x) = K\left(\frac{\rho(x,x_i)}{h} \right )</tex>, где <tex>h</tex> - ширина окна. <br /> |
Приравняв нулю производную <tex>\frac{\partial Q}{\partial \alpha} = 0</tex>, и, выразив <tex>\alpha</tex>,получаем '''формулу Надарая-Ватсона''' : | Приравняв нулю производную <tex>\frac{\partial Q}{\partial \alpha} = 0</tex>, и, выразив <tex>\alpha</tex>,получаем '''формулу Надарая-Ватсона''' : | ||
- | <tex>$ | + | <tex>$a_h(x;X^l) = \frac{\sum_{i=1}^{l} y_i\omega_i(x)}{\sum_{i=1}^{l} \omega_i(x)} = \frac{\sum_{i=1}^{l} y_iK\left(\frac{\rho(x,x_i)}{h} \right )}{\sum_{i=1}^{l} K\left(\frac{\rho(x,x_i)}{h} \right )}$</tex> |
+ | |||
==Обоснование формулы== | ==Обоснование формулы== | ||
+ | Строгим обоснованием формулы служит следующая теорема : <br /> | ||
+ | '''Теорема''' Пусть выполнены условия : <br /> | ||
+ | 1) <br /> | ||
+ | 2) <br /> | ||
+ | 3) <br /> | ||
+ | 4) <br /> | ||
+ | Тогда имеет место [[сходимость по вероятности]] : <tex>a_{h_l}(x; X^l) \overset{P}{\rightarrow} E(y|x)</tex> в любой точке <tex>x \in X</tex>, в которой <tex>E(y|x), p(x)</tex> и <tex>D(y|x)</tex> непрерывны и <tex>p(x) > 0</tex>. | ||
+ | |||
==Литература== | ==Литература== |
Версия 14:17, 5 января 2010
![]() | Данная статья является непроверенным учебным заданием.
До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}. См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе. |
Формула Надарая-Ватсона используется для решения задачи непараметрического восстановления регрессии.
Содержание |
Постановка задачи
Пусть задано пространство объектов и множество возможных ответов
. Существует неизвестная зависимость
, значения которой известны только на объектах обучающией выборки
. Требуется построить алгоритм
, аппроксимирующий неизвестную зависимость
. Предполагается, что на множестве
задана метрика
.
Формула Надарая-Ватсона
Для вычисления при
, воспользуемся методом наименьших квадратов:
, где
- это вес i-ого объекта.
Веса разумно задать так, чтобы они убывали по мере увеличения расстояния
. Для этого можно ввести невозрастающую, гладкую, ограниченную функцию
, называемую ядром, и представить
в следующем виде :
, где
- ширина окна.
Приравняв нулю производную , и, выразив
,получаем формулу Надарая-Ватсона :
Обоснование формулы
Строгим обоснованием формулы служит следующая теорема :
Теорема Пусть выполнены условия :
1)
2)
3)
4)
Тогда имеет место сходимость по вероятности : в любой точке
, в которой
и
непрерывны и
.