Вариация и смещение

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Новая: {{TOCRight}} == Теорема о разложении ошибки на вариацию и смещение == Пусть есть выборка из <tex>n</tex> <tex>k</tex>-мер...)
Строка 2: Строка 2:
== Теорема о разложении ошибки на вариацию и смещение ==
== Теорема о разложении ошибки на вариацию и смещение ==
-
Пусть есть выборка из <tex>n</tex> <tex>k</tex>-мерных векторов <tex>x^n=(x_1,...x_n)</tex>. Для простоты будем считать <tex>k=1</tex>.
+
Пусть есть выборка из <tex>n</tex> <tex>k</tex>-мерных векторов <tex>x^n=(x_1,...x_n)</tex>.
<tex>y</tex> - отклик, <tex>y=(y_1,...,y_n)</tex>
<tex>y</tex> - отклик, <tex>y=(y_1,...,y_n)</tex>
Строка 13: Строка 13:
'''Теорема'''
'''Теорема'''
-
Пусть <tex>y_i = y(x_i) + \epsilon_i</tex>, <tex>x_i\mathbb{E}</tex> <tex>\mathbb{E} \epsilon_i = 0, & \mathbb{E} \epsilon_i \epsilon_j = 0 & \mathbb{D} \epsilon_i = \sigma^2</tex>
+
Для простоты будем считать <tex>k=1</tex>.
 +
 
 +
Пусть <tex>y_i = y(x_i) + \epsilon_i</tex>, <tex>x_i</tex> - не случайные, <tex>\mathbb{E} \epsilon_i = 0</tex>, <tex>\mathbb{E} \epsilon_i \epsilon_j = 0</tex>, <tex>\mathbb{D} \epsilon_i = \sigma^2</tex>;
 +
 
 +
<tex>\max_i \mid x_i - x_{i-1} \mid = O(\frac 1n)</tex>, если <tex>x_1 \leq x_2 \leq ... \leq x_n</tex>;
 +
 
 +
<tex>K(r)=0</tex> при <tex>r \notin (-1;1)</tex>;
 +
 
 +
при <tex>n \to \infty \ h_n \to 0, \ nh_n \to \infty</tex>.
 +
 
 +
Тогда <tex>\mathbb{E} (\hat y_h_n(x) - y(x))^2 \quad \longrightarrow^{n \to \infty}\quad \frac {\sigma^2 c_k}{n \cdot h_n} \ + \ (\frac{h_n^2 \ d_k \ y''(x)}{2})^2</tex>. Здесь

Версия 19:58, 11 января 2009

Шаблон:TOCRight

Теорема о разложении ошибки на вариацию и смещение

Пусть есть выборка из n k-мерных векторов x^n=(x_1,...x_n). y - отклик, y=(y_1,...,y_n)

\hat y(x) - оценка y по x_i \in x^n, ближайшим к x.

\rho (x,x_i) - метрика, позволяющая сравнить x_i с новым объектом x

Объектам приписаны веса w_i(x)=K(\frac{\rho (x,x_i)}{h}), где K(r) - ядро, а h - ширина окна.

Теорема

Для простоты будем считать k=1.

Пусть y_i = y(x_i) + \epsilon_i, x_i - не случайные, \mathbb{E} \epsilon_i = 0, \mathbb{E} \epsilon_i \epsilon_j = 0, \mathbb{D} \epsilon_i = \sigma^2;

\max_i \mid x_i - x_{i-1} \mid = O(\frac 1n), если x_1 \leq x_2 \leq ... \leq x_n;

K(r)=0 при r \notin (-1;1);

при n \to \infty \ h_n \to 0, \ nh_n \to \infty.

Тогда \mathbb{E} (\hat y_h_n(x) - y(x))^2 \quad \longrightarrow^{n \to \infty}\quad \frac {\sigma^2 c_k}{n \cdot h_n} \ + \ (\frac{h_n^2 \ d_k \ y''(x)}{2})^2. Здесь

Источник — «http://www.machinelearning.ru/wiki/index.php?title=%D0%92%D0%B0%D1%80%D0%B8%D0%B0%D1%86%D0%B8%D1%8F_%D0%B8_%D1%81%D0%BC%D0%B5%D1%89%D0%B5%D0%BD%D0%B8%D0%B5»
Личные инструменты