Вариация и смещение

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
Строка 1: Строка 1:
-
{{TOCRight}}
+
{{TOCright}}
== Теорема о разложении ошибки на вариацию и смещение ==
== Теорема о разложении ошибки на вариацию и смещение ==
Строка 11: Строка 11:
Объектам приписаны веса <tex>w_i(x)=K(\frac{\rho (x,x_i)}{h})</tex>, где <tex>K(r)</tex> - ядро, а <tex>h</tex> - ширина окна.
Объектам приписаны веса <tex>w_i(x)=K(\frac{\rho (x,x_i)}{h})</tex>, где <tex>K(r)</tex> - ядро, а <tex>h</tex> - ширина окна.
-
'''Теорема'''
+
'''Теорема о разложении ошибки на вариацию и смещение '''
Для простоты будем считать <tex>k=1</tex>.
Для простоты будем считать <tex>k=1</tex>.
-
Пусть <tex>y_i = y(x_i) + \epsilon_i</tex>, <tex>x_i</tex> - не случайные, <tex>\mathbb{E} \epsilon_i = 0</tex>, <tex>\mathbb{E} \epsilon_i \epsilon_j = 0</tex>, <tex>\mathbb{D} \epsilon_i = \sigma^2</tex>;
+
Рассмтаривается модель с фиксированным планом эксперимента, т.е. <tex>y_i = y(x_i) + \epsilon_i</tex>, <tex>\epsilon_i</tex> - независимые и одинаково распределенные случайные ошибки, <tex>\mathbb{E} \epsilon_i = 0</tex>, <tex>\mathbb{E} \epsilon_i \epsilon_j = 0</tex>, <tex>\mathbb{D} \epsilon_i = \sigma^2</tex>;
<tex>\max_i \mid x_i - x_{i-1} \mid = O(\frac 1n)</tex>, если <tex>x_1 \leq x_2 \leq ... \leq x_n</tex>;
<tex>\max_i \mid x_i - x_{i-1} \mid = O(\frac 1n)</tex>, если <tex>x_1 \leq x_2 \leq ... \leq x_n</tex>;
-
<tex>K(r)=0</tex> при <tex>r \notin (-1;1)</tex>;
+
<tex>K(r)=0</tex> при <tex>r \notin (-1;1);</tex><tex> \int_{-1}^1 K(r)dr = 1; \quad \int_{-1}^1 K^2(r)dr = c_k; \int_{-1}^1 r^2 \ K(r)dr = d_k;</tex>
при <tex>n \to \infty \ h_n \to 0, \ nh_n \to \infty</tex>.
при <tex>n \to \infty \ h_n \to 0, \ nh_n \to \infty</tex>.
-
Тогда <tex>\mathbb{E} (\hat y_h_n(x) - y(x))^2 \quad \longrightarrow^{n \to \infty}\quad \frac {\sigma^2 c_k}{n \cdot h_n} \ + \ (\frac{h_n^2 \ d_k \ y''(x)}{2})^2</tex>. Здесь
+
Тогда <tex>\mathbb{E} (\hat y_h_n(x) - y(x))^2 \quad \longrightarrow^{n \to \infty}\quad \frac {\sigma^2 c_k}{n \cdot h_n} \ + \ (\frac{h_n^2 \ d_k \ y''(x)}{2})^2</tex>.
 +
 
 +
Здесь <tex>\frac {\sigma^2 c_k}{n \cdot h_n}</tex> называется '''вариацией''' и обозначается <tex>Var</tex>, а <tex>(\frac{h_n^2 \ d_k \ y''(x)}{2})^2</tex> называется '''смещением''' и обозначается <tex>Bias</tex>.
 +
 
 +
== Следствия ==
 +
 
 +
=== Следствие 1 ===
 +
Сущность [[Непараметрическая регрессия: ядерное сглаживание|сглаживания]] состоит в балансе вариации и смещения.
 +
 
 +
<tex>h\down \Rightarrow Var \uparrow, Bias \down</tex>
 +
 
 +
=== Следствие 2 ===
 +
Если <tex> \mid y''(x) \mid \uparrow \Rightarrow Bias \uparrow</tex>

Версия 20:36, 11 января 2009

Содержание

Теорема о разложении ошибки на вариацию и смещение

Пусть есть выборка из n k-мерных векторов x^n=(x_1,...x_n). y - отклик, y=(y_1,...,y_n)

\hat y(x) - оценка y по x_i \in x^n, ближайшим к x.

\rho (x,x_i) - метрика, позволяющая сравнить x_i с новым объектом x

Объектам приписаны веса w_i(x)=K(\frac{\rho (x,x_i)}{h}), где K(r) - ядро, а h - ширина окна.

Теорема о разложении ошибки на вариацию и смещение

Для простоты будем считать k=1.

Рассмтаривается модель с фиксированным планом эксперимента, т.е. y_i = y(x_i) + \epsilon_i, \epsilon_i - независимые и одинаково распределенные случайные ошибки, \mathbb{E} \epsilon_i = 0, \mathbb{E} \epsilon_i \epsilon_j = 0, \mathbb{D} \epsilon_i = \sigma^2;

\max_i \mid x_i - x_{i-1} \mid = O(\frac 1n), если x_1 \leq x_2 \leq ... \leq x_n;

K(r)=0 при r \notin (-1;1); \int_{-1}^1 K(r)dr = 1; \quad \int_{-1}^1 K^2(r)dr = c_k; \int_{-1}^1 r^2 \ K(r)dr = d_k;

при n \to \infty \  h_n \to 0, \  nh_n \to \infty.

Тогда \mathbb{E} (\hat y_h_n(x) - y(x))^2 \quad \longrightarrow^{n \to \infty}\quad  \frac {\sigma^2 c_k}{n \cdot h_n} \ + \ (\frac{h_n^2 \  d_k \ y''(x)}{2})^2.

Здесь \frac {\sigma^2 c_k}{n \cdot h_n} называется вариацией и обозначается Var, а (\frac{h_n^2 \  d_k \ y''(x)}{2})^2 называется смещением и обозначается Bias.

Следствия

Следствие 1

Сущность сглаживания состоит в балансе вариации и смещения.

h\down \Rightarrow Var \uparrow, Bias \down

Следствие 2

Если  \mid y''(x) \mid \uparrow \Rightarrow Bias \uparrow

Личные инструменты