Вариация и смещение
Материал из MachineLearning.
(Различия между версиями)
| Строка 1: | Строка 1: | ||
| - | {{ | + | {{TOCright}} |
== Теорема о разложении ошибки на вариацию и смещение == | == Теорема о разложении ошибки на вариацию и смещение == | ||
| Строка 11: | Строка 11: | ||
Объектам приписаны веса <tex>w_i(x)=K(\frac{\rho (x,x_i)}{h})</tex>, где <tex>K(r)</tex> - ядро, а <tex>h</tex> - ширина окна. | Объектам приписаны веса <tex>w_i(x)=K(\frac{\rho (x,x_i)}{h})</tex>, где <tex>K(r)</tex> - ядро, а <tex>h</tex> - ширина окна. | ||
| - | '''Теорема''' | + | '''Теорема о разложении ошибки на вариацию и смещение ''' |
Для простоты будем считать <tex>k=1</tex>. | Для простоты будем считать <tex>k=1</tex>. | ||
| - | + | Рассмтаривается модель с фиксированным планом эксперимента, т.е. <tex>y_i = y(x_i) + \epsilon_i</tex>, <tex>\epsilon_i</tex> - независимые и одинаково распределенные случайные ошибки, <tex>\mathbb{E} \epsilon_i = 0</tex>, <tex>\mathbb{E} \epsilon_i \epsilon_j = 0</tex>, <tex>\mathbb{D} \epsilon_i = \sigma^2</tex>; | |
<tex>\max_i \mid x_i - x_{i-1} \mid = O(\frac 1n)</tex>, если <tex>x_1 \leq x_2 \leq ... \leq x_n</tex>; | <tex>\max_i \mid x_i - x_{i-1} \mid = O(\frac 1n)</tex>, если <tex>x_1 \leq x_2 \leq ... \leq x_n</tex>; | ||
| - | <tex>K(r)=0</tex> при <tex>r \notin (-1;1)</tex>; | + | <tex>K(r)=0</tex> при <tex>r \notin (-1;1);</tex><tex> \int_{-1}^1 K(r)dr = 1; \quad \int_{-1}^1 K^2(r)dr = c_k; \int_{-1}^1 r^2 \ K(r)dr = d_k;</tex> |
при <tex>n \to \infty \ h_n \to 0, \ nh_n \to \infty</tex>. | при <tex>n \to \infty \ h_n \to 0, \ nh_n \to \infty</tex>. | ||
| - | Тогда <tex>\mathbb{E} (\hat y_h_n(x) - y(x))^2 \quad \longrightarrow^{n \to \infty}\quad \frac {\sigma^2 c_k}{n \cdot h_n} \ + \ (\frac{h_n^2 \ d_k \ y''(x)}{2})^2</tex>. Здесь | + | Тогда <tex>\mathbb{E} (\hat y_h_n(x) - y(x))^2 \quad \longrightarrow^{n \to \infty}\quad \frac {\sigma^2 c_k}{n \cdot h_n} \ + \ (\frac{h_n^2 \ d_k \ y''(x)}{2})^2</tex>. |
| + | |||
| + | Здесь <tex>\frac {\sigma^2 c_k}{n \cdot h_n}</tex> называется '''вариацией''' и обозначается <tex>Var</tex>, а <tex>(\frac{h_n^2 \ d_k \ y''(x)}{2})^2</tex> называется '''смещением''' и обозначается <tex>Bias</tex>. | ||
| + | |||
| + | == Следствия == | ||
| + | |||
| + | === Следствие 1 === | ||
| + | Сущность [[Непараметрическая регрессия: ядерное сглаживание|сглаживания]] состоит в балансе вариации и смещения. | ||
| + | |||
| + | <tex>h\down \Rightarrow Var \uparrow, Bias \down</tex> | ||
| + | |||
| + | === Следствие 2 === | ||
| + | Если <tex> \mid y''(x) \mid \uparrow \Rightarrow Bias \uparrow</tex> | ||
Версия 20:36, 11 января 2009
|
Теорема о разложении ошибки на вариацию и смещение
Пусть есть выборка из
-мерных векторов
.
- отклик,
- оценка
по
, ближайшим к
.
- метрика, позволяющая сравнить
с новым объектом
Объектам приписаны веса , где
- ядро, а
- ширина окна.
Теорема о разложении ошибки на вариацию и смещение
Для простоты будем считать .
Рассмтаривается модель с фиксированным планом эксперимента, т.е. ,
- независимые и одинаково распределенные случайные ошибки,
,
,
;
, если
;
при
при .
Тогда .
Здесь называется вариацией и обозначается
, а
называется смещением и обозначается
.
Следствия
Следствие 1
Сущность сглаживания состоит в балансе вариации и смещения.
Следствие 2
Если
