Анализ регрессионных остатков (пример)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
Строка 9: Строка 9:
*<tex> E \varepsilon_i = 0,i= 1,\dots,n</tex>{{eqno|1}}
*<tex> E \varepsilon_i = 0,i= 1,\dots,n</tex>{{eqno|1}}
*<tex> D \varepsilon_i = \sigma^2,i= 1,\dots,n</tex>{{eqno|2}}
*<tex> D \varepsilon_i = \sigma^2,i= 1,\dots,n</tex>{{eqno|2}}
-
*<tex> \varepsilon_i \sim N(0,\sigma) i= 1,\dots,n, i \neq j</tex> {{eqno|3}}
+
*<tex> \varepsilon_i \sim N(0,\sigma) i= 1,\dots,n</tex> {{eqno|3}}
*<tex> \varepsilon_i i= 1,\dots,n</tex>{{eqno|4}} - независимы
*<tex> \varepsilon_i i= 1,\dots,n</tex>{{eqno|4}} - независимы
где <tex>\varepsilon_i=y_i-\hat{y_i}</tex>, <tex>i= 1,\dots,n</tex> - регрессионные остатки конкретной модели.
где <tex>\varepsilon_i=y_i-\hat{y_i}</tex>, <tex>i= 1,\dots,n</tex> - регрессионные остатки конкретной модели.

Версия 20:28, 16 июня 2010

Для получения информации об адекватности построенной модели многомерной линейной регрессии используется анализ регрессионных остатков

Постановка задачи

Задана выборка D = \{ y_i,\mathbf{x}_i\}_{i=1}^n откликов и признаков. Рассматривается множество линейных регрессионных моделей вида:

y_i=\sum_{j=1}^m w_j x_{ij} + \varepsilon_i, i=1,\dots,n. Требуется создать инструмент анализа адекватности модели используя анализ регрессионных остатков и исследовать значимость признаков и поведение остатков в случае гетероскедастичности.

Описание алгоритма

Анализ регрессионных остатков заключается в проверке нескольких гипотез:

  •  E \varepsilon_i = 0,i= 1,\dots,n
    (1)
  •  D \varepsilon_i = \sigma^2,i= 1,\dots,n
    (2)
  •   \varepsilon_i \sim N(0,\sigma) i= 1,\dots,n
    (3)
  •   \varepsilon_i  i= 1,\dots,n
    (4)
    - независимы

где \varepsilon_i=y_i-\hat{y_i}, i= 1,\dots,n - регрессионные остатки конкретной модели.

Для проверки первого критерия воспользуемся критерием знаков Для второго критерия целесообразно применить

Личные инструменты