Анализ регрессионных остатков

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(→Свойства регрессионных остатков)
Строка 54: Строка 54:
[[Категория:Прикладная статистика]]
[[Категория:Прикладная статистика]]
[[Категория:Регрессионный анализ]]
[[Категория:Регрессионный анализ]]
-
[[Категория: Энциклопедия анализа данных]]
 
{{UnderConstruction|[[Участник:Валентина Федорова|Валентина Федорова]] 21:38, 23 января 2009 (MSK)}}{{Stub|}}
{{UnderConstruction|[[Участник:Валентина Федорова|Валентина Федорова]] 21:38, 23 января 2009 (MSK)}}{{Stub|}}

Версия 17:26, 23 апреля 2009

Для получения информации об адекватности построеной модели многомерной линейной регрессии исследуют регрессионные остатки. Если выбранная регрессионная модель хорошо описывает истинную зависимость, то остатки должны быть независимыми нормально распределенными случайными величинами с нулевым средним, и в их значениях должен отсутствовать тренд. Анализ регрессионных остатков - это процесс проверки выполнения этих условий.

Содержание

Обозначения

Пусть дана последовательность наблюдаемых величин Y_1(X_1),\dots,Y_n(X_n) и получены их оценки:

\hat{Y_i}(X_i)=X_i \cdot \Theta , X_i \in \mathbb{R}^m , i= 1,\dots,n - предикторные переменные, \Theta \in \mathbb{R}^m - коэффициенты регрессионной модели, \hat{Y}_i \in \mathbb{R} , i= 1,\dots,n - ответ.

Регрессионные остатки обозначим через \varepsilon_i=Y_i-\hat{Y_i}, i= 1,\dots,n.

Свойства регрессионных остатков

Для того, чтобы регрессионная модель хорошо описывала истинные данные, регрессионные остатки \varepsilon_i (i= 1,\dots,n) должны обладать следующими свойствами:

  • E \varepsilon_i = 0,i= 1,\dots,n
    (1)

Эту гипотезу можно проверять любым параметрическим или непараметрическим критерием сравнения среднего с заданным значением( в данном случае - с нулём).

  • D \varepsilon_i = \sigma^2,i= 1,\dots,n
    (2)
    - т.е. одинаковая дисперсия.

Проверяется аналогично, любым параметрическим или непараметрическим критерием сравнения дисперсии с заданным значением. Например, Критерий Зигеля-Тьюки.

  • \varepsilon_i \sim N(0,\sigma) i= 1,\dots,n, i \neq j
    (3)

Это дополнительное предположение. Его важно проверить, если для проверки других свойств регрессионных остатков мы хотим использовать статистический критерий, предполагающий нормальность данных. Для проверки этой гипотезы можно использовать Критерий нормальности.

  • \varepsilon_i i= 1,\dots,n
    (4)
    - независимы.

Независимость остатков может быть проверена при помощи статистики Дарбина-Уотсона.

  • (6)
E \varepsilon_i \varepsilon_j = 0,i,j= 1,\dots,n, i \neq j;
E \varepsilon_i \hat{Y_i} = 0,i= 1,\dots,n;
E \varepsilon_i i = 0,i= 1,\dots,n;
E \varepsilon_i x_{ij} = 0,i= 1,\dots,n,j= 1,\dots,m, X_i = (x_{i1} , \dots, x_{im}).

Для проверки этих условий используется визуальный анализ. Зависимость \varepsilon_i (\cdot) не должна иметь закономерностей, где \cdot = \varepsilon_j,i,\hat{Y_i},x_{ij}.

  • Гипотеза случайности \varepsilon_i
Один из вариантов проверки этой гипотезы критерий экстремумов.
(7)
  • Гипотеза отсутствия тренда
    (8)

Отсутствие тренда удобно проверять с помощью U-критерия. Также можно применить визуальный анализ.

  • Гипотеза стационарности \varepsilon_i

Эта гипотеза - объединяет (2),(4). Если выполнено (1), то стационарность удобно проверять с помощью критерия серий.

Литература

  1. Кобзарь А. И. Прикладная математическая статистика. — М.: Физматлит, 2006. — 816 с. (стр. 658-659)

См. также

Ссылки


Статья в настоящий момент дорабатывается.
Валентина Федорова 21:38, 23 января 2009 (MSK)
Источник — «http://www.machinelearning.ru/wiki/index.php?title=%D0%90%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D1%80%D0%B5%D0%B3%D1%80%D0%B5%D1%81%D1%81%D0%B8%D0%BE%D0%BD%D0%BD%D1%8B%D1%85_%D0%BE%D1%81%D1%82%D0%B0%D1%82%D0%BA%D0%BE%D0%B2»
Личные инструменты