Дисперсия остатков

Материал из MachineLearning.

Перейти к: навигация, поиск

Качество модели линейной регрессии связано с адекватностью (соответствием) модели наблюдаемым данным. Проверка адекватности модели регрессии проводится на основе анализа регрессионных остатков, в частности, на основе анализа дисперсии остатков.

Содержание

Описание метода

Основными показателями качества линейной регрессионной модели являются:

  • Среднеквадратичная ошибка уравнения регрессии S^2, равная
S^2 = \frac{RSS}{n-k}, \;\; где RSS = \sum\limits_{i=1}^n(y_i-\hat y_i)^2 - остаточная сумма квадратов.
  • Среднеквадратичное отклонение результата \sigma^2:
\sigma^2 = \frac{\sum\limits_{i=1}^n(y_i - \bar y)}{n-1}, \;\; где \bar y = \frac1n \sum\limits_{i=1}^n y_i.


Для оценки дисперсии шума \sigma^2 предварительно проводится серия наблюдений над случайной величиной y при фиксированной величине x. В итоге получаем выборку \tilde y = (\tilde y_1, \cdots, \tilde y_m), где m - число наблюдений. Тогда

 \sigma^2 = \frac{\sum\limits_{i=1}^n(\tilde y_i - \bar{\tilde y})}{n-1}, \;\; где \bar{\tilde y} = \frac1n \sum\limits_{i=1}^n \tilde y_i.
  • В качестве статистики критерия берется отношение
F = \frac{S^2}{\sigma^2} \; \sim \; F_{n-k-1,m}
которое имеет распределение Фишера с n-k-1 и m степенями свободы.
  • Если F > F_{n-k-1,m,\alpha}, где F_\alpha - \alpha-квантиль распределения Фишера, то ошибка в модели регрессии признается статистически значимой.
  • В противном случае модель признается адекватной, и дисперсию S^2 можно использовать в качестве несмещенной оценки для \sigma^2.

Литература

  1. Кобзарь А. И. Прикладная математическая статистика. — М.: Физматлит, 2006. — 816 с.

См. также

Ссылки

Личные инструменты