Метод Белсли

Материал из MachineLearning.

Версия от 14:36, 27 июня 2010; E1ekt (Обсуждение | вклад)

(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)

Линейные регрессионные модели часто используются для исследования зависимости между ответом и признаками, однако результаты часто сомнительны, так как данные не всегда подходящие. Например, при большом количестве признаков часто многие из них сильно зависимы друг от друга, и эта зависимость уменьшает вероятность получения адекватных результатов. Belsley, Kuh и Welsch предложили метод анализа мультиколлинеарности основанный на индексах обусловленности(the scaled condition indexes) и дисперсионных долях(the variance-decomposition proportions).

Анализ коллинеарности

Линейная регрессионная модель:
$y=X \beta + \varepsilon$
где $y$ - n-мерный ветор ответа(зависимой переменной), $X$ - n x p (n>p) матрица признаков $\beta$ - p-мерный вектор неизвестных коэффициентов, $\varepsilon$ - p-мерный вектор случайного возмущения с нулевым матожиданием и ковариационной матрицей ${\sigma}^2 I$ , где $I$ это n x n единичная матрица, а ${\sigma}^2>0$ . Будем считать что $X$ имеет ранг p. Если есть коллинеарность между признаками согласно Belsley имеет смысл использовать сингулярное разложение(SVD) чтобы определить вовлеченные переменные. Матрица сингулярного разложения $X$ определяется как:
$X=UDV^T$
Где $U$ - n x p ортогональная матрица, $D$ - p x p верхняя диагональная матрица, чьи неотрицательные элементы являются сингулярными значениями $X$ , $V$ - p x p ортогональная матрица, чьи колонки это собственные вектора $X^T X$ . Если существует коллинеарная зависимоть, то будут какие-либо сингулярные значения, скажем, (р - s), которые близки к нулю. Предположим, что $d_{jj}$ , или просто $d_{j}$ , элементы матрицы $D$ упорядочены так, что
$d_{1} \geq d_{2} \geq ...\geq d_{s} \geq ... \geq d_{p} \geq 0$
И рассмотрим разбиение
$D=\begin{bmatrix} D_{s\times s} & O_{s \times (p-s)} \\ O_{(p-s) \times s} & D_{(p-s)\times (p-s)} \end{bmatrix}.$