Метод Белсли

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
м (→Анализ коллинеарности)
м (→Анализ коллинеарности)
Строка 2: Строка 2:
==Анализ коллинеарности==
==Анализ коллинеарности==
Линейная регрессионная модель: <br />
Линейная регрессионная модель: <br />
-
<tex>y=X \beta + \varepsilon</tex><br />
+
<tex>y=X \beta + \varepsilon</tex><br />
где <tex>y</tex> - n-мерный ветор ответа(зависимой переменной), <tex>X</tex> - n x p (n>p) матрица признаков <tex>\beta</tex> - p-мерный вектор неизвестных коэффициентов, <tex>\varepsilon</tex> - p-мерный вектор случайного возмущения с нулевым матожиданием и ковариационной матрицей <tex>{\sigma}^2 I</tex>, где <tex>I</tex> это n x n единичная матрица, а <tex>{\sigma}^2>0</tex>. Будем считать что <tex>X</tex> имеет ранг p.
где <tex>y</tex> - n-мерный ветор ответа(зависимой переменной), <tex>X</tex> - n x p (n>p) матрица признаков <tex>\beta</tex> - p-мерный вектор неизвестных коэффициентов, <tex>\varepsilon</tex> - p-мерный вектор случайного возмущения с нулевым матожиданием и ковариационной матрицей <tex>{\sigma}^2 I</tex>, где <tex>I</tex> это n x n единичная матрица, а <tex>{\sigma}^2>0</tex>. Будем считать что <tex>X</tex> имеет ранг p.
Если есть коллинеарность между признаками согласно Belsley имеет смысл использовать сингулярное разложение(SVD) чтобы определить вовлеченные переменные. Матрица сингулярного разложения <tex>X</tex> определяется как: <br/>
Если есть коллинеарность между признаками согласно Belsley имеет смысл использовать сингулярное разложение(SVD) чтобы определить вовлеченные переменные. Матрица сингулярного разложения <tex>X</tex> определяется как: <br/>
Строка 32: Строка 32:
<tex>V^{T}_{S} V_{N}=O_{s \times (p-s)}</tex> <br/> <br/>
<tex>V^{T}_{S} V_{N}=O_{s \times (p-s)}</tex> <br/> <br/>
<tex>V^{T}_{N} V_{S}=O_{(p-s) \times s}</tex> <br/><br/>
<tex>V^{T}_{N} V_{S}=O_{(p-s) \times s}</tex> <br/><br/>
 +
Таким образом разложение нам дает: <br/>
 +
<tex>X=UDV^T=U_{S} D_{S} V_{S}^T + U_{N} D_{N} V_{N}^T</tex><br/>
 +
Обозначим слагаемые в правой части как <br/>
 +
<tex>X_{S}=U_{S} D_{S} V_{S}^T</tex><br/><br/>
 +
<tex>X_{N}=U_{N} D_{N} V_{N}^T</tex><br/>
 +
Заметим что получившиеся матрицы ортогональны, т.е :<br/>
 +
<tex>X_{S}^{T} X_{N} = O </tex> <br/>
 +
что обеспечивает возможность ортогонального разложения tex>X</tex> :<br/>
 +
<tex>X=X_{S}+X_{N}</tex><br/>
 +
Здесь все матрицы имеют размер <tex>n \times p</tex> и полагая что <tex>X</tex> имеет ранг p, <tex>X_{S}</tex> и <tex>X_{N}</tex> имеють ранг s и (p-s) соответственно.
==Анализ полученных данных==
==Анализ полученных данных==

Версия 17:25, 28 июня 2010

Линейные регрессионные модели часто используются для исследования зависимости между ответом и признаками, однако результаты часто сомнительны, так как данные не всегда подходящие. Например, при большом количестве признаков часто многие из них сильно зависимы друг от друга, и эта зависимость уменьшает вероятность получения адекватных результатов. Belsley, Kuh и Welsch предложили метод анализа мультиколлинеарности основанный на индексах обусловленности(the scaled condition indexes) и дисперсионных долях(the variance-decomposition proportions).

Содержание

Анализ коллинеарности

Линейная регрессионная модель:
y=X \beta + \varepsilon
где y - n-мерный ветор ответа(зависимой переменной), X - n x p (n>p) матрица признаков \beta - p-мерный вектор неизвестных коэффициентов, \varepsilon - p-мерный вектор случайного возмущения с нулевым матожиданием и ковариационной матрицей {\sigma}^2 I, где I это n x n единичная матрица, а {\sigma}^2>0. Будем считать что X имеет ранг p. Если есть коллинеарность между признаками согласно Belsley имеет смысл использовать сингулярное разложение(SVD) чтобы определить вовлеченные переменные. Матрица сингулярного разложения X определяется как:
X=UDV^T
Где U - n x p ортогональная матрица, D - p x p верхняя диагональная матрица, чьи неотрицательные элементы являются сингулярными значениями X, V - p x p ортогональная матрица, чьи колонки это собственные вектора X^T X. Если существует коллинеарная зависимоть, то будут какие-либо сингулярные значения, скажем, (р - s), которые близки к нулю. Предположим, что d_{jj}, или просто d_{j}, элементы матрицы D упорядочены так, что
d_{1} \geq d_{2} \geq ...\geq d_{s} \geq ... \geq d_{p} \geq 0
И рассмотрим разбиение
D=\begin{bmatrix} D_{s\times s} & O_{s \times (p-s)} \\ O_{(p-s) \times s} & D_{(p-s)\times (p-s)} \end{bmatrix}, где D_{s\times s} и D_{(p-s)\times (p-s)} диогональные, и недиогональнык блоки нулевые. D_{s\times s}, или просто D_{S}, содержит достаточно большие сингулярные значения, а D_{(p-s)\times (p-s)}, или D_{N}, содержит близкие к нулю. Теперь разделим U и V соответственно:
U=(U_{n\times s} U_{n \times (p-s)}) = (U_{S} U_{N})
V=(U_{p\times s} V_{p \times (p-s)}) = (V_{S} V_{N}),
где U_{S} и V_{S} соответствуют первым s наибольших сингулярных значений, а U_{N} и V_{N} содержат (p-s) веторов соответствующих малым сингулярным значениям. Матрица U ортогональна, т.е U^T U=I_{p \times p}, так же как и U_{S} и U_{N}. Таким образом :
U^{T}_{S} U_{S}=I_{s \times s}

U^{T}_{N} U_{N}=I_{(p-s) \times (p-s)}

U^{T}_{S} U_{N}=O_{s \times (p-s)}

U^{T}_{N} U_{S}=O_{(p-s) \times s}

Т.к V тоже ортогональна, то
V^{T}_{S} V_{S}=I_{s \times s}

V^{T}_{N} V_{N}=I_{(p-s) \times (p-s)}

V^{T}_{S} V_{N}=O_{s \times (p-s)}

V^{T}_{N} V_{S}=O_{(p-s) \times s}

Таким образом разложение нам дает:
X=UDV^T=U_{S} D_{S} V_{S}^T + U_{N} D_{N} V_{N}^T
Обозначим слагаемые в правой части как
X_{S}=U_{S} D_{S} V_{S}^T

X_{N}=U_{N} D_{N} V_{N}^T
Заметим что получившиеся матрицы ортогональны, т.е :
X_{S}^{T} X_{N} = O
что обеспечивает возможность ортогонального разложения tex>X</tex> :
X=X_{S}+X_{N}
Здесь все матрицы имеют размер n \times p и полагая что X имеет ранг p, X_{S} и X_{N} имеють ранг s и (p-s) соответственно.

Анализ полученных данных

Смотри также

Литература

Источник — «http://www.machinelearning.ru/wiki/index.php?title=%D0%9C%D0%B5%D1%82%D0%BE%D0%B4_%D0%91%D0%B5%D0%BB%D1%81%D0%BB%D0%B8»
Личные инструменты