Метод Белсли
Материал из MachineLearning.
м (→Анализ коллинеарности) |
м (→Анализ коллинеарности) |
||
Строка 23: | Строка 23: | ||
</tex> <br/> | </tex> <br/> | ||
где <tex>U_{S}</tex> и <tex>V_{S}</tex> соответствуют первым s наибольших сингулярных значений, а <tex>U_{N}</tex> и <tex>V_{N}</tex> содержат <tex>(p-s)</tex> веторов соответствующих малым сингулярным значениям. | где <tex>U_{S}</tex> и <tex>V_{S}</tex> соответствуют первым s наибольших сингулярных значений, а <tex>U_{N}</tex> и <tex>V_{N}</tex> содержат <tex>(p-s)</tex> веторов соответствующих малым сингулярным значениям. | ||
+ | Матрица <tex>U</tex> ортогональна, т.е <tex>U^T U=I_{p \times p}</tex>, так же как и <tex>U_{S}</tex> и <tex>U_{N}</tex>. Таким образом : <br/> <tex>U^{T}_{S} U_{S}=I_{s \times s}</tex> <br/><br/> | ||
+ | <tex>U^{T}_{N} U_{N}=I_{(p-s) \times (p-s)}</tex> <br/> <br/> | ||
+ | <tex>U^{T}_{S} U_{N}=O_{s \times (p-s)}</tex> <br/> <br/> | ||
+ | <tex>U^{T}_{N} U_{S}=O_{(p-s) \times s}</tex> <br/><br/> | ||
==Анализ полученных данных== | ==Анализ полученных данных== |
Версия 17:14, 28 июня 2010
Линейные регрессионные модели часто используются для исследования зависимости между ответом и признаками, однако результаты часто сомнительны, так как данные не всегда подходящие. Например, при большом количестве признаков часто многие из них сильно зависимы друг от друга, и эта зависимость уменьшает вероятность получения адекватных результатов. Belsley, Kuh и Welsch предложили метод анализа мультиколлинеарности основанный на индексах обусловленности(the scaled condition indexes) и дисперсионных долях(the variance-decomposition proportions).
Содержание |
Анализ коллинеарности
Линейная регрессионная модель:
где - n-мерный ветор ответа(зависимой переменной),
- n x p (n>p) матрица признаков
- p-мерный вектор неизвестных коэффициентов,
- p-мерный вектор случайного возмущения с нулевым матожиданием и ковариационной матрицей
, где
это n x n единичная матрица, а
. Будем считать что
имеет ранг p.
Если есть коллинеарность между признаками согласно Belsley имеет смысл использовать сингулярное разложение(SVD) чтобы определить вовлеченные переменные. Матрица сингулярного разложения
определяется как:
Где - n x p ортогональная матрица,
- p x p верхняя диагональная матрица, чьи неотрицательные элементы являются сингулярными значениями
,
- p x p ортогональная матрица, чьи колонки это собственные вектора
. Если существует коллинеарная зависимоть, то
будут какие-либо сингулярные значения, скажем, (р - s), которые близки к нулю.
Предположим, что
, или просто
, элементы матрицы
упорядочены так, что
И рассмотрим разбиение
где
и
диогональные, и недиогональнык блоки нулевые.
, или просто
, содержит достаточно большие сингулярные значения, а
, или
, содержит близкие к нулю.
Теперь разделим
и
соответственно:
где и
соответствуют первым s наибольших сингулярных значений, а
и
содержат
веторов соответствующих малым сингулярным значениям.
Матрица
ортогональна, т.е
, так же как и
и
. Таким образом :