Метод Белсли
Материал из MachineLearning.
м (→Разложение линейной модели) |
|||
Строка 4: | Строка 4: | ||
<tex>y=X \beta + \varepsilon.</tex> (1)<br /> | <tex>y=X \beta + \varepsilon.</tex> (1)<br /> | ||
где <tex>y</tex> - <tex>n</tex>-мерный ветор ответа(зависимой переменной), <tex>X</tex> - <tex>n \times p</tex> <tex>(n>p)</tex> матрица признаков <tex>\beta</tex> - <tex>p</tex>-мерный вектор неизвестных коэффициентов, <tex>\varepsilon</tex> - <tex>p</tex>-мерный вектор случайного возмущения с нулевым матожиданием и ковариационной матрицей <tex>{\sigma}^2 I</tex>, где <tex>I</tex> это <tex>n \times n</tex> единичная матрица, а <tex>{\sigma}^2>0</tex>. Будем считать что <tex>X</tex> имеет ранг <tex>p</tex>. | где <tex>y</tex> - <tex>n</tex>-мерный ветор ответа(зависимой переменной), <tex>X</tex> - <tex>n \times p</tex> <tex>(n>p)</tex> матрица признаков <tex>\beta</tex> - <tex>p</tex>-мерный вектор неизвестных коэффициентов, <tex>\varepsilon</tex> - <tex>p</tex>-мерный вектор случайного возмущения с нулевым матожиданием и ковариационной матрицей <tex>{\sigma}^2 I</tex>, где <tex>I</tex> это <tex>n \times n</tex> единичная матрица, а <tex>{\sigma}^2>0</tex>. Будем считать что <tex>X</tex> имеет ранг <tex>p</tex>. | ||
- | Если есть коллинеарность между признаками согласно Belsley имеет смысл использовать сингулярное разложение(SVD) чтобы определить вовлеченные переменные. Матрица сингулярного разложения <tex>X</tex> определяется как: <br/> | + | Если есть коллинеарность между признаками согласно Belsley имеет смысл использовать сингулярное разложение(SVD), чтобы определить вовлеченные переменные. Матрица сингулярного разложения <tex>X</tex> определяется как: <br/> |
<tex>X=UDV^T.</tex> (2)<br/> | <tex>X=UDV^T.</tex> (2)<br/> | ||
- | + | Здесь <tex>U</tex> - <tex>n \times p</tex> ортогональная матрица, <tex>D</tex> - <tex>p \times p</tex> верхняя диагональная матрица, чьи неотрицательные элементы являются сингулярными значениями <tex>X</tex>, <tex>V</tex> - <tex>p \times p</tex> ортогональная матрица, чьи колонки это собственные вектора <tex>X^T X</tex>. Если существует коллинеарная зависимоть, то | |
- | + | некоторые сингулярные значения, скажем, <tex>(р - s)</tex>, близки к нулю. | |
Предположим, что <tex>d_{jj}</tex>, или просто <tex>d_{j}</tex>, элементы матрицы <tex>D</tex> упорядочены так, что <br/> | Предположим, что <tex>d_{jj}</tex>, или просто <tex>d_{j}</tex>, элементы матрицы <tex>D</tex> упорядочены так, что <br/> | ||
<tex>d_{1} \geq d_{2} \geq ...\geq d_{s} \geq ... \geq d_{p} \geq 0 </tex><br/> | <tex>d_{1} \geq d_{2} \geq ...\geq d_{s} \geq ... \geq d_{p} \geq 0 </tex><br/> | ||
Строка 14: | Строка 14: | ||
D=\begin{pmatrix} D_{s\times s} & O_{s \times (p-s)} \\ O_{(p-s) \times s} & D_{(p-s)\times (p-s)} \end{pmatrix}, | D=\begin{pmatrix} D_{s\times s} & O_{s \times (p-s)} \\ O_{(p-s) \times s} & D_{(p-s)\times (p-s)} \end{pmatrix}, | ||
</tex> (3) | </tex> (3) | ||
- | где <tex>D_{s\times s}</tex> и <tex>D_{(p-s)\times (p-s)}</tex> | + | где <tex>D_{s\times s}</tex> и <tex>D_{(p-s)\times (p-s)}</tex> диагональные, и недиагональные блоки нулевые. <tex>D_{s\times s}</tex>, или просто <tex>D_{S}</tex>, содержит достаточно большие сингулярные значения, а <tex>D_{(p-s)\times (p-s)}</tex>, или <tex>D_{N}</tex>, содержит близкие к нулю. |
Теперь разделим <tex>U</tex> и <tex>V</tex> соответственно: <br/> | Теперь разделим <tex>U</tex> и <tex>V</tex> соответственно: <br/> | ||
<tex> | <tex> | ||
Строка 22: | Строка 22: | ||
V=(V_{p\times s} V_{p \times (p-s)}) = (V_{S} V_{N}), | V=(V_{p\times s} V_{p \times (p-s)}) = (V_{S} V_{N}), | ||
</tex> (4) <br/> | </tex> (4) <br/> | ||
- | где <tex>U_{S}</tex> и <tex>V_{S}</tex> соответствуют первым s наибольших сингулярных значений, а <tex>U_{N}</tex> и <tex>V_{N}</tex> содержат <tex>(p-s)</tex> | + | где <tex>U_{S}</tex> и <tex>V_{S}</tex> соответствуют первым <tex>s</tex> наибольших сингулярных значений, а <tex>U_{N}</tex> и <tex>V_{N}</tex> содержат <tex>(p-s)</tex> векторов соответствующих малым сингулярным значениям. |
Матрица <tex>U</tex> ортогональна, т.е <tex>U^T U=I_{p \times p}</tex>, так же как и <tex>U_{S}</tex> и <tex>U_{N}</tex>. Таким образом : <br/> <tex>U^{T}_{S} U_{S}=I_{s \times s}</tex> <br/> | Матрица <tex>U</tex> ортогональна, т.е <tex>U^T U=I_{p \times p}</tex>, так же как и <tex>U_{S}</tex> и <tex>U_{N}</tex>. Таким образом : <br/> <tex>U^{T}_{S} U_{S}=I_{s \times s}</tex> <br/> | ||
<tex>U^{T}_{N} U_{N}=I_{(p-s) \times (p-s)}</tex> <br/> | <tex>U^{T}_{N} U_{N}=I_{(p-s) \times (p-s)}</tex> <br/> | ||
Строка 38: | Строка 38: | ||
<tex>X_{N}=U_{N} D_{N} V_{N}^T</tex> (8)<br/> | <tex>X_{N}=U_{N} D_{N} V_{N}^T</tex> (8)<br/> | ||
Заметим что получившиеся матрицы ортогональны, т.е :<br/> | Заметим что получившиеся матрицы ортогональны, т.е :<br/> | ||
- | <tex>X_{S}^{T} X_{N} = O </tex>(9) <br/> | + | <tex>X_{S}^{T} X_{N} = O, </tex>(9) <br/> |
что обеспечивает возможность ортогонального разложения <tex>X</tex> :<br/> | что обеспечивает возможность ортогонального разложения <tex>X</tex> :<br/> | ||
- | <tex>X=X_{S}+X_{N}</tex> (10)<br/> | + | <tex>X=X_{S}+X_{N}.</tex> (10)<br/> |
Здесь все матрицы имеют размер <tex>n \times p</tex> и полагая что <tex>X</tex> имеет ранг <tex>p</tex>, <tex>X_{S}</tex> и <tex>X_{N}</tex> имеють ранг <tex>s</tex> и <tex>(p-s)</tex> соответственно. Тогда для разложения (2) :<br/> | Здесь все матрицы имеют размер <tex>n \times p</tex> и полагая что <tex>X</tex> имеет ранг <tex>p</tex>, <tex>X_{S}</tex> и <tex>X_{N}</tex> имеють ранг <tex>s</tex> и <tex>(p-s)</tex> соответственно. Тогда для разложения (2) :<br/> | ||
<tex>X(V_{S} V_{N})=(U_{S} U_{N}) \begin{pmatrix} | <tex>X(V_{S} V_{N})=(U_{S} U_{N}) \begin{pmatrix} | ||
Строка 50: | Строка 50: | ||
и <br/> | и <br/> | ||
<tex>X V_{N}=X_{N} V_{N}=U_{N} D_{N} \approx O </tex> (13)<br/> | <tex>X V_{N}=X_{N} V_{N}=U_{N} D_{N} \approx O </tex> (13)<br/> | ||
- | Равенства в (12) и (13) получаются из (8) и (10) ссылаясь на то что из ортогональности <tex>V</tex> следует <tex>V^T_N V_S = O</tex>. Это значит что <tex>X_S</tex> содержит всю информацию, и только ее, входящую в <tex>X</tex> которая свободна от коллинеарности связанной с остальными <tex>(p-s) </tex>собственными векторами.<br/> | + | Равенства в (12) и (13) получаются из (8) и (10) ссылаясь на то что из ортогональности <tex>V</tex> следует <tex>V^T_N V_S = O</tex>. Это значит что <tex>X_S</tex> содержит всю информацию, и только ее, входящую в <tex>X</tex>, которая свободна от коллинеарности связанной с остальными <tex>(p-s) </tex>собственными векторами.<br/> |
Соответственно <tex>X_N</tex> содержит только информацию связанную с коллинеарностью делая прогноз на дополнительное пространство <tex> \mathbb R^{\mathrm (p-s)}</tex>. Это пространство связанное с элементами матрицы <tex>D_N</tex> близкими к нулю называется квази-нулевым пространством<br/> | Соответственно <tex>X_N</tex> содержит только информацию связанную с коллинеарностью делая прогноз на дополнительное пространство <tex> \mathbb R^{\mathrm (p-s)}</tex>. Это пространство связанное с элементами матрицы <tex>D_N</tex> близкими к нулю называется квази-нулевым пространством<br/> | ||
Следовательно предложенное разложение подчеркивает <tex>X_S</tex> как часть <tex>X</tex> полученную из s основных компонентов которые в меньшей степени участвуют в коллинеарности. <tex>X^N</tex> же содержит информацию связанную с <tex>p-s</tex> компонентами которые участвую в коллинеарных зависимостях. Переменные, входящие в коллинеарности, это те, которые имеют наибольшие координаты в столбцах матрицы <tex>V_N</tex>. | Следовательно предложенное разложение подчеркивает <tex>X_S</tex> как часть <tex>X</tex> полученную из s основных компонентов которые в меньшей степени участвуют в коллинеарности. <tex>X^N</tex> же содержит информацию связанную с <tex>p-s</tex> компонентами которые участвую в коллинеарных зависимостях. Переменные, входящие в коллинеарности, это те, которые имеют наибольшие координаты в столбцах матрицы <tex>V_N</tex>. |
Версия 08:30, 27 августа 2010
Belsley, Kuh и Welsch предложили метод анализа мультиколлинеарности основанный на индексах обусловленности(the scaled condition indexes) и дисперсионных долях(the variance-decomposition proportions).
Содержание |
Разложение линейной модели
Линейная регрессионная модель:
(1)
где -
-мерный ветор ответа(зависимой переменной),
-
матрица признаков
-
-мерный вектор неизвестных коэффициентов,
-
-мерный вектор случайного возмущения с нулевым матожиданием и ковариационной матрицей
, где
это
единичная матрица, а
. Будем считать что
имеет ранг
.
Если есть коллинеарность между признаками согласно Belsley имеет смысл использовать сингулярное разложение(SVD), чтобы определить вовлеченные переменные. Матрица сингулярного разложения
определяется как:
(2)
Здесь -
ортогональная матрица,
-
верхняя диагональная матрица, чьи неотрицательные элементы являются сингулярными значениями
,
-
ортогональная матрица, чьи колонки это собственные вектора
. Если существует коллинеарная зависимоть, то
некоторые сингулярные значения, скажем,
, близки к нулю.
Предположим, что
, или просто
, элементы матрицы
упорядочены так, что
И рассмотрим разбиение
(3)
где
и
диагональные, и недиагональные блоки нулевые.
, или просто
, содержит достаточно большие сингулярные значения, а
, или
, содержит близкие к нулю.
Теперь разделим
и
соответственно:
(4)
где и
соответствуют первым
наибольших сингулярных значений, а
и
содержат
векторов соответствующих малым сингулярным значениям.
Матрица
ортогональна, т.е
, так же как и
и
. Таким образом :
(5)
Т.к тоже ортогональна, то
(6)
Таким образом разложение нам дает:
(7)
Обозначим слагаемые в правой части как
(8)
Заметим что получившиеся матрицы ортогональны, т.е :
(9)
что обеспечивает возможность ортогонального разложения :
(10)
Здесь все матрицы имеют размер и полагая что
имеет ранг
,
и
имеють ранг
и
соответственно. Тогда для разложения (2) :
(11)
Далее мы получаем
(12)
и
(13)
Равенства в (12) и (13) получаются из (8) и (10) ссылаясь на то что из ортогональности следует
. Это значит что
содержит всю информацию, и только ее, входящую в
, которая свободна от коллинеарности связанной с остальными
собственными векторами.
Соответственно содержит только информацию связанную с коллинеарностью делая прогноз на дополнительное пространство
. Это пространство связанное с элементами матрицы
близкими к нулю называется квази-нулевым пространством
Следовательно предложенное разложение подчеркивает как часть
полученную из s основных компонентов которые в меньшей степени участвуют в коллинеарности.
же содержит информацию связанную с
компонентами которые участвую в коллинеарных зависимостях. Переменные, входящие в коллинеарности, это те, которые имеют наибольшие координаты в столбцах матрицы
.
Вектор
минимизирующего ошибку в метода наименьших квадратов:
(14)
где - псевдообратная матрица
и последнее равенство выполняется только если
имеет полный ранг. Используя предыдущее разложение может быть показано что:
(15)
Последнее равенство получается из того что
- сингулярное разложение
и следовательно
. Для
аналогично.
Подставляя (15) и (7) в (14) получаем:
(16)
Окончательно модель:
(17)
Где это вектор остатков.
Из (15) получаем:
(18)
Элементы на главной диогонали это VIF, которые могут быть разложены на компоненты соответствующие каждому
и
Выявление мультиколлинеарности
Когда есть мультиколлинеарность одино или более собственных значений близко к нулю, и соответствующие им собственные вектора содержат информацию о зависимостях между признаками. Выведеное разложение помогает выявить какие переменные показывают наибольшую вовлеченность в зависимости.
Из (16) получаем:
(19)
где и
. Значения
и
зависят от элементов
и
, и от соотношений
которые играют основную роль в объяснении соотношений между признаками.
всегда больше нуля(мы считаем что ранг
равен p), тогда как
принимает значения от -1 до 1. Отрицательные значения
могут вести к
и
разных знаков, и один из них может иметь абсолютное значение больше
. Что касается собственных векторов соответствующих очень малым значениям собственных значений, то известно, что
с большими абсолютными значениями озночают что соответствующие переменные сильно вовлечены в мультиколлинеарность. Если несколько собственных значений близки к нулю, то мы можем увеличить порядок (p-s)
по шагам используя разложение (7) и обычно мы будем наблюдать уменьшение абсолютных значений
и увеличение
. Когда (p-s) соответствует числу индексов обусловленности показывающих существование зависимостей
может рассматриваться как общие значения параметров метода наименьших квадратов. Это актуально, когда знак какого-либо параметра не является таким как ожидалось, и в целом это зависит от мультиколлинеарности.С помощью разложения, как уже отмечалось, мы можем получить что
будет иметь нужный знак, в то время как часть значения перешедшего
(благодаря коллинеарности) будет иметь противоположный знак и большее абсолютное значение.
Чтобы исследовать влияние коллинеарности на параметры линейной регрессии лучше, ковариационная матрица может быть переписана:
(20)
и
(21)
Отклонение каждого может быть выражено как
(22)
Из (18) мы можем разделить отклонение:
(23)
Так как сингулярные значения близки к нулю,то если соответствующие
не очень малы, второй член будет больше первого, т.к отклонение
будет больше чем
.Тогда по мере увеличения размерности квази-нуль пространства, мы можем ожидать, что переменные, которые более активно участвовуют в коллинеарных отношениях, связанных с собственными векторами принадлежащими этому пространству должны будут уменьшать значения
и увеличивать
.