Метод Белсли
Материал из MachineLearning.
(→Разложение линейной модели) |
(→Выявление мультиколлинеарности: переработка) |
||
Строка 79: | Строка 79: | ||
==Выявление мультиколлинеарности== | ==Выявление мультиколлинеарности== | ||
- | + | Мультиколлинеарность влечет близость к нулю одного или более собственных значений, соответствующие им собственные вектора содержат информацию о зависимостях между признаками. | |
+ | Предложенное разложение помогает выявить переменные, которые показывают наибольшую вовлеченность в зависимости.<br/> | ||
Из (16) получаем:<br/> | Из (16) получаем:<br/> | ||
- | <tex>{\beta}_i={\beta}_{Si}+{\beta}_{Ni}=\sum^{s}_{j=1} { \frac{{\upsilon}_{ij}}{d_j}} \sum^{n}_{l=1} { {u}_{lj}}{y_l} + \sum^{n}_{j=s+1} { \frac{{\upsilon}_{ij}}{d_j}} \sum^{n}_{l=1} { {u}_{lj}}{y_l} </tex>(19)<br/> | + | <tex>{\beta}_i={\beta}_{Si}+{\beta}_{Ni}=\sum^{s}_{j=1} { \frac{{\upsilon}_{ij}}{d_j}} \sum^{n}_{l=1} { {u}_{lj}}{y_l} + \sum^{n}_{j=s+1} { \frac{{\upsilon}_{ij}}{d_j}} \sum^{n}_{l=1} { {u}_{lj}}{y_l} </tex>, (19)<br/> |
- | где <tex>V=({\upsilon}_{ij})</tex> и <tex>U=({u}_{ij})</tex>. Значения <tex>{\beta}_{Si}</tex> и <tex>{\beta}_{Ni}</tex> зависят от элементов <tex>U</tex> и <tex>y</tex>, и от соотношений <tex>\frac{{\upsilon}_{ij}}{d_j}</tex> | + | где <tex>V=({\upsilon}_{ij})</tex> и <tex>U=({u}_{ij})</tex>. |
- | Чтобы исследовать влияние коллинеарности на параметры линейной регрессии | + | Значения <tex>{\beta}_{Si}</tex> и <tex>{\beta}_{Ni}</tex> зависят от элементов <tex>U</tex> и <tex>y</tex>, и от соотношений <tex>\frac{{\upsilon}_{ij}}{d_j}</tex>, определяющих соотношения между признаками. |
+ | Значения <tex>d_j</tex> всегда больше нуля (мы считаем что ранг <tex>X</tex> равен p), тогда как <tex>{\upsilon}_{ij}</tex> принимает значения от -1 до 1. | ||
+ | Отрицательные значения <tex>{\upsilon}_{ij}</tex> могут привести к тому, что <tex>{\beta}_{Si}</tex> и <tex>{\beta}_{Ni}</tex> будут разных знаков. | ||
+ | При этом один из параметров может иметь абсолютное значение больше <tex>\beta</tex>. | ||
+ | Для собственных векторов, соответствующих очень маленьким собственным значениям, верно, что большие абсолютные значения <tex>{\upsilon}_{ij}</tex> означают вовлеченность соответствующих переменных в мультиколлинеарность. | ||
+ | Если несколько собственных значений близки к нулю, то мы можем пересмотреть понятие близости к нулю. Тем самым, мы увеличим порядок <tex>(p-s)</tex>. | ||
+ | Это обычно приводит к уменьшению абсолютных значений <tex>{\beta}_{Si}</tex> и увеличению <tex>{\beta}_{Ni}</tex>. | ||
+ | Если <tex>(p-s)</tex> соответствует числу индексов обусловленности, существование зависимостей <tex>{\beta}_{Si}</tex> может рассматриваться как общие значения параметров метода наименьших квадратов. | ||
+ | Это имеет значение, в случае несоответствия знака параметра экспертной модели. | ||
+ | С помощью разложения мы можем получить нужный знак <tex>{\beta}_{Si}</tex>, в то время как часть значений параметров <tex>{\beta}_{Ni}</tex> будет иметь противоположный знак и большее абсолютное значение.<br/> | ||
+ | Чтобы лучше исследовать влияние коллинеарности на параметры линейной регрессии, ковариационная матрица может быть переписана как:<br/> | ||
<tex> Cov({\beta}_{Si})={\sigma}^2 \left( \begin{array}{ccc} \sum^{s}_{l=1} { \frac{{\upsilon}_{1l}^2}{d_l^2}} & \sum^{s}_{l=1} { \frac{{\upsilon}_{1l} {\upsilon}_{2l}}{d_l^2}} & \cdots & \sum^{s}_{l=1} { \frac{{\upsilon}_{1l} {\upsilon}_{pl}}{d_l^2}}\\ \sum^{s}_{l=1} { \frac{{\upsilon}_{2l} {\upsilon}_{1l}}{d_l^2}} & \sum^{s}_{l=1} { \frac{{\upsilon}_{2l}^2}{d_l^2}} & \cdots & \sum^{s}_{l=1}{ \frac{{\upsilon}_{2l} {\upsilon}_{pl}}{d_l^2}} \\ \cdots & \cdots & \cdots & \cdots \\ \sum^{s}_{l=1} { \frac{{\upsilon}_{pl} {\upsilon}_{1l}}{d_l^2}} & \sum^{s}_{l=1}{ \frac{{\upsilon}_{pl} {\upsilon}_{2l}}{d_l^2}} & \cdots & \sum^{s}_{l=1} { \frac{{\upsilon}_{pl}^2}{d_l^2}} \\ \end{array} \right) </tex> (20) <br/> | <tex> Cov({\beta}_{Si})={\sigma}^2 \left( \begin{array}{ccc} \sum^{s}_{l=1} { \frac{{\upsilon}_{1l}^2}{d_l^2}} & \sum^{s}_{l=1} { \frac{{\upsilon}_{1l} {\upsilon}_{2l}}{d_l^2}} & \cdots & \sum^{s}_{l=1} { \frac{{\upsilon}_{1l} {\upsilon}_{pl}}{d_l^2}}\\ \sum^{s}_{l=1} { \frac{{\upsilon}_{2l} {\upsilon}_{1l}}{d_l^2}} & \sum^{s}_{l=1} { \frac{{\upsilon}_{2l}^2}{d_l^2}} & \cdots & \sum^{s}_{l=1}{ \frac{{\upsilon}_{2l} {\upsilon}_{pl}}{d_l^2}} \\ \cdots & \cdots & \cdots & \cdots \\ \sum^{s}_{l=1} { \frac{{\upsilon}_{pl} {\upsilon}_{1l}}{d_l^2}} & \sum^{s}_{l=1}{ \frac{{\upsilon}_{pl} {\upsilon}_{2l}}{d_l^2}} & \cdots & \sum^{s}_{l=1} { \frac{{\upsilon}_{pl}^2}{d_l^2}} \\ \end{array} \right) </tex> (20) <br/> | ||
и<br/> | и<br/> | ||
- | <tex> Cov({\beta}_{Ni})={\sigma}^2 \left( \begin{array}{ccc} \sum^{p}_{l=s+1} { \frac{{\upsilon}_{1l}^2}{d_l^2}} & \sum^{p}_{l=s+1} { \frac{{\upsilon}_{1l} {\upsilon}_{2l}}{d_l^2}} & \cdots & \sum^{p}_{l=s+1} { \frac{{\upsilon}_{1l} {\upsilon}_{pl}}{d_l^2}}\\ \sum^{p}_{l=s+1} { \frac{{\upsilon}_{2l} {\upsilon}_{1l}}{d_l^2}} & \sum^{p}_{l=s+1} { \frac{{\upsilon}_{2l}^2}{d_l^2}} & \cdots & \sum^{p}_{l=s+1}{ \frac{{\upsilon}_{2l} {\upsilon}_{pl}}{d_l^2}} \\ \cdots & \cdots & \cdots & \cdots \\ \sum^{p}_{l=s+1} { \frac{{\upsilon}_{pl} {\upsilon}_{1l}}{d_l^2}} & \sum^{p}_{l=s+1}{ \frac{{\upsilon}_{pl} {\upsilon}_{2l}}{d_l^2}} & \cdots & \sum^{p}_{l=s+1} { \frac{{\upsilon}_{pl}^2}{d_l^2}} \\ \end{array} \right) </tex> (21) <br/> | + | <tex> Cov({\beta}_{Ni})={\sigma}^2 \left( \begin{array}{ccc} \sum^{p}_{l=s+1} { \frac{{\upsilon}_{1l}^2}{d_l^2}} & \sum^{p}_{l=s+1} { \frac{{\upsilon}_{1l} {\upsilon}_{2l}}{d_l^2}} & \cdots & \sum^{p}_{l=s+1} { \frac{{\upsilon}_{1l} {\upsilon}_{pl}}{d_l^2}}\\ \sum^{p}_{l=s+1} { \frac{{\upsilon}_{2l} {\upsilon}_{1l}}{d_l^2}} & \sum^{p}_{l=s+1} { \frac{{\upsilon}_{2l}^2}{d_l^2}} & \cdots & \sum^{p}_{l=s+1}{ \frac{{\upsilon}_{2l} {\upsilon}_{pl}}{d_l^2}} \\ \cdots & \cdots & \cdots & \cdots \\ \sum^{p}_{l=s+1} { \frac{{\upsilon}_{pl} {\upsilon}_{1l}}{d_l^2}} & \sum^{p}_{l=s+1}{ \frac{{\upsilon}_{pl} {\upsilon}_{2l}}{d_l^2}} & \cdots & \sum^{p}_{l=s+1} { \frac{{\upsilon}_{pl}^2}{d_l^2}} \\ \end{array} \right) </tex>. (21) <br/> |
Отклонение каждого <tex>{\beta}_{i}</tex> может быть выражено как<br/> | Отклонение каждого <tex>{\beta}_{i}</tex> может быть выражено как<br/> | ||
- | <tex>Var({\beta}_{i})= {\sigma}^2 \sum^{p}_{j=1} { \frac{{\upsilon}_{ij}^2}{d_j^2}}</tex> (22)<br/> | + | <tex>Var({\beta}_{i})= {\sigma}^2 \sum^{p}_{j=1} { \frac{{\upsilon}_{ij}^2}{d_j^2}}</tex>. (22)<br/> |
Из (18) мы можем разделить отклонение:<br/> | Из (18) мы можем разделить отклонение:<br/> | ||
- | <tex>Var({\beta}_{i})=Var({\beta}_{Si})+Var({\beta}_{Ni})= {\sigma}^2 [{VIF}_{Si} +{VIF}_{Ni}]= {\sigma}^2 \sum^{s}_{j=1} { \frac{{\upsilon}_{ij}^2}{d_j^2}}+ {\sigma}^2 \sum^{p}_{j=s+1} { \frac{{\upsilon}_{ij}^2}{d_j^2}}</tex>(23)<br/> | + | <tex>Var({\beta}_{i})=Var({\beta}_{Si})+Var({\beta}_{Ni})= {\sigma}^2 [{VIF}_{Si} +{VIF}_{Ni}]= {\sigma}^2 \sum^{s}_{j=1} { \frac{{\upsilon}_{ij}^2}{d_j^2}}+ {\sigma}^2 \sum^{p}_{j=s+1} { \frac{{\upsilon}_{ij}^2}{d_j^2}}</tex>. (23)<br/> |
- | Так как сингулярные значения <tex> d_{s+1}...d_p</tex> близки к нулю,то если соответствующие <tex>{\upsilon}_{ij}</tex> не очень малы, второй член будет больше первого, | + | Так как сингулярные значения <tex> d_{s+1}...d_p</tex> близки к нулю,то если соответствующие <tex>{\upsilon}_{ij}</tex> не очень малы, второй член будет больше первого, так как отклонение <tex>{\beta}_{Ni}</tex> будет больше чем <tex>{\beta}_{Si}</tex>. |
+ | Тогда по мере увеличения размерности квази-нуль пространства, мы можем ожидать, что переменные, которые более активно участвовуют в коллинеарных отношениях, связанных с собственными векторами принадлежащими этому пространству должны будут уменьшать значения <tex>Var({\beta}_{Si})</tex> и увеличивать <tex>Var({\beta}_{Ni})</tex>.<br/> | ||
== Смотри также == | == Смотри также == |
Версия 15:54, 28 августа 2010
Belsley, Kuh и Welsch предложили метод анализа мультиколлинеарности основанный на индексах обусловленности(the scaled condition indexes) и дисперсионных долях(the variance-decomposition proportions).
Коллеги, пожалуйста, сделайте пояснения к выкладкам. Статью трудно читать. Очень нужен список литературы: откуда взят этот материал? --Strijov 18:53, 27 августа 2010 (MSD) |
Содержание |
Разложение линейной модели
Рассматривается линейная регрессионная модель:
(1)
где -– -мерный вектор зависимой переменной, -- , матрица признаков, -- -мерный вектор неизвестных коэффициентов, параметров линейной регрессионной модели.
Предполагается, что -мерный вектор случайного возмущения имеет нулевое матожидание и ковариационную матрицу , где -- единичная матрица, а . Будем считать что имеет ранг .
Если есть коллинеарность между признаками согласно Бэлсли имеет смысл использовать сингулярное разложение(SVD), чтобы определить вовлеченные переменные. Матрица сингулярного разложения определяется как:
(2)
Здесь матрица -- ортогональная. Матрица -- диагональная прямоугольная, на диагонали которой стоят неотрицательные числа, сингулярными значениями . Диагональной прямоугольной назовем матрицу, ненулевые элементы которой имеют координаты вида Матрица -- ортогональная, ее столбцы -- собственные вектора .
Существование коллинеарной зависимости влечет близость к нулю некоторых сингулярных значений.
Будем считать, что сингулярных значений близки к нулю.
Предположим, что , или просто , элементы матрицы упорядочены так, что
Рассмотрим разбиение
(3)
Для такого разбиения и -- диагональные матрицы, а оставшиеся два недиагональных блока -- нулевые.
Матрица содержит достаточно большие сингулярные значения, а содержит близкие к нулю сингулярные значения.
Теперь разделим и :
(4)
где и соответствуют первым наибольшим сингулярным значениям, а и содержат векторов, соответствующих малым сингулярным значениям.
Матрица ортогональна, т.е. , так же как и и . Таким образом
выполнено
(5)
Так как тоже ортогональная, то верно
(6)
Здесь -- нулевая матрица размера .
Таким образом, используя (2)-(6), запишем разложение:
(7)
Обозначим слагаемые в правой части как
(8)
Заметим что получившиеся матрицы ортогональны:
(9)
что обеспечивает возможность ортогонального разложения :
(10)
Согласно нашим предположениям имеет ранг , и, следовательно, и имеют ранг и соответственно. Тогда для разложения (2) :
(11)
Далее получаем
(12)
и
(13)
Равенства в (12) и (13) получаются из (8) и (10), ссылаясь на то, что из ортогональности следует .
Это значит что полученная нами матрица содержит всю информацию и только ее, входящую в , и при этом свободна от коллинеарности, связанной с остальными собственными векторами.
Соответственно содержит только информацию связанную с коллинеарностью.
Она порождает дополнительное пространство .
Это пространство, связанное с элементами матрицы близкими к нулю, называется квази-нулевым пространством.
Следовательно, предложенное разложение выделяет , часть , содержащую основных компонентов, которые в меньшей степени коллинеарны.
же содержит информацию связанную с компонентами которые участвуют в коллинеарных зависимостях. Переменные, входящие в коллинеарности, это те, которые имеют наибольшие координаты в столбцах матрицы .
Вектор минимизирует ошибку методом наименьших квадратов:
(14)
где -- псевдообратная матрица . Последнее равенство выполняется только если имеет полный ранг. Используя предыдущее разложение может быть показано что:
(15)
Последнее равенство использует то, что
-- сингулярное разложение и, следовательно, . Для аналогично.
Подставляя (15) и (7) в (14) получаем выражение для параметров модели:
(16)
Окончательно модель:
(17)
Здесь -- вектор регрессионных остатков.
Из (15) получаем выражение для ковариации параметров модели:
(18)
Элементы на главной диагонали это VIF, которые могут быть разложены на компоненты, соответствующие каждому и
Выявление мультиколлинеарности
Мультиколлинеарность влечет близость к нулю одного или более собственных значений, соответствующие им собственные вектора содержат информацию о зависимостях между признаками.
Предложенное разложение помогает выявить переменные, которые показывают наибольшую вовлеченность в зависимости.
Из (16) получаем:
, (19)
где и .
Значения и зависят от элементов и , и от соотношений , определяющих соотношения между признаками.
Значения всегда больше нуля (мы считаем что ранг равен p), тогда как принимает значения от -1 до 1.
Отрицательные значения могут привести к тому, что и будут разных знаков.
При этом один из параметров может иметь абсолютное значение больше .
Для собственных векторов, соответствующих очень маленьким собственным значениям, верно, что большие абсолютные значения означают вовлеченность соответствующих переменных в мультиколлинеарность.
Если несколько собственных значений близки к нулю, то мы можем пересмотреть понятие близости к нулю. Тем самым, мы увеличим порядок .
Это обычно приводит к уменьшению абсолютных значений и увеличению .
Если соответствует числу индексов обусловленности, существование зависимостей может рассматриваться как общие значения параметров метода наименьших квадратов.
Это имеет значение, в случае несоответствия знака параметра экспертной модели.
С помощью разложения мы можем получить нужный знак , в то время как часть значений параметров будет иметь противоположный знак и большее абсолютное значение.
Чтобы лучше исследовать влияние коллинеарности на параметры линейной регрессии, ковариационная матрица может быть переписана как:
(20)
и
. (21)
Отклонение каждого может быть выражено как
. (22)
Из (18) мы можем разделить отклонение:
. (23)
Так как сингулярные значения близки к нулю,то если соответствующие не очень малы, второй член будет больше первого, так как отклонение будет больше чем .
Тогда по мере увеличения размерности квази-нуль пространства, мы можем ожидать, что переменные, которые более активно участвовуют в коллинеарных отношениях, связанных с собственными векторами принадлежащими этому пространству должны будут уменьшать значения и увеличивать .