Метод Белсли
Материал из MachineLearning.
м  (→Разложение линейной модели)  | 
				м  (→Выявление мультиколлинеарности)  | 
			||
| Строка 108: | Строка 108: | ||
Предложенное разложение помогает выявить переменные, которые показывают наибольшую вовлеченность в зависимости.<br/>  | Предложенное разложение помогает выявить переменные, которые показывают наибольшую вовлеченность в зависимости.<br/>  | ||
Из {{eqref|16}} получаем:<br/>  | Из {{eqref|16}} получаем:<br/>  | ||
| - | {{eqno|19}}  | + | {{eqno|19}}<center>  | 
| - | <tex>{\beta}_i={\beta}_{Si}+{\beta}_{Ni}=\sum^{s}_{j=1} { \frac{{\upsilon}_{ij}}{d_j}} \sum^{n}_{l=1} { {u}_{lj}}{y_l} + \sum^{n}_{j=s+1} { \frac{{\upsilon}_{ij}}{d_j}} \sum^{n}_{l=1} { {u}_{lj}}{y_l} </tex><br/>  | + | <tex>{\beta}_i={\beta}_{Si}+{\beta}_{Ni}=\sum^{s}_{j=1} { \frac{{\upsilon}_{ij}}{d_j}} \sum^{n}_{l=1} { {u}_{lj}}{y_l} + \sum^{n}_{j=s+1} { \frac{{\upsilon}_{ij}}{d_j}} \sum^{n}_{l=1} { {u}_{lj}}{y_l} </tex></center><br/>  | 
где <tex>V=({\upsilon}_{ij})</tex> и <tex>U=({u}_{ij})</tex>.   | где <tex>V=({\upsilon}_{ij})</tex> и <tex>U=({u}_{ij})</tex>.   | ||
Значения <tex>{\beta}_{Si}</tex> и <tex>{\beta}_{Ni}</tex> зависят от элементов <tex>U</tex> и <tex>y</tex>, и от соотношений <tex>\frac{{\upsilon}_{ij}}{d_j}</tex>, определяющих соотношения между признаками.   | Значения <tex>{\beta}_{Si}</tex> и <tex>{\beta}_{Ni}</tex> зависят от элементов <tex>U</tex> и <tex>y</tex>, и от соотношений <tex>\frac{{\upsilon}_{ij}}{d_j}</tex>, определяющих соотношения между признаками.   | ||
| Строка 122: | Строка 122: | ||
С помощью разложения мы можем получить нужный знак <tex>{\beta}_{Si}</tex>, в то же время часть значений параметров  <tex>{\beta}_{Ni}</tex> будет иметь противоположный знак и большее абсолютное значение.<br/>  | С помощью разложения мы можем получить нужный знак <tex>{\beta}_{Si}</tex>, в то же время часть значений параметров  <tex>{\beta}_{Ni}</tex> будет иметь противоположный знак и большее абсолютное значение.<br/>  | ||
Чтобы  лучше исследовать влияние коллинеарности на параметры линейной регрессии, ковариационная матрица может быть переписана как:<br/>  | Чтобы  лучше исследовать влияние коллинеарности на параметры линейной регрессии, ковариационная матрица может быть переписана как:<br/>  | ||
| - | {{eqno|20}}  | + | {{eqno|20}}<center>  | 
| - | <tex> Cov({\beta}_{Si})={\sigma}^2 \left( \begin{array}{ccc}   \sum^{s}_{l=1} { \frac{{\upsilon}_{1l}^2}{d_l^2}}  & \sum^{s}_{l=1} { \frac{{\upsilon}_{1l} {\upsilon}_{2l}}{d_l^2}} & \cdots & \sum^{s}_{l=1} { \frac{{\upsilon}_{1l} {\upsilon}_{pl}}{d_l^2}}\\  \sum^{s}_{l=1} { \frac{{\upsilon}_{2l} {\upsilon}_{1l}}{d_l^2}}  & \sum^{s}_{l=1} { \frac{{\upsilon}_{2l}^2}{d_l^2}} & \cdots & \sum^{s}_{l=1}{ \frac{{\upsilon}_{2l} {\upsilon}_{pl}}{d_l^2}} \\   \cdots & \cdots & \cdots & \cdots \\  \sum^{s}_{l=1} { \frac{{\upsilon}_{pl} {\upsilon}_{1l}}{d_l^2}} & \sum^{s}_{l=1}{ \frac{{\upsilon}_{pl} {\upsilon}_{2l}}{d_l^2}} & \cdots & \sum^{s}_{l=1} { \frac{{\upsilon}_{pl}^2}{d_l^2}} \\ \end{array} \right) </tex><br/>  | + | <tex> Cov({\beta}_{Si})={\sigma}^2 \left( \begin{array}{ccc}   \sum^{s}_{l=1} { \frac{{\upsilon}_{1l}^2}{d_l^2}}  & \sum^{s}_{l=1} { \frac{{\upsilon}_{1l} {\upsilon}_{2l}}{d_l^2}} & \cdots & \sum^{s}_{l=1} { \frac{{\upsilon}_{1l} {\upsilon}_{pl}}{d_l^2}}\\  \sum^{s}_{l=1} { \frac{{\upsilon}_{2l} {\upsilon}_{1l}}{d_l^2}}  & \sum^{s}_{l=1} { \frac{{\upsilon}_{2l}^2}{d_l^2}} & \cdots & \sum^{s}_{l=1}{ \frac{{\upsilon}_{2l} {\upsilon}_{pl}}{d_l^2}} \\   \cdots & \cdots & \cdots & \cdots \\  \sum^{s}_{l=1} { \frac{{\upsilon}_{pl} {\upsilon}_{1l}}{d_l^2}} & \sum^{s}_{l=1}{ \frac{{\upsilon}_{pl} {\upsilon}_{2l}}{d_l^2}} & \cdots & \sum^{s}_{l=1} { \frac{{\upsilon}_{pl}^2}{d_l^2}} \\ \end{array} \right) </tex></center><br/>  | 
и<br/>  | и<br/>  | ||
| - | {{eqno|21}}  | + | {{eqno|21}}<center>  | 
| - | <tex> Cov({\beta}_{Ni})={\sigma}^2 \left( \begin{array}{ccc}   \sum^{p}_{l=s+1} { \frac{{\upsilon}_{1l}^2}{d_l^2}}  & \sum^{p}_{l=s+1} { \frac{{\upsilon}_{1l} {\upsilon}_{2l}}{d_l^2}} & \cdots & \sum^{p}_{l=s+1} { \frac{{\upsilon}_{1l} {\upsilon}_{pl}}{d_l^2}}\\  \sum^{p}_{l=s+1} { \frac{{\upsilon}_{2l} {\upsilon}_{1l}}{d_l^2}}  & \sum^{p}_{l=s+1} { \frac{{\upsilon}_{2l}^2}{d_l^2}} & \cdots & \sum^{p}_{l=s+1}{ \frac{{\upsilon}_{2l} {\upsilon}_{pl}}{d_l^2}} \\   \cdots & \cdots & \cdots & \cdots \\  \sum^{p}_{l=s+1} { \frac{{\upsilon}_{pl} {\upsilon}_{1l}}{d_l^2}} & \sum^{p}_{l=s+1}{ \frac{{\upsilon}_{pl} {\upsilon}_{2l}}{d_l^2}} & \cdots & \sum^{p}_{l=s+1} { \frac{{\upsilon}_{pl}^2}{d_l^2}} \\ \end{array} \right) </tex>  | + | <tex> Cov({\beta}_{Ni})={\sigma}^2 \left( \begin{array}{ccc}   \sum^{p}_{l=s+1} { \frac{{\upsilon}_{1l}^2}{d_l^2}}  & \sum^{p}_{l=s+1} { \frac{{\upsilon}_{1l} {\upsilon}_{2l}}{d_l^2}} & \cdots & \sum^{p}_{l=s+1} { \frac{{\upsilon}_{1l} {\upsilon}_{pl}}{d_l^2}}\\  \sum^{p}_{l=s+1} { \frac{{\upsilon}_{2l} {\upsilon}_{1l}}{d_l^2}}  & \sum^{p}_{l=s+1} { \frac{{\upsilon}_{2l}^2}{d_l^2}} & \cdots & \sum^{p}_{l=s+1}{ \frac{{\upsilon}_{2l} {\upsilon}_{pl}}{d_l^2}} \\   \cdots & \cdots & \cdots & \cdots \\  \sum^{p}_{l=s+1} { \frac{{\upsilon}_{pl} {\upsilon}_{1l}}{d_l^2}} & \sum^{p}_{l=s+1}{ \frac{{\upsilon}_{pl} {\upsilon}_{2l}}{d_l^2}} & \cdots & \sum^{p}_{l=s+1} { \frac{{\upsilon}_{pl}^2}{d_l^2}} \\ \end{array} \right) </tex></center><br/>  | 
Отклонение каждого <tex>{\beta}_{i}</tex> может быть выражено как<br/>  | Отклонение каждого <tex>{\beta}_{i}</tex> может быть выражено как<br/>  | ||
| - | {{eqno|22}}  | + | {{eqno|22}}<center>  | 
| - | <tex>Var({\beta}_{i})= {\sigma}^2 \sum^{p}_{j=1} { \frac{{\upsilon}_{ij}^2}{d_j^2}}</tex>  | + | <tex>Var({\beta}_{i})= {\sigma}^2 \sum^{p}_{j=1} { \frac{{\upsilon}_{ij}^2}{d_j^2}}</tex></center><br/>  | 
Из {{eqref|18}} мы можем разделить отклонение:<br/>  | Из {{eqref|18}} мы можем разделить отклонение:<br/>  | ||
| - | {{eqno|23}}  | + | {{eqno|23}}<center>  | 
| - | <tex>Var({\beta}_{i})=Var({\beta}_{Si})+Var({\beta}_{Ni})= {\sigma}^2 [{VIF}_{Si} +{VIF}_{Ni}]= {\sigma}^2 \sum^{s}_{j=1} { \frac{{\upsilon}_{ij}^2}{d_j^2}}+ {\sigma}^2  \sum^{p}_{j=s+1} { \frac{{\upsilon}_{ij}^2}{d_j^2}}</tex>  | + | <tex>Var({\beta}_{i})=Var({\beta}_{Si})+Var({\beta}_{Ni})= {\sigma}^2 [{VIF}_{Si} +{VIF}_{Ni}]= {\sigma}^2 \sum^{s}_{j=1} { \frac{{\upsilon}_{ij}^2}{d_j^2}}+ {\sigma}^2  \sum^{p}_{j=s+1} { \frac{{\upsilon}_{ij}^2}{d_j^2}}</tex></center><br/>  | 
Так как сингулярные значения <tex> d_{s+1}...d_p</tex> близки к нулю,то если соответствующие <tex>{\upsilon}_{ij}</tex> не очень малы, второй член будет больше первого, так как отклонение <tex>{\beta}_{Ni}</tex> будет больше чем <tex>{\beta}_{Si}</tex>.  | Так как сингулярные значения <tex> d_{s+1}...d_p</tex> близки к нулю,то если соответствующие <tex>{\upsilon}_{ij}</tex> не очень малы, второй член будет больше первого, так как отклонение <tex>{\beta}_{Ni}</tex> будет больше чем <tex>{\beta}_{Si}</tex>.  | ||
Тогда по мере увеличения размерности квази-нуль пространства, мы можем ожидать, что переменные, которые более активно участвовуют в коллинеарных отношениях, связанных с собственными векторами принадлежащими этому пространству должны будут уменьшать значения <tex>Var({\beta}_{Si})</tex> и увеличивать <tex>Var({\beta}_{Ni})</tex>.<br/>  | Тогда по мере увеличения размерности квази-нуль пространства, мы можем ожидать, что переменные, которые более активно участвовуют в коллинеарных отношениях, связанных с собственными векторами принадлежащими этому пространству должны будут уменьшать значения <tex>Var({\beta}_{Si})</tex> и увеличивать <tex>Var({\beta}_{Ni})</tex>.<br/>  | ||
Версия 07:34, 23 сентября 2010
Belsley, Kuh и Welsch предложили метод анализа мультиколлинеарности основанный на индексах обусловленности(the scaled condition indexes) и дисперсионных долях(the variance-decomposition proportions).
|   | Коллеги, пожалуйста, сделайте пояснения к выкладкам. Статью трудно читать. Очень нужен список литературы: откуда взят этот материал? --Strijov 18:53, 27 августа 2010 (MSD) | 
Содержание | 
Разложение линейной модели
Рассматривается линейная регрессионная модель: 
где  -– 
-мерный вектор зависимой переменной, 
 -- 
, 
 матрица признаков, 
 -- 
-мерный вектор неизвестных коэффициентов, параметров линейной регрессионной модели. 
Предполагается, что 
-мерный вектор  случайного возмущения 
 имеет нулевое матожидание и ковариационную матрицу 
, где 
 -- 
 единичная матрица, а 
. Будем считать что 
 имеет ранг 
.
Если есть коллинеарность между признаками согласно Бэлсли имеет смысл использовать сингулярное разложение(SVD), чтобы определить вовлеченные переменные. Матрица сингулярного разложения 
 определяется как: 
Здесь матрица  -- 
 ортогональная. Матрица 
 -- 
 диагональная прямоугольная, на диагонали которой стоят неотрицательные числа,  сингулярными значениями 
. Диагональной прямоугольной назовем матрицу, ненулевые элементы  которой имеют координаты вида 
Матрица 
 -- 
 ортогональная, ее столбцы -- собственные вектора 
. 
Существование коллинеарной зависимости влечет близость к нулю некоторых сингулярных значений. 
Будем считать, что 
 сингулярных значений близки к нулю.
Предположим, что 
, или просто 
, элементы матрицы 
 упорядочены так, что 
Рассмотрим разбиение
Для такого разбиения  и 
  -- диагональные матрицы, а оставшиеся два недиагональных блока -- нулевые. 
Матрица 
 содержит достаточно большие сингулярные значения, а 
 содержит близкие к нулю сингулярные значения. 
Теперь разделим 
 и 
: 
где  и 
 соответствуют первым 
 наибольшим сингулярным значениям, а 
 и 
 содержат 
 векторов, соответствующих малым сингулярным значениям.
Матрица 
  ортогональна, т.е. 
, так же как и 
 и 
. Таким образом 
 выполнено
 
 
 
 
Так как  тоже ортогональная, то верно
 
 
 
 
 
Здесь  -- нулевая матрица размера 
.
Таким образом, используя (2)-(6), запишем разложение: 
Обозначим слагаемые в правой части как 
Заметим что получившиеся матрицы ортогональны:
что обеспечивает возможность ортогонального разложения  :
Согласно нашим предположениям  имеет ранг 
, и, следовательно, 
 и 
 имеют ранг 
 и 
 соответственно. Тогда для разложения (2) :
Далее получаем 
и 
Равенства в (12) и (13) получаются из (8) и (10), ссылаясь на то, что из ортогональности  следует 
. 
Это значит что полученная нами матрица 
 содержит всю информацию и только ее, входящую в 
, и при этом свободна от коллинеарности, связанной с остальными 
 собственными векторами.
Соответственно  содержит только информацию связанную с коллинеарностью.
Она порождает дополнительное пространство 
. 
Это пространство, связанное с элементами матрицы 
 близкими к нулю, называется квази-нулевым пространством.
Следовательно, предложенное разложение выделяет , часть 
, содержащую 
 основных компонентов, которые в меньшей степени коллинеарны. 
 же содержит информацию связанную с 
 компонентами которые участвуют в коллинеарных зависимостях. Переменные, входящие в коллинеарности, это те, которые имеют наибольшие координаты в столбцах матрицы 
.
Вектор 
 минимизирует ошибку методом наименьших квадратов:
где  -- псевдообратная матрица 
. Последнее равенство выполняется только если 
 имеет полный ранг. Используя предыдущее разложение может быть показано что:
Последнее равенство использует то, что 
 -- сингулярное разложение 
 и, следовательно, 
. Для 
 аналогично.
Подставляя (15) и (7) в (14) получаем выражение для параметров модели: 
Окончательно модель:
Здесь  -- вектор регрессионных остатков.
Из (15) получаем выражение для ковариации параметров модели:
Элементы на главной диагонали  это VIF, которые могут быть разложены на компоненты, соответствующие каждому 
 и 
Выявление мультиколлинеарности
Мы будем исследовать мультиколлинеарность, использую собственные значения признаков. Мультиколлинеарность влечет близость к нулю одного или более собственных значений, а соответствующие им собственные вектора содержат информацию о зависимостях между признаками. 
Предложенное разложение помогает выявить переменные, которые показывают наибольшую вовлеченность в зависимости.
Из (16) получаем:
где  и 
. 
Значения 
 и 
 зависят от элементов 
 и 
, и от соотношений 
, определяющих соотношения между признаками. 
Значения 
 всегда больше нуля (мы считаем что ранг 
 равен 
), тогда как 
 принимает значения от -1 до 1. 
Отрицательные значения 
 могут привести к  тому, что 
 и 
 будут разных знаков.  
При этом один из параметров может иметь абсолютное значение больше 
. 
Для собственных векторов, соответствующих очень маленьким собственным значениям, верно, что большие абсолютные значения 
 означают вовлеченность соответствующих переменных в мультиколлинеарность. 
Если несколько собственных значений близки к нулю, то мы можем пересмотреть понятие близости к нулю. Тем самым, мы увеличим порядок 
. 
Это обычно приводит к уменьшению абсолютных значений 
 и увеличению 
. 
Если 
 соответствует числу индексов обусловленности, существование зависимостей 
 может рассматриваться как общие значения параметров метода наименьших квадратов. 
Это позволяет избежать случая несоответствия знака параметра экспертной модели. 
С помощью разложения мы можем получить нужный знак 
, в то же время часть значений параметров  
 будет иметь противоположный знак и большее абсолютное значение.
Чтобы  лучше исследовать влияние коллинеарности на параметры линейной регрессии, ковариационная матрица может быть переписана как:
и
Отклонение каждого  может быть выражено как
Из (18) мы можем разделить отклонение:
Так как сингулярные значения  близки к нулю,то если соответствующие 
 не очень малы, второй член будет больше первого, так как отклонение 
 будет больше чем 
.
Тогда по мере увеличения размерности квази-нуль пространства, мы можем ожидать, что переменные, которые более активно участвовуют в коллинеарных отношениях, связанных с собственными векторами принадлежащими этому пространству должны будут уменьшать значения 
 и увеличивать 
.

