Метод Белсли
Материал из MachineLearning.
Belsley, Kuh и Welsch предложили метод анализа мультиколлинеарности основанный на индексах обусловленности(the scaled condition indexes) и дисперсионных долях(the variance-decomposition proportions).
Коллеги, пожалуйста, сделайте пояснения к выкладкам. Статью трудно читать. Очень нужен список литературы: откуда взят этот материал? --Strijov 18:53, 27 августа 2010 (MSD) |
Содержание |
Разложение линейной модели
Рассматривается линейная регрессионная модель:
(1)
где -– -мерный вектор ответа(зависимой переменной), -- матрица признаков, -- -мерный вектор неизвестных коэффициентов, -- -мерный вектор случайного возмущения с нулевым матожиданием и ковариационной матрицей , где это единичная матрица, а . Будем считать что имеет ранг .
Если есть коллинеарность между признаками согласно Belsley имеет смысл использовать сингулярное разложение(SVD), чтобы определить вовлеченные переменные. Матрица сингулярного разложения определяется как:
(2)
Здесь -- ортогональная матрица, -- верхняя диагональная матрица, чьи неотрицательные элементы являются сингулярными значениями , -- ортогональная матрица, чьи колонки это собственные вектора . Если существует коллинеарная зависимость, то
некоторые сингулярные значения, скажем, , близки к нулю.
Предположим, что , или просто , элементы матрицы упорядочены так, что
И рассмотрим разбиение
(3)
где и диагональные, и недиагональные блоки нулевые. , или просто , содержит достаточно большие сингулярные значения, а , или , содержит близкие к нулю сингулярные значения.
Теперь разделим и соответственно:
(4)
где и соответствуют первым наибольшим сингулярным значениям, а и содержат векторов соответствующих малым сингулярным значениям.
Матрица ортогональна, т.е , так же как и и . Таким образом
(5)
Т.к тоже ортогональна, то
(6)
Таким образом разложение нам дает:
(7)
Обозначим слагаемые в правой части как
(8)
Заметим что получившиеся матрицы ортогональны, т.е :
(9)
что обеспечивает возможность ортогонального разложения :
(10)
Здесь все матрицы имеют размер , и полагая что имеет ранг , а и имеют ранг и соответственно. Тогда для разложения (2) :
(11)
Далее мы получаем
(12)
и
(13)
Равенства в (12) и (13) получаются из (8) и (10), ссылаясь на то, что из ортогональности следует . Это значит что содержит всю информацию и только ее, входящую в , которая свободна от коллинеарности связанной с остальными собственными векторами.
Соответственно содержит только информацию связанную с коллинеарностью делая прогноз на дополнительное пространство . Это пространство связанное с элементами матрицы близкими к нулю называется квази-нулевым пространством
Следовательно, предложенное разложение подчеркивает как часть полученную из основных компонентов, которые в меньшей степени участвуют в коллинеарности. же содержит информацию связанную с компонентами которые участвуют в коллинеарных зависимостях. Переменные, входящие в коллинеарности, это те, которые имеют наибольшие координаты в столбцах матрицы .
Вектор минимизирующего ошибку в метода наименьших квадратов:
(14)
где -- псевдообратная матрица , и последнее равенство выполняется только если имеет полный ранг. Используя предыдущее разложение может быть показано что:
(15)
Последнее равенство получается из того что
- сингулярное разложение и следовательно . Для аналогично.
Подставляя (15) и (7) в (14) получаем:
(16)
Окончательно модель:
(17)
Где это вектор остатков.
Из (15) получаем:
(18)
Элементы на главной диагонали это VIF, которые могут быть разложены на компоненты соответствующие каждому и
Выявление мультиколлинеарности
Когда есть мультиколлинеарность одино или более собственных значений близко к нулю, и соответствующие им собственные вектора содержат информацию о зависимостях между признаками. Выведеное разложение помогает выявить какие переменные показывают наибольшую вовлеченность в зависимости.
Из (16) получаем:
(19)
где и . Значения и зависят от элементов и , и от соотношений которые играют основную роль в объяснении соотношений между признаками. всегда больше нуля(мы считаем что ранг равен p), тогда как принимает значения от -1 до 1. Отрицательные значения могут вести к и разных знаков, и один из них может иметь абсолютное значение больше . Что касается собственных векторов соответствующих очень малым значениям собственных значений, то известно, что с большими абсолютными значениями озночают что соответствующие переменные сильно вовлечены в мультиколлинеарность. Если несколько собственных значений близки к нулю, то мы можем увеличить порядок (p-s) по шагам используя разложение (7) и обычно мы будем наблюдать уменьшение абсолютных значений и увеличение . Когда (p-s) соответствует числу индексов обусловленности показывающих существование зависимостей может рассматриваться как общие значения параметров метода наименьших квадратов. Это актуально, когда знак какого-либо параметра не является таким как ожидалось, и в целом это зависит от мультиколлинеарности.С помощью разложения, как уже отмечалось, мы можем получить что будет иметь нужный знак, в то время как часть значения перешедшего (благодаря коллинеарности) будет иметь противоположный знак и большее абсолютное значение.
Чтобы исследовать влияние коллинеарности на параметры линейной регрессии лучше, ковариационная матрица может быть переписана:
(20)
и
(21)
Отклонение каждого может быть выражено как
(22)
Из (18) мы можем разделить отклонение:
(23)
Так как сингулярные значения близки к нулю,то если соответствующие не очень малы, второй член будет больше первого, т.к отклонение будет больше чем .Тогда по мере увеличения размерности квази-нуль пространства, мы можем ожидать, что переменные, которые более активно участвовуют в коллинеарных отношениях, связанных с собственными векторами принадлежащими этому пространству должны будут уменьшать значения и увеличивать .