Критерий Бройша-Пагана

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
м (литература, ссылки)
м
 
(7 промежуточных версий не показаны.)
Строка 1: Строка 1:
-
'''Критерий Бройша-Пагана''' (также ''Бреуша-Пагана'', англ. ''Breusch-Pagan test'') - один из статистических тестов для проверки наличия гетероскедастичности (то есть непостоянной дисперсии) случайных ошибок модели линейной регрессии. Применяется, если есть основания полагать, что дисперсия случайных ошибок может зависеть от некоторой совокупности переменных. В данном случае проверяется линейная зависимость дисперсии случайных ошибок <tex> \sigma_t </tex> от наблюдаемых переменных:
+
'''Критерий Бройша-Пагана''' (также ''Бреуша-Пагана'', англ. ''Breusch-Pagan test'') один из статистических критериев для проверки наличия гетероскедастичности (то есть непостоянной дисперсии) случайных ошибок модели [[Регрессионный анализ|линейной регрессии]]. Применяется, если есть основания полагать, что дисперсия ошибок <tex>\sigma_t</tex> может зависеть от некоторой совокупности наблюдаемых переменных:
 +
::<tex>\sigma_t^2 = z_t^T \gamma, \;t = 1,\dots,n,</tex>
 +
где <tex>z_t = (1,z_{2t},\dots,z_{pt})^T.</tex>
-
::<tex>\sigma_t^2 = z_t^T \gamma, \quad t = 1,\dots,n</tex>, где <tex>z_t = (1,z_{2t},\dots,z_{pt})^T</tex>.
+
==Определение==
 +
Формулировки проверяемой и альтернативной гипотез выглядят следующим образом:
-
<tex>H_0</tex>: <tex>\sigma_1^2 = \dots = \sigma_n^2 \quad \Leftrightarrow \quad \gamma_2 = \dots = \gamma_p = 0</tex>
+
::<tex>H_0: \quad \gamma_2 = \ldots = \gamma_p = 0 \quad \Leftrightarrow \quad \sigma_1^2 = \ldots = \sigma_n^2 \quad \Leftrightarrow </tex> остатки гомоскедастичны;
-
<tex>H_1</tex>: <tex>H_0</tex> неверна
+
::<tex>H_1: \quad H_0</tex> неверна.
-
Следуя методу множителей Лагранжа, получаем следующий вид статистики теста:
+
Статистика критерия может быть получена на основе метода множителей Лагранжа и имеет следующий вид:
-
:<tex>LM=\left (\frac{\partial l}{\partial\theta} \right )'\left (-E\left [\frac{\partial^2 l}{\partial\theta \partial\theta'} \right ] \right )^{-1}\left(\frac{\partial l}{\partial\theta} \right )</tex>
+
::<tex>LM=\left (\frac{\partial l}{\partial\theta} \right )'\left (-E\left [\frac{\partial^2 l}{\partial\theta \partial\theta'} \right ] \right )^{-1}\left(\frac{\partial l}{\partial\theta} \right )</tex>.
-
Процедура теста Бройша-Пагана состоит из следующих шагов:
+
Вычисление статистики сводится к следующей процедуре<ref name="heij">C. Heij, P. de Boer (2004). [https://akela.mendelu.cz/~xhavir3/ekm/Heij.pdf "Econometric Methods with Applications in Business and Economics"]. Oxford University Press, pp. 344–345.</ref>.
-
* ''Шаг 1'': Исходная модель <tex> y = X\beta+\varepsilon</tex> оценивается обычным МНК, вычисляются остатки <tex>\varepsilon_t</tex>.
+
* ''Шаг 1'': Исходная модель <tex> y = X\beta+\varepsilon</tex> оценивается обычным [[Метод наименьших квадратов|методом наименьших квадратов]], вычисляются остатки <tex>\varepsilon_t</tex>.
-
* ''Шаг 2'': Вычисление оценки дисперсии остатков (в предположении их гомоскедастичности):
+
* ''Шаг 2'': Дисперсия ошибки модели (в предположении её гомоскедастичности) оценивается как <tex>\hat{\sigma}^2 = \frac{1}{n} RSS</tex>.
-
:<tex>\hat{\sigma}^2 = \frac{1}{n} RSS</tex>
+
* ''Шаг 3'': Вычисляются стандартизированные остатки <tex>\frac{\varepsilon^2}{\hat{\sigma}^2} </tex>.
-
* ''Шаг 3'': Вычисление стандартизированных остатков <tex>\frac{\varepsilon^2}{\hat{\sigma}^2} </tex>
+
* ''Шаг 4'': Строится дополнительная регрессия квадратов стандартизированных ошибок на исходные наблюдаемые переменные:
-
* ''Шаг 4'': Построение дополнительной регрессии квадратов стандартизированных ошибок на исходные наблюдаемые переменные
+
::<tex> \varepsilon_t^2=\gamma_1+\gamma_2z_{2t}+\dots+\gamma_pz_{pt}+\eta_t </tex>.
-
:<tex> \varepsilon_t^2=\gamma_1+\gamma_2z_{2t}+\dots+\gamma_pz_{pt}+\eta_t. </tex>
+
* ''Шаг 5'': <tex> LM=n R^{2}</tex>, где <tex>R^{2}</tex> — [[коэффициент детерминации]] построенной на предыдущем шаге регрессии.
-
* ''Шаг 5'': Статистика теста определяется как умноженный на число наблюдений коэффициент детерминации построенной на предыдущем шаге регрессии:
+
-
:<tex> LM=nR^{2}\, . </tex>
+
-
В работе [Breush, Pagan, 1979] установлено, что при справедливости нулевой гипотезы о гомоскедастичности остатков <tex> LM \sim \chi^2 \left (p - 1 \right )</tex>.
+
При справедливости нулевой гипотезы о гомоскедастичности остатков статистика критерия имеет распределение хи-квадрат с <tex>p-1</tex> степенями свободы.
 +
 
 +
==Пример==
 +
 
 +
[[Изображение:het_plot.png|thumb|Сгенерированный отклик <tex>y_1</tex>]]
 +
[[Изображение:hom_plot.png|thumb|Сгенерированный отклик <tex>y_2</tex>]]
 +
 
 +
Рассмотрим пример с использованием системы R:
 +
 
 +
<pre>
 +
> ## моделируем наблюдаемые переменные
 +
> x <- rep(c(-1,1), 50)
 +
> ## генерируем гетероскедастичные ошибки
 +
> err1 <- rnorm(100, sd=rep(c(1,2), 50))
 +
> ## генерируем гомоскедастичные ошибки
 +
> err2 <- rnorm(100)
 +
> ## генерируем отклик
 +
> y1 <- 1 + x + err1
 +
> y2 <- 1 + x + err2
 +
> ## проводим тест Бройша-Пагана
 +
> bptest(y1 ~ x)$p.value
 +
BP
 +
0.0007141008
 +
> bptest(y2 ~ x)$p.value
 +
BP
 +
0.9464273
 +
</pre>
 +
 
 +
==Реализации==
 +
* MatLab: встроенной реализации нет, есть [http://www.mathworks.com/matlabcentral/fileexchange/24722-heteroskedasticity-test реализации на File Exchange].
 +
* R: функция [http://finzi.psych.upenn.edu/R/library/lmtest/html/bptest.html <code>bptest</code>] в стандартном пакете <code>lmtest</code> и [http://finzi.psych.upenn.edu/R/library/car/html/ncvTest.html <code>ncvtest</code>] в пакете <code>car</code>.
== Ссылки ==
== Ссылки ==
-
* Breusch, T.S.; Pagan, A.R. (1979). [https://www.aae.wisc.edu/aae637/handouts/breusch_pagan_hetero_test_article.pdf "Simple test for heteroscedasticity and random coefficient variation"].
+
* Breusch T.S., Pagan A.R. (1979). [https://www.aae.wisc.edu/aae637/handouts/breusch_pagan_hetero_test_article.pdf "Simple test for heteroscedasticity and random coefficient variation"]. Econometrica, 47(5), 1287-1294.
* [http://en.wikipedia.org/wiki/Breusch%E2%80%93Pagan_test EnWiki: Breusch–Pagan test]
* [http://en.wikipedia.org/wiki/Breusch%E2%80%93Pagan_test EnWiki: Breusch–Pagan test]
-
* C. Heij, P. de Boer (2004). [https://akela.mendelu.cz/~xhavir3/ekm/Heij.pdf "Econometric Methods with Applications in Business and Economics"]. Oxford University Press, pp. 344–345.
 
* Магнус Я.Р., Катышев П.К., Пересецкий А.А. (2007) [http://math.isu.ru/ru/chairs/me/files/books/magnus.pdf "Эконометрика. Начальный курс"]. М.:Дело, стр. 179-183.
* Магнус Я.Р., Катышев П.К., Пересецкий А.А. (2007) [http://math.isu.ru/ru/chairs/me/files/books/magnus.pdf "Эконометрика. Начальный курс"]. М.:Дело, стр. 179-183.
 +
* [http://www.youtube.com/watch?v=wzLADO24CDk YouTube: The Breusch Pagan test for heteroscedasticity]
 +
 +
== Примечания ==
 +
<references />
 +
 +
[[Категория:Прикладная статистика]]
 +
[[Категория:Статистические тесты]]
 +
[[Категория:Линейная регрессия]]
 +
[[Категория:Регрессионный анализ]]

Текущая версия

Критерий Бройша-Пагана (также Бреуша-Пагана, англ. Breusch-Pagan test) — один из статистических критериев для проверки наличия гетероскедастичности (то есть непостоянной дисперсии) случайных ошибок модели линейной регрессии. Применяется, если есть основания полагать, что дисперсия ошибок \sigma_t может зависеть от некоторой совокупности наблюдаемых переменных:

\sigma_t^2 = z_t^T \gamma, \;t = 1,\dots,n,

где z_t = (1,z_{2t},\dots,z_{pt})^T.

Содержание

Определение

Формулировки проверяемой и альтернативной гипотез выглядят следующим образом:

H_0: \quad \gamma_2 = \ldots = \gamma_p = 0 \quad \Leftrightarrow \quad \sigma_1^2 = \ldots = \sigma_n^2 \quad \Leftrightarrow  остатки гомоскедастичны;
H_1: \quad H_0 неверна.

Статистика критерия может быть получена на основе метода множителей Лагранжа и имеет следующий вид:

LM=\left (\frac{\partial l}{\partial\theta} \right )'\left (-E\left [\frac{\partial^2 l}{\partial\theta \partial\theta'} \right ] \right )^{-1}\left(\frac{\partial l}{\partial\theta} \right ).

Вычисление статистики сводится к следующей процедуре[1].

  • Шаг 1: Исходная модель  y = X\beta+\varepsilon оценивается обычным методом наименьших квадратов, вычисляются остатки \varepsilon_t.
  • Шаг 2: Дисперсия ошибки модели (в предположении её гомоскедастичности) оценивается как \hat{\sigma}^2 = \frac{1}{n} RSS.
  • Шаг 3: Вычисляются стандартизированные остатки \frac{\varepsilon^2}{\hat{\sigma}^2} .
  • Шаг 4: Строится дополнительная регрессия квадратов стандартизированных ошибок на исходные наблюдаемые переменные:
 \varepsilon_t^2=\gamma_1+\gamma_2z_{2t}+\dots+\gamma_pz_{pt}+\eta_t .

При справедливости нулевой гипотезы о гомоскедастичности остатков статистика критерия имеет распределение хи-квадрат с p-1 степенями свободы.

Пример

Сгенерированный отклик
Сгенерированный отклик y_1
Сгенерированный отклик
Сгенерированный отклик y_2

Рассмотрим пример с использованием системы R:

> ## моделируем наблюдаемые переменные
> x <- rep(c(-1,1), 50)
> ## генерируем гетероскедастичные ошибки
> err1 <- rnorm(100, sd=rep(c(1,2), 50))
> ## генерируем гомоскедастичные ошибки
> err2 <- rnorm(100)
> ## генерируем отклик
> y1 <- 1 + x + err1
> y2 <- 1 + x + err2
> ## проводим тест Бройша-Пагана
> bptest(y1 ~ x)$p.value
          BP 
0.0007141008  
> bptest(y2 ~ x)$p.value
       BP
0.9464273 

Реализации

Ссылки

Примечания