Критерий Давидсона-Маккиннона

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
м (викификация, ссылки)
м (Основная идея: орфография)
 
(2 промежуточные версии не показаны)
Строка 1: Строка 1:
-
'''Критерий Давидсона-Маккиннона''' (также, ''J-критерий Давидсона-Маккиннона'', англ. ''Davidson-MacKinnon J test'') — [[Статистический критерий|статистический критерий]], используется сравнения [[Невложенные модели|невложенных]] [[Регрессионная модель|регрессионных моделей]].
+
'''Критерий Давидсона-Маккиннона''' (также ''J-критерий Давидсона-Маккиннона'', ''критерий невложенных моделей'', англ. ''Davidson-MacKinnon J test'', ''non-nested models test'') — [[Статистический критерий|статистический критерий]], используется для сравнения [[Невложенные модели|невложенных]] [[Регрессионная модель|регрессионных моделей]].
== Основная идея ==
== Основная идея ==
-
Пусь даны две [[Невложенные модели|невложенные]] [[Регрессионная модель|регрессионные модели]], т.е. ни одна из них не является частным случаем другой.
+
Пусть даны две [[Невложенные модели|невложенные]] [[Регрессионная модель|регрессионные модели]], т.е. ни одна из них не является частным случаем другой.
Идея критерия Давидона-Маккиннона состоит в следующем: если первая модель содержит верный набор [[Свободные переменные|свободных переменных]], то включение [[Восстановленные значения|восстановленных значений]] второй модели в этот набор не должно приводить к значимым улучшениям. Но если это так, то, возможно, первая модель не является верной.
Идея критерия Давидона-Маккиннона состоит в следующем: если первая модель содержит верный набор [[Свободные переменные|свободных переменных]], то включение [[Восстановленные значения|восстановленных значений]] второй модели в этот набор не должно приводить к значимым улучшениям. Но если это так, то, возможно, первая модель не является верной.
Строка 41: Строка 41:
|-
|-
|}
|}
-
 
-
== Реализации ==
 
-
 
-
* В системе [[Matlab]]: встроенной реализации нет.
 
-
* В системе [[R]]: функция [http://www.inside-r.org/packages/cran/lmtest/docs/jtest <code>jtest</code>] в пакете [http://cran.r-project.org/web/packages/lmtest/index.html <code>lmtest</code>].
 
== Пример ==
== Пример ==
Строка 76: Строка 71:
Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
</pre>
</pre>
 +
 +
== Реализации ==
 +
 +
* В системе [[Matlab]]: встроенной реализации нет.
 +
* В системе [[R]]: функция [http://www.inside-r.org/packages/cran/lmtest/docs/jtest <code>jtest</code>] в пакете [http://cran.r-project.org/web/packages/lmtest/index.html <code>lmtest</code>].
 +
 +
== Свойства ==
 +
 +
* При справедливости обозначенных выше нулевых гипотез J-статистика этой гипотезы имеет асимптотически нормальное распределение <tex>\mathrm{N}(0,1)</tex>.
 +
 +
== Область применения ==
 +
 +
Исследования показывают, что критерий хорошо применим в следующих случаях:
 +
 +
* Выборка мала.
 +
* Модель плохо восстанавливается.
 +
* Наборы свободных переменных моделей сильно отличаются.
 +
 +
== История ==
 +
 +
Критерий предложен Расселом Давидсоном (Russell Davidson) и Джеймсом Маккинноном (James G. MacKinnon) в статье Several Tests for Model Specification in the Presence of Alternative Hypotheses (журнал Econometrica, 1981 г., т. 49, с. 781-793).
 +
 +
== Улучшения ==
 +
 +
Одно из улучшений данного критерия называется '''P-критерием'''. Является более эффективным в случае, если модель не является [[Линейная регрессия (пример)|линейной]].
 +
 +
Меняются рассматриваемые модели:
 +
 +
:: <tex>y = f_1(w_1, x_1) + \beta (\hat{\hat{y}}-f_2(f^{-1}_1(\hat{y})))+\varepsilon_5</tex>,
 +
:: <tex>y = f_2(w_2, x_2) + \gamma (\hat{y} - f_1(f^{-1}_2(\hat{\hat{y}})))+\varepsilon_6</tex>.
 +
 +
Далее алгоритм аналогичен J-критерию.
== Литература ==
== Литература ==
Строка 88: Строка 115:
== Ссылки ==
== Ссылки ==
-
* [http://ru.wikipedia.org/wiki/%D0%A2%D0%B5%D1%81%D1%82_%D0%BD%D0%B5%D0%B2%D0%BB%D0%BE%D0%B6%D0%B5%D0%BD%D0%BD%D1%8B%D1%85_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B5%D0%B9 Тест невложенных моделей] в Википедии.
+
* [http://ru.wikipedia.org/wiki/%D0%A2%D0%B5%D1%81%D1%82_%D0%BD%D0%B5%D0%B2%D0%BB%D0%BE%D0%B6%D0%B5%D0%BD%D0%BD%D1%8B%D1%85_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B5%D0%B9 Тест невложенных моделей] в Википедии
* [[Регрессионная модель]]
* [[Регрессионная модель]]
* [[Регрессионный анализ]]
* [[Регрессионный анализ]]
Строка 98: Строка 125:
[[Категория:Прикладная статистика]]
[[Категория:Прикладная статистика]]
[[Категория:Статистические критерии]]
[[Категория:Статистические критерии]]
 +
[[Категория:Регрессионный анализ]]

Текущая версия

Критерий Давидсона-Маккиннона (также J-критерий Давидсона-Маккиннона, критерий невложенных моделей, англ. Davidson-MacKinnon J test, non-nested models test) — статистический критерий, используется для сравнения невложенных регрессионных моделей.

Содержание

Основная идея

Пусть даны две невложенные регрессионные модели, т.е. ни одна из них не является частным случаем другой.

Идея критерия Давидона-Маккиннона состоит в следующем: если первая модель содержит верный набор свободных переменных, то включение восстановленных значений второй модели в этот набор не должно приводить к значимым улучшениям. Но если это так, то, возможно, первая модель не является верной.

Таким образом для сравнения обеих моделях необходимо добавить значения первой модели во вторую и наоборот. Тестовая статистика критерия проверяет значимость восстановленных значений в расширенной модели, обычно для этого используется t-статистика Стьюдента.

Определение

Пусть даны две регрессионные модели:

y = f_1(w_1, x_1) + \varepsilon_1,
y = f_2(w_2, x_2) + \varepsilon_2,

и пусть они невложенные, т.е. для некоторого w_1 справедливо f_1(w_1, x_1) \neq f_2(w_2, x_2) при любых w_2.

Обозначим восстановленные значения этих моделей через \hat{y} и \hat{\hat{y}}, соответственно.

Рассмотрим следующие модели:

y = f_1(w_1, x_1) + \beta \hat{\hat{y}} + \varepsilon_3,
y = f_2(w_2, x_2) + \gamma \hat{y} + \varepsilon_4.

При помощи критерия Стьюдента проверим следующие нулевые гипотезы против соответствующих альтернатив:

H_{01}: \beta = 0, против альтернативы H_{02}: \beta \neq 0,
H_{02}: \gamma = 0, против альтернативы H_{02}: \gamma \neq 0.

Вывод критерия определяется по таблице:

H_{02} принята H_{02} отвергнута
H_{01} принята Модели одинаково хороши Первая модель значимо лучше
H_{01} отвергнута Вторая модель значимо лучше Модели одинаково плохи

Пример

См. W. H. Greene. Econometric Analysis, 5th ed. New Jersey, Prentice Hall. 2003. Примеры 7.11 и 7.12.

# В системе R, используется дополнительный пакет lmtest.

# Загрузка данных
> data(USDistLag)
> usdl <- na.contiguous(cbind(USDistLag, lag(USDistLag, k = -1)))
> colnames(usdl) <- c("con", "gnp", "con1", "gnp1")

# Построение моделей
> fm1 <- lm(con ~ gnp + con1, data = usdl)
> fm2 <- lm(con ~ gnp + gnp1, data = usdl)

# Применение критерия
> jtest(fm1, fm2)
J test

Model 1: con ~ gnp + con1
Model 2: con ~ gnp + gnp1

                 Estimate  Std. Error  t value   Pr(>|t|)    
M1 + fitted(M2)   -2.7041     0.76273  -3.5454  0.0029371  ** 
M2 + fitted(M1)    2.7436     0.52710   5.2051  0.0001067  ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Реализации

  • В системе Matlab: встроенной реализации нет.
  • В системе R: функция jtest в пакете lmtest.

Свойства

  • При справедливости обозначенных выше нулевых гипотез J-статистика этой гипотезы имеет асимптотически нормальное распределение \mathrm{N}(0,1).

Область применения

Исследования показывают, что критерий хорошо применим в следующих случаях:

  • Выборка мала.
  • Модель плохо восстанавливается.
  • Наборы свободных переменных моделей сильно отличаются.

История

Критерий предложен Расселом Давидсоном (Russell Davidson) и Джеймсом Маккинноном (James G. MacKinnon) в статье Several Tests for Model Specification in the Presence of Alternative Hypotheses (журнал Econometrica, 1981 г., т. 49, с. 781-793).

Улучшения

Одно из улучшений данного критерия называется P-критерием. Является более эффективным в случае, если модель не является линейной.

Меняются рассматриваемые модели:

y = f_1(w_1, x_1) + \beta (\hat{\hat{y}}-f_2(f^{-1}_1(\hat{y})))+\varepsilon_5,
y = f_2(w_2, x_2) + \gamma (\hat{y} - f_1(f^{-1}_2(\hat{\hat{y}})))+\varepsilon_6.

Далее алгоритм аналогичен J-критерию.

Литература

  • R. Davidson, J. MacKinnon. Several Tests for Model Specification in the Presence of Alternative Hypotheses. 1981. Econometrica, т. 49, с. 781-793.
  • R. Davidson, J. MacKinnon, H. White. Tests for Model Specification in the Presence of Alternative Hypotheses. Some Further Results. 1983. Journal of Econometrics 21, 53-70. North-Holland Publishing company.
  • R. Davidson, J. MacKinnon. Estimation and Inference in Econometrics. Oxford University Press. 1993.
  • R. Davidson, J. MacKinnon. Econometric Theory and Methods. Oxford University Press. 2004.
  • W. H. Greene. Econometric Analysis, 5th ed. New Jersey, Prentice Hall. 2003.
  • Dale S. Bremmer. J-Tests: To Nest Or Not To Nest, That Is The Question. “Quantitative Methods” Session of the 79th Annual Conference of the Western Economics Association International in Vancouver, British Columbia, Canada, on July 3, 2003

Ссылки

Личные инструменты