Участник:Slimper/Песочница

Материал из MachineLearning.

< Участник:Slimper(Различия между версиями)
Перейти к: навигация, поиск
м (декатегоризация)
 
(15 промежуточных версий не показаны.)
Строка 1: Строка 1:
-
'''Ранговые критерии''' — это статистические тесты, в которых вместо выборочных значений используются их [[ранг]]и(номера элементов в упорядоченной по возрастанию выборке). Большинство ранговых критериев являются
+
'''Критерий Бартелса (Bartels test)''' — [[непараметрический статистический критерий]], используемый для проверки случайности последовательности наблюдаемых значений. Критерий является ранговым, поэтому он инвариантен по отношению к любому монотонному преобразованию шкалы измерения. Критерий Бартелса можно применять для анализа регрессионных остатков.
-
[[Проверка статистических гипотез#Типы статистических критериев| непараметрическими]], хотя
+
Также его можно применять при анализе [[временной ряд|временных рядов]] для выявления тренда.
-
среди ранговых критериев встречаются и параметрические, например, одновыборочный [[критерий Колмогорова-Смирнова]].
+
-
==Классификация ранговых критериев ==
+
== Примеры задач ==
-
''Ранговые критерии'' можно разбить на группы в зависимости от типа [[Проверка статистических гипотез| статистической гипотезы]], которую они проверяют. Некоторые критерии входят в несколько групп, так как их можно использовать для проверки различных гипотез.
+
'''Пример 1.'''
-
<ref>''Hajek J., Sidak Z., Sen K. P.'' Theory of rank tests(second edition)</ref>
+
Ряд значений состоит из подсчитанного на протяжении нескольких лет количества туристов, посещавших страну в течение года.
-
=== Критерии случайности ===
+
Требуется установить, являются ли число туристов, случайным, или оно
-
Пусть задана выборка
+
подчиняется какой-то закономерности.
-
<tex>x_1, \dots x_n</tex>.
+
-
Проверяется гипотеза о том, что наблюдения <tex>x_i</tex> независимы и подчиняются одному
+
-
и тому же распределению с плотностью <tex>f(x)</tex>.
+
-
*[[Критерий серий]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 526 </ref>
+
-
*[[Критерий инверсий]]<ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 535 </ref>
+
-
*[[Критерий Вальда-Волфовитца]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 539 </ref>
+
-
*[[Критерий Рамачандрана-Ранганатана]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 530 </ref>
+
-
*[[Сериальный критерий Шахнесси]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 530 </ref>
+
-
*[[Критерий Олмстеда]]<ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 532 </ref>
+
-
*[[Критерий Бартелса]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 540 </ref>
+
-
*[[Критерий кумулятивной суммы]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 541 </ref>
+
-
*[[Знаково-ранговый критерий Холлина]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 542 </ref>
+
-
=== Критерии симметрии ===
+
== Описание критерия ==
-
Пусть задана [[простая выборка]]
+
Заданы выборка <tex>x^n = (x_1,\ldots,x_n),x_i \in \mathbb{R}</tex>.
-
<tex> x_1, \dots, x_n </tex> c плотностью <tex>f(x)</tex>
+
-
Проверяется гипотеза о том, что плотность распределения симметрична относительно своего центра <tex>a</tex>.
+
-
Возможная формулировка нулевой гипотезы:
+
'''[[Нулевая гипотеза]]''' <tex>H_0:\;</tex> выборка <tex>x^n</tex> [[простая выборка|простая]], то
-
<tex>H_0: f(a + x) = f(a-x) </tex>.
+
есть все наблюдения <tex>x_i</tex> — независимы и одинаково распределены.
-
*[[Критерий Уилкоксона-Манна-Уитни|Одновыборочный критерий Уилкоксона]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 339 </ref>
+
-
*[[Критерий симметрии Смирнова]]<ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 337 </ref>
+
-
*[[Критерий Фрэйзера]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 350 </ref>
+
-
*[[Критерий Антилла—Керетинга—Цуккини]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 340 </ref>
+
-
*[[Критерий Бхатачарья-Гаствирта-Райта]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 342 </ref>
+
-
=== Критерии корреляции ===
+
-
Задана выборка пар наблюдений <tex>(x_i, y_i)</tex> объёма <tex>n</tex>
+
-
Проверяется гипотеза о наличии корреляции между случайными величинами <tex>x</tex>
+
-
и <tex>y</tex>. Для проверки этой гипотезы используются критерии, основанные на различных коэффициентах
+
-
[[Ранговая корреляция|ранговой корреляции]].
+
-
*[[коэффициент корреляции Кенделла|Критерий Кенделла]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 624 </ref>
+
-
*[[коэффициент корреляции Спирмена|Критерий Спирмена]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 626 </ref>
+
-
*[[Критерий Ширахатэ]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 630 </ref>
+
-
*[[Критерий Гёфдинга]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 628 </ref>
+
-
*[[Критерий корреляции Фишера-Йэйтса]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 632 </ref>
+
-
*[[Критерий корреляции Ван дер Вардена ]]<ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 633 </ref>
+
-
Обобщением [[Ранговая корреляция|ранговой корреляции]] на случай нескольких выборок является ''коэффициент конкордации''. На её основе строятся тесты для анализа корреляции нескольких выборок.
+
-
*[[Конкордация Кенделла|Коэффициент конкордации Кенделла]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 634 </ref>
+
-
*[Коэффициент конкордации Шукени-Фроли]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 636 </ref>
+
-
=== Критерии сдвига и масштаба ===
+
-
==== Критерии сдвига ====
+
-
Проверяется гипотеза сдвига, согласно которой распределения двух выборок имеют одинаковую форму и отличаются только сдвигом на константу.
+
-
Пусть заданы две выборки
+
-
<tex>x^m = (x_1,\ldots,x_m),\; x_i \in \mathbb{R};\;\; y^n = (y_1,\ldots,y_n),\; y_i \in \mathbb{R}</tex>,взятые из неизвестных непрерывных распределений <tex>F(x)</tex> и <tex>G(y)</tex> соответственно.
+
-
Нулевая гипотеза — <tex>H_0: \quad F(x) = G(y - \mu)</tex>
+
'''Статистика критерия:'''
 +
# Построить [[вариационный ряд]] выборки <tex>x^{(1)}(x_1,\ldots,x_n)</tex> и найти ранги <tex>r(x_i)</tex> всех элементов.
 +
# Статистика критерия Бартелса вычисляется по формуле:
 +
::<tex>B = \frac{ \sum_{i = 1}^n (r(x_i) - r(x_{i + 1}) )^2 }{ \sum(R_i - \frac{n + 1}{2})^2}</tex>
-
Наиболее частая альтернативная гипотеза - <tex>H_1: \quad F(x) \ne G(y - \mu)</tex>.
+
Варианты критерия (при [[уровень значимости|уровне значимости]] <tex>\alpha</tex>):
-
* [[Критерий Уилкоксона-Манна-Уитни]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 454 </ref>
+
* двусторонний критерий (против альтернативы, что данные не случайны)
-
* [[Критерий Фишера-Йэйтса-Терри-Гёфдинга]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 459 </ref>
+
::если <tex> B \in \left[ B_{n,\alpha/2},\, B_{n,1-\alpha/2} \right] </tex>, то нулевая гипотеза отвергается;
-
* [[Критерий Ван дер Вардена ]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 460 </ref>
+
-
* [[Медианный критерий]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 462</ref>
+
-
* [[Критерий Хаги]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 464 </ref>
+
-
* [[E-Критерий]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 465 </ref>
+
-
Кроме критериев, проверяющих гипотезу сдвига для двух совокупностей, существует большое
+
* левосторонний критерий(против альтернативы, что наблюдения положительно коррелированы)
-
количество тестов для проверки гипотезы сдвига среди нескольких совокупностей. Далее приведены
+
::если <tex> B < B_{n,\alpha} </tex>, то нулевая гипотеза отвергается;
-
некоторые из них:
+
* правосторонний критерий(против альтернативы, что наблюдения отрицательно коррелированы)
-
*[[Критерий Краскела-Уоллиса]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 466 </ref>
+
::если <tex> B > B_{n,\alpha} </tex>, то нулевая гипотеза отвергается;
-
*[[Критерий Краузе]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c.481 </ref>
+
-
*[[Критерий Пейджа]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c.482 </ref>
+
-
*[[Критерий Вилкоксона-Вилкокс]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 471 </ref>
+
-
*[[Критерий Джонкхиера]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 477 </ref>
+
-
*[[Критерий Неменьи]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 469 </ref>
+
-
*[[Критерий Хеттманспергера ]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 476 </ref>
+
-
*[[Критерий Фридмена-Кендалла-Бэбингтона-Смита]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 484 </ref>
+
-
*[[Критерий Хеттманспергера]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 476 </ref>
+
-
*[[Критерий Андерсона-Каннемана-Шэча]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 486 </ref>
+
-
*[[Критерий Кендалла-Эренберга]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 489 </ref>
+
-
*[[Критерий Ходжеса-Лемана-Сена]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 490 </ref>
+
-
'''Критерии масштаба'''
+
Здесь <tex> B_{n,\alpha} </tex> -- это <tex>\alpha</tex>-[[квантиль]] табличного распределения статистики Бартелса с параметром <tex>n</tex>.
-
Для двух выборок
+
-
<tex>x^m = (x_1,\ldots,x_m),\; x_i \in \mathbb{R};\;\; y^n = (y_1,\ldots,y_n),\; y_i \in \mathbb{R}</tex>.
+
-
проверяется гипотеза о том, что они принадлежат одному и тому же распределению,
+
-
но с разным параметром масштаба.
+
-
Если плотность распределения первой выборки — <tex>f(x)</tex>, а второй выборки —
+
-
<tex>\frac{1}{\tau}f( \frac{x}{\tau})</tex>, то нулевая гипотеза <tex>H_0: \tau \ne 1</tex>.
+
-
*[[Критерий Ансари—Бредли]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 492 </ref>
+
===Асимптотический критерий ===
-
*[[Критерий Сижела-Тьюки]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 495 </ref>
+
Распределение статистики Бартелса асимптотически нормально
-
*[[Критерий Критерий Кейпена]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 496 </ref>
+
с матожиданием <tex>\mathbb{E}B = 2</tex> и дисперсией
-
*[[Критерий Клотца]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 499 </ref>
+
::<tex> \mathbb{D}B = \frac{4(n - 2)(5n^2 - 2n - 9)}{5n(n + 1)(n - 1)^2} </tex>
-
*[[Критерий Сэвиджа]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 502 </ref>
+
-
*[[Критерий Муда]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 504 </ref>
+
-
*[[Критерий Сукхатме]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 505 </ref>
+
-
*[[Критерий Сэндвика-Олсона]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 507 </ref>
+
-
*[[Критерий Камата]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 509 </ref>
+
-
*[[Комбинированный критерий Буша-Винда]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 511 </ref>
+
-
*[[Критерий Бхапкара-Дешпанде]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 514 </ref>
+
-
== Примечания ==
+
Поэтому при
-
{{список примечаний}}
+
<tex>n \ge 20</tex> используется нормированная статистика Бартелса
 +
::<tex>B' = \frac{B - \mathbb{E}B}{\sqrt{\mathbb{D}B} } </tex>
 +
 
 +
== Свойства критерия Бартелса==
 +
Бартелс с помошью численного моделирования показал , что во многих случаях критерий Бартелса имеет большую мощность, чем [[Критерий Вальда-Вольфовица|критерий серий]].
 +
 
 +
== История ==
 +
Критерий был предложен Бартелсом в 1982 году.
== Литература ==
== Литература ==
 +
 +
# ''Gibbons J. D., Chakraborti S.'' Nonparametric Statistical Inference, 4th Ed. — CRC, 2003 — 608&nbsp;с.
# ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006. — 816&nbsp;с.
# ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006. — 816&nbsp;с.
-
# ''Hajek J., Sidak Z., Sen K. P.'' Theory of rank tests(second edition). — Academic Press, 1999. - 450&nbsp;p.
 
-
== См. также ==
+
== См. также ==
-
*[[Проверка статистических гипотез]]
+
* [[Проверка статистических гипотез]] — о методологии проверки статистических гипотез.
-
*[[Статистика (функция выборки)]]
+
* [[Статистика (функция выборки)]]
-
*[[Вариационный ряд]]
+
* [[Критерий Вальда-Вольфовица|Критерий серий]] — другой критерий для проверки случайности ряда наблюдений
-
*[[Ранговая корелляция]]
+
== Ссылки ==
== Ссылки ==
-
[http://en.wikipedia.org/wiki/Rank_correlation| Rank correlation]
 
-
 
{{Задание|Slimper|Vokov|08 января 2010}}
{{Задание|Slimper|Vokov|08 января 2010}}

Текущая версия

Критерий Бартелса (Bartels test)непараметрический статистический критерий, используемый для проверки случайности последовательности наблюдаемых значений. Критерий является ранговым, поэтому он инвариантен по отношению к любому монотонному преобразованию шкалы измерения. Критерий Бартелса можно применять для анализа регрессионных остатков. Также его можно применять при анализе временных рядов для выявления тренда.

Содержание

Примеры задач

Пример 1. Ряд значений состоит из подсчитанного на протяжении нескольких лет количества туристов, посещавших страну в течение года. Требуется установить, являются ли число туристов, случайным, или оно подчиняется какой-то закономерности.

Описание критерия

Заданы выборка x^n = (x_1,\ldots,x_n),x_i \in \mathbb{R}.

Нулевая гипотеза H_0:\; выборка x^n простая, то есть все наблюдения x_i — независимы и одинаково распределены.

Статистика критерия:

  1. Построить вариационный ряд выборки x^{(1)}(x_1,\ldots,x_n) и найти ранги r(x_i) всех элементов.
  2. Статистика критерия Бартелса вычисляется по формуле:
B = \frac{ \sum_{i = 1}^n (r(x_i) - r(x_{i + 1}) )^2 }{ \sum(R_i - \frac{n + 1}{2})^2}

Варианты критерия (при уровне значимости \alpha):

  • двусторонний критерий (против альтернативы, что данные не случайны)
если  B \in \left[ B_{n,\alpha/2},\, B_{n,1-\alpha/2} \right] , то нулевая гипотеза отвергается;
  • левосторонний критерий(против альтернативы, что наблюдения положительно коррелированы)
если  B < B_{n,\alpha} , то нулевая гипотеза отвергается;
  • правосторонний критерий(против альтернативы, что наблюдения отрицательно коррелированы)
если  B > B_{n,\alpha} , то нулевая гипотеза отвергается;

Здесь  B_{n,\alpha} -- это \alpha-квантиль табличного распределения статистики Бартелса с параметром n.

Асимптотический критерий

Распределение статистики Бартелса асимптотически нормально с матожиданием \mathbb{E}B = 2 и дисперсией

 \mathbb{D}B = \frac{4(n - 2)(5n^2 - 2n - 9)}{5n(n + 1)(n - 1)^2}

Поэтому при n \ge 20 используется нормированная статистика Бартелса

B' = \frac{B - \mathbb{E}B}{\sqrt{\mathbb{D}B} }

Свойства критерия Бартелса

Бартелс с помошью численного моделирования показал , что во многих случаях критерий Бартелса имеет большую мощность, чем критерий серий.

История

Критерий был предложен Бартелсом в 1982 году.

Литература

  1. Gibbons J. D., Chakraborti S. Nonparametric Statistical Inference, 4th Ed. — CRC, 2003 — 608 с.
  2. Кобзарь А. И. Прикладная математическая статистика. — М.: Физматлит, 2006. — 816 с.

См. также

Ссылки

Данная статья является непроверенным учебным заданием.
Студент: Участник:Slimper
Преподаватель: Участник:Vokov
Срок: 08 января 2010

До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}.

См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе.


Личные инструменты