Участник:Slimper/Песочница

Материал из MachineLearning.

< Участник:Slimper(Различия между версиями)
Перейти к: навигация, поиск
(Критерии корреляции)
м (декатегоризация)
 
(20 промежуточных версий не показаны.)
Строка 1: Строка 1:
-
'''Ранговые критерии''' — это статистические тесты, в которых вместо выборочных значений используются их [[ранг]]и(номера элементов в упорядоченной по возрастанию выборке). Большинство ранговых критериев являются
+
'''Критерий Бартелса (Bartels test)''' — [[непараметрический статистический критерий]], используемый для проверки случайности последовательности наблюдаемых значений. Критерий является ранговым, поэтому он инвариантен по отношению к любому монотонному преобразованию шкалы измерения. Критерий Бартелса можно применять для анализа регрессионных остатков.
-
[[Проверка статистических гипотез#Типы статистических критериев| непараметрическими]], хотя
+
Также его можно применять при анализе [[временной ряд|временных рядов]] для выявления тренда.
-
среди ранговых критериев встречаются и параметрические, например, одновыборочный [[критерий Колмогорова-Смирнова]].
+
-
==Классификация ранговых критериев ==
+
== Примеры задач ==
-
''Ранговые критерии'' можно разбить на группы в зависимости от типа [[Проверка статистических гипотез| статистической гипотезы]], которую они проверяют. Некоторые критерии входят в несколько групп, так как их можно использовать для проверки различных гипотез.
+
'''Пример 1.'''
-
=== Критерии случайности ===
+
Ряд значений состоит из подсчитанного на протяжении нескольких лет количества туристов, посещавших страну в течение года.
-
Пусть задана выборка
+
Требуется установить, являются ли число туристов, случайным, или оно
-
<tex>x_1, \dots x_n</tex>.
+
подчиняется какой-то закономерности.
-
Проверяется гипотеза о том, что наблюдения <tex>x_i</tex> независимы и подчиняются одному
+
-
и тому же распределению с плотностью <tex>f(x)</tex>.
+
-
*[[Критерий серий]]
+
-
*[[Критерий инверсий]]
+
-
*[[Критерий Вальда-Волфовитца]]
+
-
*[[Критерий Рамачандрана-Ранганатана]]
+
-
*[[Сериальный критерий Шахнесси]]
+
-
*[[Критерий Олмстеда]]
+
-
*[[Критерий Бартелса]]
+
-
*[[Критерий кумулятивной суммы]]
+
-
*[[Знаково-ранговый критерий Холлина]]
+
-
=== Критерии симметрии ===
+
== Описание критерия ==
-
Пусть задана [[простая выборка]]
+
Заданы выборка <tex>x^n = (x_1,\ldots,x_n),x_i \in \mathbb{R}</tex>.
-
<tex> x_1, \dots, x_n </tex> c плотностью <tex>f(x)</tex>
+
-
Проверяется гипотеза о том, что плотность распределения симметрична относительно своего центра <tex>a</tex>.
+
-
Возможная формулировка нулевой гипотезы:
+
'''[[Нулевая гипотеза]]''' <tex>H_0:\;</tex> выборка <tex>x^n</tex> [[простая выборка|простая]], то
-
<tex>H_0: f(a + x) = f(a-x) </tex>.
+
есть все наблюдения <tex>x_i</tex> — независимы и одинаково распределены.
-
*[[Критерий Уилкоксона-Манна-Уитни|Одновыборочный критерий Уилкоксона]]
+
-
*[[Критерий симметрии Смирнова]]
+
-
*[[Критерий Фрэйзера]]
+
-
*[[Критерий Ван дер Вардена]]
+
-
*[[Критерий Антилла—Керетинга—Цуккини]]
+
-
*[[Критерий Бхатачарья-Гаствирта-Райта]]
+
-
=== Критерии корреляции ===
+
'''Статистика критерия:'''
-
Задана выборка пар наблюдений <tex>(x_i, y_i)</tex> объёма <tex>n</tex>
+
# Построить [[вариационный ряд]] выборки <tex>x^{(1)}(x_1,\ldots,x_n)</tex> и найти ранги <tex>r(x_i)</tex> всех элементов.
-
Проверяется гипотеза о наличии корреляции между случайными величинами <tex>x</tex>
+
# Статистика критерия Бартелса вычисляется по формуле:
-
и <tex>y</tex>. Для проверки этой гипотезы используются критерии, основанные на различных коэффициентах
+
::<tex>B = \frac{ \sum_{i = 1}^n (r(x_i) - r(x_{i + 1}) )^2 }{ \sum(R_i - \frac{n + 1}{2})^2}</tex>
-
[[Ранговая корреляция|ранговой корреляции]].
+
-
*[[коэффициент корреляции Спирмена|Критерий Спирмена]]
+
-
*[[Критерий Ширахатэ]]
+
-
*[[Критерий Гёфдинга]]
+
-
*[[Критерий корреляции Фишера-Йэйтса]]
+
-
*[[Критерий корреляции Ван дер Вардена ]]
+
-
Обобщением [[Ранговая корреляция|ранговой корреляции]] на случай нескольких выборок является ''коэффициент конкордации''. На её основе строятся тесты для анализа корреляции нескольких выборок.
+
-
*[[Конкордация Кенделла|Коэффициент конкордации Кенделла]]
+
-
*[Коэффициент конкордации Шукени-Фроли]]
+
-
=== Критерии сдвига и масштаба ===
+
Варианты критерия (при [[уровень значимости|уровне значимости]] <tex>\alpha</tex>):
-
Проверяется гипотеза сдвига, согласно которой распределения двух выборок имеют одинаковую форму и отличаются только сдвигом на константу.
+
-
Пусть заданы две выборки
+
-
<tex>x^m = (x_1,\ldots,x_m),\; x_i \in \mathbb{R};\;\; y^n = (y_1,\ldots,y_n),\; y_i \in \mathbb{R}</tex>,взятые из неизвестных непрерывных распределений <tex>F(x)</tex> и <tex>G(y)</tex> соответственно.
+
-
Нулевая гипотеза — <tex>H_0: \quad F(x) = G(y - \mu)</tex>
+
* двусторонний критерий (против альтернативы, что данные не случайны)
 +
::если <tex> B \in \left[ B_{n,\alpha/2},\, B_{n,1-\alpha/2} \right] </tex>, то нулевая гипотеза отвергается;
-
Наиболее частая альтернативная гипотеза - <tex>H_1: \quad F(x) \ne G(y - \mu)</tex>.
+
* левосторонний критерий(против альтернативы, что наблюдения положительно коррелированы)
 +
::если <tex> B < B_{n,\alpha} </tex>, то нулевая гипотеза отвергается;
 +
* правосторонний критерий(против альтернативы, что наблюдения отрицательно коррелированы)
 +
::если <tex> B > B_{n,\alpha} </tex>, то нулевая гипотеза отвергается;
-
'''Список критериев'''
+
Здесь <tex> B_{n,\alpha} </tex> -- это <tex>\alpha</tex>-[[квантиль]] табличного распределения статистики Бартелса с параметром <tex>n</tex>.
-
* [[Критерий Уилкоксона-Манна-Уитни]]
+
-
* [[Критерий Фишера-Йэйтса-Терри-Гёфдинга]]
+
-
* [[Критерий Ван дер Вардена ]]
+
-
* [[Медианный критерий]]
+
-
* [[Критерий Хаги]]
+
-
* [[E-Критерий]]
+
-
Кроме критериев, проверяющих гипотезу сдвига для двух совокупностей, существует большое
+
===Асимптотический критерий ===
-
количество тестов для проверки гипотезы сдвига среди нескольких совокупностей. Далее приведены
+
Распределение статистики Бартелса асимптотически нормально
-
некоторые из них:
+
с матожиданием <tex>\mathbb{E}B = 2</tex> и дисперсией
-
*[[Критерий Крускала-Уоллиса]]
+
::<tex> \mathbb{D}B = \frac{4(n - 2)(5n^2 - 2n - 9)}{5n(n + 1)(n - 1)^2} </tex>
-
*[[Критерий Краузе]]
+
-
*[[Критерий Пейджа]]
+
-
*[[Критерий Вилкоксона-Вилкокс]]
+
-
*[[Критерий Джонкхиера]]
+
-
*[[Критерий Неменьи]]
+
-
*[[Критерий Хеттманспергера ]]
+
-
*[[Критерий Фридмена-Кендалла-Бэбингтона-Смита]]
+
-
*[[Критерий Хеттманспергера]]
+
-
*[[Критерий Андерсона-Каннемана-Шэча]]
+
-
*[[Критерий Кендалла-Эренберга]]
+
-
*[[Критерий Ходжеса-Лемана-Сена]]
+
-
'''Критерии масштаба'''
+
Поэтому при
-
*[[Критерий Ансари—Бредли]]
+
<tex>n \ge 20</tex> используется нормированная статистика Бартелса
-
*[[Критерий Сижела-Тьюки]]
+
::<tex>B' = \frac{B - \mathbb{E}B}{\sqrt{\mathbb{D}B} } </tex>
-
*[[Критерий Критерий Кейпена]]
+
 
-
*[[Критерий Клотца]]
+
== Свойства критерия Бартелса==
-
*[[Критерий Сэвиджа]]
+
Бартелс с помошью численного моделирования показал , что во многих случаях критерий Бартелса имеет большую мощность, чем [[Критерий Вальда-Вольфовица|критерий серий]].
-
*[[Критерий Муда]]
+
 
-
*[[Критерий Сукхатме]]
+
== История ==
-
*[[Критерий Сэндвика-Олсона]]
+
Критерий был предложен Бартелсом в 1982 году.
-
*[[Критерий Камата]]
+
-
*[[Критерий Бхапкара-Дешпанде]]
+
== Литература ==
== Литература ==
 +
 +
# ''Gibbons J. D., Chakraborti S.'' Nonparametric Statistical Inference, 4th Ed. — CRC, 2003 — 608&nbsp;с.
# ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006. — 816&nbsp;с.
# ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006. — 816&nbsp;с.
-
# ''Hajek J., Sidak Z., Sen K. P.'' Theory of rank tests(second edition). — Academic Press, 1999. - 450&nbsp;p.
 
-
== См. также ==
+
== См. также ==
* [[Проверка статистических гипотез]] — о методологии проверки статистических гипотез.
* [[Проверка статистических гипотез]] — о методологии проверки статистических гипотез.
* [[Статистика (функция выборки)]]
* [[Статистика (функция выборки)]]
 +
* [[Критерий Вальда-Вольфовица|Критерий серий]] — другой критерий для проверки случайности ряда наблюдений
== Ссылки ==
== Ссылки ==
-
 
{{Задание|Slimper|Vokov|08 января 2010}}
{{Задание|Slimper|Vokov|08 января 2010}}

Текущая версия

Критерий Бартелса (Bartels test)непараметрический статистический критерий, используемый для проверки случайности последовательности наблюдаемых значений. Критерий является ранговым, поэтому он инвариантен по отношению к любому монотонному преобразованию шкалы измерения. Критерий Бартелса можно применять для анализа регрессионных остатков. Также его можно применять при анализе временных рядов для выявления тренда.

Содержание

Примеры задач

Пример 1. Ряд значений состоит из подсчитанного на протяжении нескольких лет количества туристов, посещавших страну в течение года. Требуется установить, являются ли число туристов, случайным, или оно подчиняется какой-то закономерности.

Описание критерия

Заданы выборка x^n = (x_1,\ldots,x_n),x_i \in \mathbb{R}.

Нулевая гипотеза H_0:\; выборка x^n простая, то есть все наблюдения x_i — независимы и одинаково распределены.

Статистика критерия:

  1. Построить вариационный ряд выборки x^{(1)}(x_1,\ldots,x_n) и найти ранги r(x_i) всех элементов.
  2. Статистика критерия Бартелса вычисляется по формуле:
B = \frac{ \sum_{i = 1}^n (r(x_i) - r(x_{i + 1}) )^2 }{ \sum(R_i - \frac{n + 1}{2})^2}

Варианты критерия (при уровне значимости \alpha):

  • двусторонний критерий (против альтернативы, что данные не случайны)
если  B \in \left[ B_{n,\alpha/2},\, B_{n,1-\alpha/2} \right] , то нулевая гипотеза отвергается;
  • левосторонний критерий(против альтернативы, что наблюдения положительно коррелированы)
если  B < B_{n,\alpha} , то нулевая гипотеза отвергается;
  • правосторонний критерий(против альтернативы, что наблюдения отрицательно коррелированы)
если  B > B_{n,\alpha} , то нулевая гипотеза отвергается;

Здесь  B_{n,\alpha} -- это \alpha-квантиль табличного распределения статистики Бартелса с параметром n.

Асимптотический критерий

Распределение статистики Бартелса асимптотически нормально с матожиданием \mathbb{E}B = 2 и дисперсией

 \mathbb{D}B = \frac{4(n - 2)(5n^2 - 2n - 9)}{5n(n + 1)(n - 1)^2}

Поэтому при n \ge 20 используется нормированная статистика Бартелса

B' = \frac{B - \mathbb{E}B}{\sqrt{\mathbb{D}B} }

Свойства критерия Бартелса

Бартелс с помошью численного моделирования показал , что во многих случаях критерий Бартелса имеет большую мощность, чем критерий серий.

История

Критерий был предложен Бартелсом в 1982 году.

Литература

  1. Gibbons J. D., Chakraborti S. Nonparametric Statistical Inference, 4th Ed. — CRC, 2003 — 608 с.
  2. Кобзарь А. И. Прикладная математическая статистика. — М.: Физматлит, 2006. — 816 с.

См. также

Ссылки

Данная статья является непроверенным учебным заданием.
Студент: Участник:Slimper
Преподаватель: Участник:Vokov
Срок: 08 января 2010

До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}.

См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе.


Личные инструменты