Участник:Slimper/Песочница

Материал из MachineLearning.

< Участник:Slimper(Различия между версиями)
Перейти к: навигация, поиск
(Примеры задач)
м (декатегоризация)
 
(4 промежуточные версии не показаны)
Строка 1: Строка 1:
-
'''Критерий Бартелса (Bartels test)''' — [[непараметрический статистический критерий]], используемый для проверки случайности ряда наблюдаемых значений. Критерий является ранговым, поэтому он инвариантен по отношению к любому монотонному преобразованию шкалы измерения.
+
'''Критерий Бартелса (Bartels test)''' — [[непараметрический статистический критерий]], используемый для проверки случайности последовательности наблюдаемых значений. Критерий является ранговым, поэтому он инвариантен по отношению к любому монотонному преобразованию шкалы измерения. Критерий Бартелса можно применять для анализа регрессионных остатков.
-
Основной областью применений критерия Бартелса является анализ временных рядов.
+
Также его можно применять при анализе [[временной ряд|временных рядов]] для выявления тренда.
== Примеры задач ==
== Примеры задач ==
'''Пример 1.'''
'''Пример 1.'''
-
Ряд значений состоит из подсчитанного на протяжении нескольких лет количества туристов, въезжавших в страну в течение года.
+
Ряд значений состоит из подсчитанного на протяжении нескольких лет количества туристов, посещавших страну в течение года.
-
Требуется установить, является ли изменение числа туристов случайным, или оно
+
Требуется установить, являются ли число туристов, случайным, или оно
подчиняется какой-то закономерности.
подчиняется какой-то закономерности.
== Описание критерия ==
== Описание критерия ==
 +
Заданы выборка <tex>x^n = (x_1,\ldots,x_n),x_i \in \mathbb{R}</tex>.
-
Заданы две выборки <tex>x^m = (x_1,\ldots,x_m),\; x_i \in \mathbb{R};\;\; y^n = (y_1,\ldots,y_n),\; y_i \in \mathbb{R}</tex>.
+
'''[[Нулевая гипотеза]]''' <tex>H_0:\;</tex> выборка <tex>x^n</tex> [[простая выборка|простая]], то
-
 
+
есть все наблюдения <tex>x_i</tex> — независимы и одинаково распределены.
-
'''Дополнительные предположения:'''
+
-
* обе выборки [[простая выборка|простые]], объединённая выборка [[независимая выборка|независима]];
+
-
* выборки взяты из неизвестных непрерывных распределений <tex>F(x)</tex> и <tex>G(y)</tex> соответственно.
+
-
 
+
-
'''[[Нулевая гипотеза]]''' <tex>H_0:\; F(x) = G(y)</tex>.
+
'''Статистика критерия:'''
'''Статистика критерия:'''
-
# Построить общий [[вариационный ряд]] объединённой выборки <tex>z^{(1)} \leq \cdots \leq z^{(m+n)}</tex> и найти ранги <tex>r(x_i)</tex> элементов первой выборки в общем вариационном ряду.
+
# Построить [[вариационный ряд]] выборки <tex>x^{(1)}(x_1,\ldots,x_n)</tex> и найти ранги <tex>r(x_i)</tex> всех элементов.
-
# Статистика критерия Ван дер Вардена вычисляется по формуле:
+
# Статистика критерия Бартелса вычисляется по формуле:
-
<tex>X = \sum_{i = 1}^n u( \frac{r(x_i)}{ m + n + 1} )</tex>, где
+
::<tex>B = \frac{ \sum_{i = 1}^n (r(x_i) - r(x_{i + 1}) )^2 }{ \sum(R_i - \frac{n + 1}{2})^2}</tex>
-
<tex>u( \frac{r(x_i)}{ m + n + 1} )</tex> — [[квантиль]] уровня
+
-
<tex>\frac{r(x_i)}{ m + n + 1}</tex>
+
-
[[нормальное распределение| стандартного нормального распределения]]
+
-
'''Критерий''' (при [[уровень значимости|уровне значимости]] <tex>\alpha</tex>):
+
Варианты критерия (при [[уровень значимости|уровне значимости]] <tex>\alpha</tex>):
-
* двусторонний критерий против альтернативы <tex>H_1:\; \mathbb{P} \{ x<y \} \neq 1/2</tex>
+
* двусторонний критерий (против альтернативы, что данные не случайны)
-
::если <tex> X \notin \left[ X_{\alpha/2},\, X_{1-\alpha/2} \right] </tex>, то нулевая гипотеза отвергается;
+
::если <tex> B \in \left[ B_{n,\alpha/2},\, B_{n,1-\alpha/2} \right] </tex>, то нулевая гипотеза отвергается;
-
* односторонний критерий -- против альтернативы <tex>H'_1:\; \mathbb{P} \{ x>y \} > 1/2</tex>
+
* левосторонний критерий(против альтернативы, что наблюдения положительно коррелированы)
-
::если <tex> X_> X_{1-\alpha} </tex>, то нулевая гипотеза отвергается;
+
::если <tex> B < B_{n,\alpha} </tex>, то нулевая гипотеза отвергается;
 +
* правосторонний критерий(против альтернативы, что наблюдения отрицательно коррелированы)
 +
::если <tex> B > B_{n,\alpha} </tex>, то нулевая гипотеза отвергается;
-
Здесь <tex> X_{\alpha} </tex> -- это <tex>\alpha</tex>-[[квантиль]] табличного распределения статистики Ван дер Вардена с параметрами <tex>m,\,n</tex>.
+
Здесь <tex> B_{n,\alpha} </tex> -- это <tex>\alpha</tex>-[[квантиль]] табличного распределения статистики Бартелса с параметром <tex>n</tex>.
===Асимптотический критерий ===
===Асимптотический критерий ===
-
Распределение статистики Ван дер Вардена асимптотически нормально
+
Распределение статистики Бартелса асимптотически нормально
-
с нулевым матожиданием <tex>\mathbb{E}X = 0</tex> и дисперсией
+
с матожиданием <tex>\mathbb{E}B = 2</tex> и дисперсией
-
::<tex> \mathbb{D}X = \frac{mn}{(m + n)(m + n - 1)} \sum_{i = 1}^{m + n} u^2( \frac{i}{m + n + 1} ) </tex>
+
::<tex> \mathbb{D}B = \frac{4(n - 2)(5n^2 - 2n - 9)}{5n(n + 1)(n - 1)^2} </tex>
-
Нормальную аппроксимацию статистики Ван дер Вардена можно использовать при
+
Поэтому при
-
<tex> m, n \geqslant 20</tex>.
+
<tex>n \ge 20</tex> используется нормированная статистика Бартелса
-
 
+
::<tex>B' = \frac{B - \mathbb{E}B}{\sqrt{\mathbb{D}B} } </tex>
-
В этом случае критерии (при [[уровень значимости|уровне значимости]] <tex>\alpha</tex>)
+
-
будет выглядеть следующим образом:
+
-
 
+
-
* двусторонний критерий <tex> \frac{X}{\mathbb{D}X} \notin \left[ u_{\alpha/2},\, u_{1-\alpha/2} \right] </tex>, то нулевая гипотеза отвергается;
+
-
 
+
-
* односторонний критерий -- против альтернативы <tex>H'_1:\; \mathbb{P} \{ x>y \} > 1/2</tex>
+
-
::если <tex> \frac{X}{\mathbb{D}X}> u_{1-\alpha} </tex>, то нулевая гипотеза отвергается;
+
-
 
+
-
== Свойства критерия Ван дер Вардена ==
+
-
Если выборки подчиняются нормальному распределению, то критерий Ван дер Вардена асимптотически
+
-
имеет ту же мощность, что и [[критерий Стьюдента]].
+
-
 
+
-
При <tex>n + m \to \infty</tex> критерий Ван дер Вардена не уступает в эффективности [[Критерий Стьюдента | критерию Стьюдента]]
+
-
 
+
-
== Многовыборочное обобщение критерия Ван дер Вардена ==
+
-
Заданы <i>k</i> выборок:
+
-
<tex>x_1^{n_1}=\left\{x_{11},\dots,x_{1n_1}\right\}, \dots, x_k^{n_k}=\left\{x_{k1},\dots,x_{kn_k}\right\}</tex>.
+
-
Объединённая выборка: <tex>z=x_1^{n_1}\cup x_2^{n_2}\cup \dots \cup x_k^{n_k}</tex>.
+
-
 
+
-
'''Дополнительные предположения:'''
+
-
* все выборки [[Простая выборка|простые]], объединённая выборка [[Независимая выборка|независима]];
+
-
* выборки взяты из неизвестных непрерывных распределений <tex>F_1(x),\dots,F_k(x)</tex>.
+
-
 
+
-
'''Статистика критерия:'''
+
-
Все <tex>N=\sum_{i=1}^k n_i</tex> элементов выборок упорядочиваются по возрастанию, через <tex>R_{ij}</tex> обозначается ранг <i>j</i>-го элемента <i>i</i>-й выборки в полученном [[вариационный ряд|вариационном ряду]].
+
-
 
+
-
Статистика Ван дер Вардена имеет вид <br />
+
-
:: <tex>T = \left(\sum_{i = 1}^N u^2( \frac{i}{N + 1} ) \right)^{-1} (N - 1) \sum_{i = 1}^{k} \frac{1}{n_i} \left( \sum_{j=1}^{n_i} u^2( \frac{R_{ij}}{N + 1} ) \right)^2</tex> <br/>
+
-
 
+
-
Проверяется [[нулевая гипотеза]] <tex>H_0:\; F_1(x)=\dots=F_k(x)</tex> против альтернативы <tex>H_1:\; F_1(x)=F_2(x-\Delta_1)=\dots=F_k(x-\Delta_{k-1})</tex>.
+
-
 
+
-
Если нулевая гипотеза выполнена, то поведение статистики <tex>T</tex> хорошо описывается
+
-
распределением [[распределение хи-квадрат|хи-квадарат]] с <tex>k - 1</tex> степенью свободы.
+
-
 
+
-
Нулевая гипотеза отвергается при [[уровень значимости|уровне значимости]] <tex>\alpha</tex>, если <tex>T > \chi^2_{1 - \alpha, k - 1}</tex>, где
+
-
<tex>chi^2_{1 - \alpha, k - 1}</tex> — [[квантиль]] уровня <tex>1 -\alpha</tex> с <tex>k - 1</tex> степенью свободы.
+
 +
== Свойства критерия Бартелса==
 +
Бартелс с помошью численного моделирования показал , что во многих случаях критерий Бартелса имеет большую мощность, чем [[Критерий Вальда-Вольфовица|критерий серий]].
== История ==
== История ==
Строка 96: Строка 57:
== Ссылки ==
== Ссылки ==
-
[
+
 
-
[[Категория:Статистические тесты]]
+
-
[[Категория:Непараметрические статистические тесты]]
+
{{Задание|Slimper|Vokov|08 января 2010}}
{{Задание|Slimper|Vokov|08 января 2010}}

Текущая версия

Критерий Бартелса (Bartels test)непараметрический статистический критерий, используемый для проверки случайности последовательности наблюдаемых значений. Критерий является ранговым, поэтому он инвариантен по отношению к любому монотонному преобразованию шкалы измерения. Критерий Бартелса можно применять для анализа регрессионных остатков. Также его можно применять при анализе временных рядов для выявления тренда.

Содержание

Примеры задач

Пример 1. Ряд значений состоит из подсчитанного на протяжении нескольких лет количества туристов, посещавших страну в течение года. Требуется установить, являются ли число туристов, случайным, или оно подчиняется какой-то закономерности.

Описание критерия

Заданы выборка x^n = (x_1,\ldots,x_n),x_i \in \mathbb{R}.

Нулевая гипотеза H_0:\; выборка x^n простая, то есть все наблюдения x_i — независимы и одинаково распределены.

Статистика критерия:

  1. Построить вариационный ряд выборки x^{(1)}(x_1,\ldots,x_n) и найти ранги r(x_i) всех элементов.
  2. Статистика критерия Бартелса вычисляется по формуле:
B = \frac{ \sum_{i = 1}^n (r(x_i) - r(x_{i + 1}) )^2 }{ \sum(R_i - \frac{n + 1}{2})^2}

Варианты критерия (при уровне значимости \alpha):

  • двусторонний критерий (против альтернативы, что данные не случайны)
если  B \in \left[ B_{n,\alpha/2},\, B_{n,1-\alpha/2} \right] , то нулевая гипотеза отвергается;
  • левосторонний критерий(против альтернативы, что наблюдения положительно коррелированы)
если  B < B_{n,\alpha} , то нулевая гипотеза отвергается;
  • правосторонний критерий(против альтернативы, что наблюдения отрицательно коррелированы)
если  B > B_{n,\alpha} , то нулевая гипотеза отвергается;

Здесь  B_{n,\alpha} -- это \alpha-квантиль табличного распределения статистики Бартелса с параметром n.

Асимптотический критерий

Распределение статистики Бартелса асимптотически нормально с матожиданием \mathbb{E}B = 2 и дисперсией

 \mathbb{D}B = \frac{4(n - 2)(5n^2 - 2n - 9)}{5n(n + 1)(n - 1)^2}

Поэтому при n \ge 20 используется нормированная статистика Бартелса

B' = \frac{B - \mathbb{E}B}{\sqrt{\mathbb{D}B} }

Свойства критерия Бартелса

Бартелс с помошью численного моделирования показал , что во многих случаях критерий Бартелса имеет большую мощность, чем критерий серий.

История

Критерий был предложен Бартелсом в 1982 году.

Литература

  1. Gibbons J. D., Chakraborti S. Nonparametric Statistical Inference, 4th Ed. — CRC, 2003 — 608 с.
  2. Кобзарь А. И. Прикладная математическая статистика. — М.: Физматлит, 2006. — 816 с.

См. также

Ссылки

Данная статья является непроверенным учебным заданием.
Студент: Участник:Slimper
Преподаватель: Участник:Vokov
Срок: 08 января 2010

До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}.

См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе.


Личные инструменты