Участник:Slimper/Песочница

Материал из MachineLearning.

(Различия между версиями)

Версия 13:14, 6 января 2010

Критерий Ван дер Вардена(Van der Waerden criteria) — непараметрический статистический критерий, используемый для оценки различий между двумя выборками по признаку, измеренному в количественной шкале. Критерий является ранговым, поэтому он инвариантен по отношению к любому монотонному преобразованию шкалы измерения. Существует обобщение критерия Ван дер Вардена для выявления различий между несколькими выборками.

Содержание

1 Примеры задач
2 Описание критерия
- 2.1 Асимптотический критерий
3 Свойства критерия Ван дер Вардена
4 Многовыборочное обобщение критерия Ван дер Вардена
5 История
6 Литература
7 См. также
8 Ссылки

Примеры задач

Пример 1. Первая выборка — это пациенты, которых лечили препаратом А. Вторая выборка — пациенты, которых лечили препаратом Б. Значения в выборках — это некоторая характеристика эффективности лечения (уровень метаболита в крови, температура через три дня после начала лечения, срок выздоровления, число койко-дней, и т.д.) Требуется выяснить, имеется ли значимое различие эффективности препаратов А и Б, или различия являются чисто случайными и объясняются «естественной» дисперсией выбранной характеристики.

Пример 2. Первая выборка — это поля, обработанные агротехническим методом А. Вторая выборка — поля, обработанные агротехническим методом Б. Значения в выборках — это урожайность. Требуется выяснить, является ли один из методов эффективнее другого, или различия урожайности обусловлены случайными факторами.

Пример 3.(использование многовыборочного критерия Ван дер Вардена) Нужно проверить, как лекарство помогает в снятии соответствующего симптома. Взяты несколько групп пациентов, и каждой из них назначается определенная доза препарата. Гипотеза состоит в том, что по мере увеличения уровня дозы больные чувствуют себя лучше.

Описание критерия

Заданы две выборки $x^m = (x_1,\ldots,x_m),\; x_i \in \mathbb{R};\;\; y^n = (y_1,\ldots,y_n),\; y_i \in \mathbb{R}$ .

Дополнительные предположения:

обе выборки простые, объединённая выборка независима;
выборки взяты из неизвестных непрерывных распределений $F(x)$ и $G(y)$ соответственно.

Нулевая гипотеза $H_0:\; F(x) = G(y)$ .

Статистика критерия:

Построить общий вариационный ряд объединённой выборки $z^{(1)} \leq \cdots \leq z^{(m+n)}$ и найти ранги $r(x_i)$ элементов первой выборки в общем вариационном ряду.
Статистика критерия Ван дер Вардена вычисляется по формуле:

$X = \sum_{i = 1}^n u( \frac{r(x_i)}{ m + n + 1} )$ , где $u( \frac{r(x_i)}{ m + n + 1} )$ — квантиль уровня $\frac{r(x_i)}{ m + n + 1}$ стандартного нормального распределения

Критерий (при уровне значимости $\alpha$ ):

двусторонний критерий — против альтернативы $H_1:\; \mathbb{P} \{ x<y \} \neq 1/2$

если $X \notin \left[ X_{\alpha/2},\, X_{1-\alpha/2} \right]$ , то нулевая гипотеза отвергается;

односторонний критерий -- против альтернативы $H'_1:\; \mathbb{P} \{ x>y \} > 1/2$

если $X_> X_{1-\alpha}$ , то нулевая гипотеза отвергается;

Здесь $X_{\alpha}$ -- это $\alpha$ -квантиль табличного распределения статистики Ван дер Вардена с параметрами $m,\,n$ .

Асимптотический критерий

Распределение статистики Ван дер Вардена асимптотически нормально с нулевым матожиданием $\mathbb{E}X = 0$ и дисперсией

$\mathbb{D}X = \frac{mn}{(m + n)(m + n - 1)} \sum_{i = 1}^{m + n} u^2( \frac{i}{m + n + 1} )$

Нормальную аппроксимацию статистики Ван дер Вардена можно использовать при $m, n \geqslant 20$ .

В этом случае критерии (при уровне значимости $\alpha$ ) будет выглядеть следующим образом:

двусторонний критерий $\frac{X}{\mathbb{D}X} \notin \left[ u_{\alpha/2},\, u_{1-\alpha/2} \right]$ , то нулевая гипотеза отвергается;

односторонний критерий -- против альтернативы $H'_1:\; \mathbb{P} \{ x>y \} > 1/2$

если $\frac{X}{\mathbb{D}X}> u_{1-\alpha}$ , то нулевая гипотеза отвергается;

Свойства критерия Ван дер Вардена

Если выборки подчиняются нормальному распределению, то критерий Ван дер Вардена асимптотически имеет ту же мощность, что и критерий Стьюдента.

При $n + m \to \infty$ критерий Ван дер Вардена не уступает в эффективности критерию Стьюдента

Многовыборочное обобщение критерия Ван дер Вардена

Заданы k выборок: $x_1^{n_1}=\left\{x_{11},\dots,x_{1n_1}\right\}, \dots, x_k^{n_k}=\left\{x_{k1},\dots,x_{kn_k}\right\}$ . Объединённая выборка: $z=x_1^{n_1}\cup x_2^{n_2}\cup \dots \cup x_k^{n_k}$ .

Дополнительные предположения:

все выборки простые, объединённая выборка независима;
выборки взяты из неизвестных непрерывных распределений $F_1(x),\dots,F_k(x)$ .

Статистика критерия: Все $N=\sum_{i=1}^k n_i$ элементов выборок упорядочиваются по возрастанию, через $R_{ij}$ обозначается ранг j-го элемента i-й выборки в полученном вариационном ряду.

Статистика Ван дер Вардена имеет вид

$T = \left(\sum_{i = 1}^N u^2( \frac{i}{N + 1} ) \right)^{-1} (N - 1) \sum_{i = 1}^{k} \frac{1}{n_i} \left( \sum_{j=1}^{n_i} u^2( \frac{R_{ij}}{N + 1} ) \right)^2$

Проверяется нулевая гипотеза $H_0:\; F_1(x)=\dots=F_k(x)$ против альтернативы $H_1:\; F_1(x)=F_2(x-\Delta_1)=\dots=F_k(x-\Delta_{k-1})$ .

Если нулевая гипотеза выполнена, то поведение статистики $T$ хорошо описывается распределением хи-квадарат с $k - 1$ степенью свободы.

Нулевая гипотеза отвергается при уровне значимости $\alpha$ , если $T > \chi^2_{1 - \alpha, k - 1}$ , где $chi^2_{1 - \alpha, k - 1}$ — квантиль уровня $1 -\alpha$ с $k - 1$ степенью свободы.

История

Критерий был предложен Ван дер Варденом в 1953 году.

Литература

Ван дер Варден Б.Л. Математическая статистика/Пер.с нем. — М.: Иностранная литература,1960 — 450 c.
Кобзарь А. И. Прикладная математическая статистика. — М.: Физматлит, 2006. — 816 с.

См. также

Проверка статистических гипотез — о методологии проверки статистических гипотез.
Статистика (функция выборки)
Критерий Стьюдента
Критерий Уилкоксона-Манна-Уитни — другой непараметрический критерий для оценки

различия между двумя выборками

Критерий Краскела-Уоллиса — критерий для проверки равенства средних нескольких выборок

Ссылки

Van_der_Waerden_test - статья в Википедии о многовыборочном критерии Ван дер Вардена

Данная статья является непроверенным учебным заданием.

Студент: Участник:Slimper

Преподаватель: Участник:Vokov

Срок: 08 января 2010

До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}.

См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе.

Источник — «http://www.machinelearning.ru/wiki/index.php?title=%D0%A3%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA:Slimper/%D0%9F%D0%B5%D1%81%D0%BE%D1%87%D0%BD%D0%B8%D1%86%D0%B0»

Категории: Статистические тесты | Непараметрические статистические тесты | Непроверенные учебные задания

@@ Строка 1: / Строка 1: @@
 '''Критерий Ван дер Вардена(Van der Waerden criteria)''' — [[непараметрический статистический критерий]], используемый для оценки различий между двумя [[выборка]]ми по признаку, измеренному в количественной  [[шкала измерения|шкале]]. Критерий является ранговым, поэтому он инвариантен по отношению
 к любому монотонному преобразованию шкалы измерения.
-Для выявления различий между несколькими выборками существует многовыборочный критерий Ван дер Вардена.
+Существует обобщение критерия Ван дер Вардена для выявления различий между несколькими выборками.
 == Примеры задач ==
@@ Строка 17: / Строка 17: @@
 Требуется выяснить, является ли один из методов эффективнее другого, или различия урожайности обусловлены случайными факторами.
-'''Пример 3.(использовнание многовыборочного критерия Ван дер Вардена)'''
+'''Пример 3.(использование многовыборочного критерия Ван дер Вардена)'''
 Нужно проверить, как лекарство помогает в снятии соответствующего симптома. Взяты несколько групп пациентов, и каждой из них назначается определенная доза препарата. Гипотеза состоит в том, что по мере увеличения уровня дозы больные чувствуют себя лучше.
@@ Строка 32: / Строка 32: @@
 '''Статистика критерия:'''
 # Построить общий [[вариационный ряд]] объединённой выборки <tex>z^{(1)} \leq \cdots \leq z^{(m+n)}</tex> и найти ранги <tex>r(x_i)</tex> элементов первой выборки в общем вариационном ряду.
-# Статистика критерия ван дер Вардена вычисляется по формуле:
+# Статистика критерия Ван дер Вардена вычисляется по формуле:
 <tex>X = \sum_{i = 1}^n u( \frac{r(x_i)}{ m + n + 1} )</tex>, где
 <tex>u( \frac{r(x_i)}{ m + n + 1} )</tex> — [[квантиль]] уровня
@@ Строка 62: / Строка 62: @@
 * односторонний критерий -- против альтернативы <tex>H'_1:\; \mathbb{P} \{ x>y \} > 1/2</tex>
-::если <tex> \frac{X}{\mathbb{D}X}_> u_{1-\alpha} </tex>, то нулевая гипотеза отвергается;
+::если <tex> \frac{X}{\mathbb{D}X}> u_{1-\alpha} </tex>, то нулевая гипотеза отвергается;
 == Свойства критерия Ван дер Вардена ==
@@ Строка 75: / Строка 75: @@
 Объединённая выборка: <tex>z=x_1^{n_1}\cup x_2^{n_2}\cup \dots \cup x_k^{n_k}</tex>.
-''Дополнительные предположения:''
+'''Дополнительные предположения:'''
 * все выборки [[Простая выборка|простые]], объединённая выборка [[Независимая выборка|независима]];
 * выборки взяты из неизвестных непрерывных распределений  <tex>F_1(x),\dots,F_k(x)</tex>.
-Упорядочим все <tex>N=\sum_{i=1}^k n_i</tex> элементов выборок по возрастанию и обозначим <tex>R_{ij}</tex> ранг <i>j</i>-го элемента <i>i</i>-й выборки в полученном [[вариационный ряд|вариационном ряду]].
+'''Статистика критерия:'''
+Все <tex>N=\sum_{i=1}^k n_i</tex> элементов выборок упорядочиваются по возрастанию, через  <tex>R_{ij}</tex> обозначается ранг <i>j</i>-го элемента <i>i</i>-й выборки в полученном [[вариационный ряд|вариационном ряду]].
 Статистика Ван дер Вардена имеет вид <br />
@@ Строка 89: / Строка 90: @@
 распределением [[распределение хи-квадрат|хи-квадарат]] с <tex>k - 1</tex> степенью свободы.
-Нулевая гипотеза отвергается, если <tex>T > \chi^2_{\alpha, k - 1}</tex>, где
+Нулевая гипотеза отвергается при [[уровень значимости|уровне значимости]] <tex>\alpha</tex>, если <tex>T > \chi^2_{1 - \alpha, k - 1}</tex>, где
-<tex>chi^2_{\alpha, k - 1}</tex>  — [[квантиль]] уровня <tex>\alpha</tex> с <tex>k - 1</tex> степенью свободы.
+<tex>chi^2_{1 - \alpha, k - 1}</tex>  — [[квантиль]] уровня <tex>1 -\alpha</tex> с <tex>k - 1</tex> степенью свободы.