Статистический анализ данных (курс лекций, К.В.Воронцов)/Чувствительность двухвыборочного критерия Стьюдента (пример)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
м (Новая: Исследуем чувствительность классического двухвыборочного критерия Стьюдента ...)
м
Строка 10: Строка 10:
При каждом значении <tex>\mu_2</tex> выборки для разных значений <tex>n</tex> генерируются независимо.
При каждом значении <tex>\mu_2</tex> выборки для разных значений <tex>n</tex> генерируются независимо.
-
<gallery widths="250px" heights="250px">
+
<gallery widths="250px" heights="180px">
Изображение:Once_p.png|Значения достигаемого уровня значимости при однократной генерации выборок.
Изображение:Once_p.png|Значения достигаемого уровня значимости при однократной генерации выборок.
Изображение:3000_p.png|Значения достигаемого уровня значимости, усрёднённые по 3000 экспериментам.
Изображение:3000_p.png|Значения достигаемого уровня значимости, усрёднённые по 3000 экспериментам.
Строка 21: Строка 21:
Чтобы оценить вклад зашумления выборок, оценим при всех значениях параметра мощность критерия и средний достигаемый уровень значимости на аналогичных выборках без шума и сравним результаты.
Чтобы оценить вклад зашумления выборок, оценим при всех значениях параметра мощность критерия и средний достигаемый уровень значимости на аналогичных выборках без шума и сравним результаты.
-
<gallery widths="500px" heights="250px">
+
<gallery widths="500px" heights="180px">
Изображение:Diff_ps.png|Разность средних достигаемых уровней значимости на выборках без шума и с шумом.
Изображение:Diff_ps.png|Разность средних достигаемых уровней значимости на выборках без шума и с шумом.
Изображение:Diff_pows.png|Разность эмпирических оценок мощности на выборках без шума и с шумом.
Изображение:Diff_pows.png|Разность эмпирических оценок мощности на выборках без шума и с шумом.
Строка 28: Строка 28:
Видно, что наличие шума всё меньше влияет на работу критерия с ростом объёма выборок и разницы между их средними. Тем не менее, в некоторых областях изменения параметров потеря мощности из-за 10% зашумления может составлять до 20%, а средний достигаемый уровень значимости может быть выше на 0.1.
Видно, что наличие шума всё меньше влияет на работу критерия с ростом объёма выборок и разницы между их средними. Тем не менее, в некоторых областях изменения параметров потеря мощности из-за 10% зашумления может составлять до 20%, а средний достигаемый уровень значимости может быть выше на 0.1.
-
Отметим, что приведённые количественные выводы справедливы только для шума рассматриваемой структуры.
+
Для проверки влияния шума на корректность критерия, то есть, соответствие вероятности ошибки первого рода номинальному уровню значимости <tex>\alpha=0.05</tex>, посчитаем при различных <tex>n</tex> долю выборок, на которых при <tex>\mu_1=\mu_2=0</tex> нулевая гипотеза неверно отвергается.
 +
<gallery widths="250px" heights="180px">
 +
Изображение:Type1.png|Частота ошибок первого рода на выборках с шумом и без шума, усреднение по 100000 генераций.
 +
</gallery>
 +
Видно, что частота ошибок первого рода совершает случайные колебания около уровня 0.05, то есть, шум не влияет на корректность критерия независимо от объёма выборки.
 +
 +
Отметим, что приведённые выводы справедливы только для шума рассматриваемой структуры.

Версия 14:49, 23 февраля 2014

Исследуем чувствительность классического двухвыборочного критерия Стьюдента для проверки гипотезы однородности против альтернативы сдвига при зашумлении выборок наблюдениями, взятыми из равномерного распределения.

X_1^n, \;\; X_{1i} \sim 0.9\cdot N(\mu_1,1)+ 0.1\cdot U\left[-5+\mu_1,5+\mu_1\right] — выборка длины n из смеси стандартного нормального N(\mu_1,1) и равномерного U\left[-5+\mu_1,5+\mu_1\right] распределений с весами 0.9 и 0.1 соответственно (при генерации выборки используется случайный датчик — если его значение не превосходит 0.9, то добавляем в выборку элемент, взятый из нормального распределения, иначе — элемент, взятый из равномерного).

X_2^n, \;\; X_{2i} \sim 0.9\cdot N(\mu_2,1)+ 0.1\cdot U\left[-5+\mu_2,5+\mu_2\right] — аналогичная выборка.

H_0\,:\; \mu_1=\mu_2, \;\; H_1\,:\; \mu_1\neq\mu_2.

\mu_1=0, \;\; \mu_2=-2\,:\,0.01\,:\,2, \;\; n=15\,:\,5\,:\,200.

При каждом значении \mu_2 выборки для разных значений n генерируются независимо.

Значения достигаемого уровня значимости при однократной генерации выборок.

Значения достигаемого уровня значимости, усрёднённые по 3000 экспериментам.

Значения эмпирических оценок мощности критерия при проведении 3000 экспериментов (\alpha=0.05).

Заметим, что однократная генерация выборок даёт достаточно нестабильные результаты, не позволяя точно оценить границы области, где нулевая гипотеза отклоняется, поэтому и необходимо усреднение по большому числу экспериментов.

Видно, что при достаточно большой разнице между средними и большом размере выборок наличие шума не мешает уверенно отклонять гипотезу однородности. Когда, наоборот, разница между средними невелика (меньше 0.2-0.5 в зависимости от размера выборок), мощность близка к нулю, а среднее значение достигаемого уровня значимости колеблется около 0.5, что логично, так как его распределение при справедливости нулевой гипотезы равномерно на [0,1].

Чтобы оценить вклад зашумления выборок, оценим при всех значениях параметра мощность критерия и средний достигаемый уровень значимости на аналогичных выборках без шума и сравним результаты.

Разность средних достигаемых уровней значимости на выборках без шума и с шумом.

Разность эмпирических оценок мощности на выборках без шума и с шумом.

Видно, что наличие шума всё меньше влияет на работу критерия с ростом объёма выборок и разницы между их средними. Тем не менее, в некоторых областях изменения параметров потеря мощности из-за 10% зашумления может составлять до 20%, а средний достигаемый уровень значимости может быть выше на 0.1.

Для проверки влияния шума на корректность критерия, то есть, соответствие вероятности ошибки первого рода номинальному уровню значимости \alpha=0.05, посчитаем при различных n долю выборок, на которых при \mu_1=\mu_2=0 нулевая гипотеза неверно отвергается.

Частота ошибок первого рода на выборках с шумом и без шума, усреднение по 100000 генераций.

Видно, что частота ошибок первого рода совершает случайные колебания около уровня 0.05, то есть, шум не влияет на корректность критерия независимо от объёма выборки.

Отметим, что приведённые выводы справедливы только для шума рассматриваемой структуры.

Источник — «http://www.machinelearning.ru/wiki/index.php?title=%D0%A1%D1%82%D0%B0%D1%82%D0%B8%D1%81%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B9_%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_%28%D0%BA%D1%83%D1%80%D1%81_%D0%BB%D0%B5%D0%BA%D1%86%D0%B8%D0%B9%2C_%D0%9A.%D0%92.%D0%92%D0%BE%D1%80%D0%BE%D0%BD%D1%86%D0%BE%D0%B2%29/%D0%A7%D1%83%D0%B2%D1%81%D1%82%D0%B2%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D0%BE%D1%81%D1%82%D1%8C_%D0%B4%D0%B2%D1%83%D1%85%D0%B2%D1%8B%D0%B1%D0%BE%D1%80%D0%BE%D1%87%D0%BD%D0%BE%D0%B3%D0%BE_%D0%BA%D1%80%D0%B8%D1%82%D0%B5%D1%80%D0%B8%D1%8F_%D0%A1%D1%82%D1%8C%D1%8E%D0%B4%D0%B5%D0%BD%D1%82%D0%B0_%28%D0%BF%D1%80%D0%B8%D0%BC%D0%B5%D1%80%29»
Личные инструменты