Статистический анализ данных (курс лекций, К.В.Воронцов)/2015/1

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
м
м
Строка 1: Строка 1:
-
Ниже под обозначением <tex>X^n, \;\; X_i \sim p\cdot N(\mu,\sigma^2)+ \left(1-p\right)\cdot U\left[-a,b\right]</tex> понимается выборка объёма <tex>n</tex> из смеси нормального <tex>N(\mu,\sigma^2)</tex> и равномерного <tex>U\left[-a,b\right]</tex> распределений с весами <tex>p</tex> и <tex>1-p</tex> соответственно (при генерации каждой выборки используется случайный датчик&nbsp;— если его значение не превосходит <tex>p</tex>, то добавляем в выборку элемент, взятый из нормального распределения, иначе&nbsp;— элемент, взятый из равномерного).
+
Ниже под обозначением <tex>X^n, \;\; X_i \sim p\cdot N(\mu,\sigma^2)+ \left(1-p\right)\cdot F</tex> понимается выборка объёма <tex>n</tex> из смеси нормального распределения <tex>N(\mu,\sigma^2)</tex> и распределения <tex>F</tex> с весами <tex>p</tex> и <tex>1-p</tex> соответственно (при генерации каждой выборки используется случайный датчик&nbsp;— если его значение не превосходит <tex>p</tex>, то добавляем в выборку элемент, взятый из нормального распределения, иначе&nbsp;— элемент, взятый из распределения F).
= Анализ поведения схожих критериев =
= Анализ поведения схожих критериев =
Строка 16: Строка 16:
Требуется исследовать поведение указанного критерия в условиях нарушения лежащих в его основе предположений. Оценить мощность и достигаемый уровень значимости критерия при различных значениях параметров, сделать выводы об устойчивости.
Требуется исследовать поведение указанного критерия в условиях нарушения лежащих в его основе предположений. Оценить мощность и достигаемый уровень значимости критерия при различных значениях параметров, сделать выводы об устойчивости.
 +
* Одновыборочный [[критерий Стьюдента|t-критерий]], нарушение предположения о нормальности. <br> <tex>X^n, \;\; X \sim p\cdot N(\mu,1)+ \left(1-p\right)\cdot F; </tex> <br> <tex>H_0\,:\; \mathbb{E}X=0</tex> <br> <tex>H_1\,:\; \mathbb{E}X\neq0.</tex> <br>
 +
::: <tex>F = U\left[-a+\mu,a+\mu\right]</tex>—&nbsp;непрерывное равномерное распределение на <tex>\left[-a+\mu,a+\mu\right]; \;\;\mu=0\,:\,0.01\,:\,2, \;\; p=0\,:\,0.01\,:\,1, \;\; a=1, \;\; n=30.</tex>
 +
::: <tex>F = C\left(\mu,2\right)</tex>—&nbsp;распределение Коши с коэффициентом сдвига <tex>\mu</tex> и коэффициентом масштаба <tex>2; \;\; \mu=0\,:\,0.01\,:\,2, \;\; p=0\,:\,0.01\,:\,1, \;\; n=50.</tex>
 +
 +
* Двухвыборочный [[критерий Стьюдента|t-критерий]], нарушение предположения о равенстве дисперсий. <br> <tex>X_1^{n_1}, \;\; X_{1} \sim N(0,1), \;\; X_2^{n_2}, \;\; X_{2} \sim N(\mu,\sigma^2);</tex> <br> <tex>H_0\,:\; \mathbb{E}X_{1} = \mathbb{E}X_{2}, </tex> <br> <tex>H_1\,:\; \mathbb{E}X_{1} \neq \mathbb{E}X_{2}.</tex>
 +
::: <tex>\mu=0\,:\,0.02\,:\,2, \;\; \sigma=0.1\,:\,0.05\,:\,2, \;\; n_1=n_2=50.</tex>
 +
::: <tex>\mu=1, \;\; \sigma=0.1\,:\,0.05\,:\,2, \;\; n_1=15\,:\,5\,:\,200, \;\; n_2 = 50.</tex>
 +
::: <tex>\mu=0\,:\,0.02\,:\,2, \;\; \sigma=2, \;\; n_1=15\,:\,5\,:\,200, \;\; n_2 = 50.</tex>
= Ссылки =
= Ссылки =

Версия 21:29, 24 февраля 2015

Ниже под обозначением X^n, \;\; X_i \sim p\cdot N(\mu,\sigma^2)+ \left(1-p\right)\cdot F понимается выборка объёма n из смеси нормального распределения N(\mu,\sigma^2) и распределения F с весами p и 1-p соответственно (при генерации каждой выборки используется случайный датчик — если его значение не превосходит p, то добавляем в выборку элемент, взятый из нормального распределения, иначе — элемент, взятый из распределения F).

Анализ поведения схожих критериев

Требуется исследовать поведение указанной пары статистических критериев, подходящих для решения одной и той же задачи, сравнить мощность и достигаемые уровни значимости и сделать выводы о границах применимости критериев. Необходимо для каждого из критериев построить графики зависимости достигаемых уровней значимости и оценок мощностей от параметров, и показать, в каких областях изменения параметров предпочтительнее использовать тот или иной критерий. Для получения более гладких графиков рекомендуется применять оба критерия к одним и тем же выборкам, а не генерировать их отдельно для каждого критерия.

  • X^n, \;\; X\sim Ber(p);
    H_0\,:\, p=p_0,
    H_1\,:\, p\neq p_0;
    p=0.01\,:\,0.01\,:\,0.5, \;\; n=5\,:\,1\,:\,70.
Сендерович: p_0=\frac1{2}, сравнить z-критерии в версиях Вальда и множителей Лагранжа.
Лисяной: p_0=\frac1{4}, сравнить z-критерий (в версии множителей Лагранжа) и точный критерий.
  • X_1^{n_1}, \;\; X_{1} \sim N(\mu_1, \sigma_1^2),\;\;X_2^{n_2}, \;\; X_{2} \sim N(\mu_2, \sigma_2^2);
    H_0\,: средние равны,
    \;H_1\,: средние не равны;
    n_1=25, \;\; \mu_1=0, \;\; \sigma_1=1.
Колмаков: \mu_2=0\,:\,0.01\,:\,2, \;\; \sigma_2 = 2, \;\; n_2=5\,:\,1\,:\,70. Сравнить версии t-критерия для неизвестных равных и неизвестных неравных дисперсий.
Шапулин: \mu_2=0.5, \;\; \sigma_2 = 0.5\,:\,0.01\,:\,2, \;\; n_2=5\,:\,1\,:\,70. Сравнить t-критерий для неизвестных неравных дисперсий и z-критерий для известных неравных дисперсий.
Тюрин: \mu_2=0\,:\,0.01\,:\,2, \;\; \sigma_2 = 0.5\,:\,0.01\,:\,2, \;\; n_2=50. Сравнить t-критерий для неизвестных неравных дисперсий и критерий Манна-Уитни-Уилкоксона.

Анализ устойчивости критериев к нарушению предположений

Требуется исследовать поведение указанного критерия в условиях нарушения лежащих в его основе предположений. Оценить мощность и достигаемый уровень значимости критерия при различных значениях параметров, сделать выводы об устойчивости.

  • Одновыборочный t-критерий, нарушение предположения о нормальности.
    X^n, \;\; X \sim p\cdot N(\mu,1)+ \left(1-p\right)\cdot F;
    H_0\,:\; \mathbb{E}X=0
    H_1\,:\; \mathbb{E}X\neq0.
F = U\left[-a+\mu,a+\mu\right]— непрерывное равномерное распределение на \left[-a+\mu,a+\mu\right]; \;\;\mu=0\,:\,0.01\,:\,2, \;\; p=0\,:\,0.01\,:\,1, \;\; a=1, \;\; n=30.
F = C\left(\mu,2\right)— распределение Коши с коэффициентом сдвига \mu и коэффициентом масштаба 2; \;\; \mu=0\,:\,0.01\,:\,2, \;\; p=0\,:\,0.01\,:\,1, \;\; n=50.
  • Двухвыборочный t-критерий, нарушение предположения о равенстве дисперсий.
    X_1^{n_1}, \;\; X_{1} \sim N(0,1), \;\; X_2^{n_2}, \;\; X_{2} \sim N(\mu,\sigma^2);
    H_0\,:\; \mathbb{E}X_{1} = \mathbb{E}X_{2},
    H_1\,:\; \mathbb{E}X_{1} \neq \mathbb{E}X_{2}.
\mu=0\,:\,0.02\,:\,2, \;\; \sigma=0.1\,:\,0.05\,:\,2, \;\; n_1=n_2=50.
\mu=1, \;\; \sigma=0.1\,:\,0.05\,:\,2, \;\; n_1=15\,:\,5\,:\,200, \;\; n_2 = 50.
\mu=0\,:\,0.02\,:\,2, \;\; \sigma=2, \;\; n_1=15\,:\,5\,:\,200, \;\; n_2 = 50.

Ссылки

Источник — «http://www.machinelearning.ru/wiki/index.php?title=%D0%A1%D1%82%D0%B0%D1%82%D0%B8%D1%81%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B9_%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_%28%D0%BA%D1%83%D1%80%D1%81_%D0%BB%D0%B5%D0%BA%D1%86%D0%B8%D0%B9%2C_%D0%9A.%D0%92.%D0%92%D0%BE%D1%80%D0%BE%D0%BD%D1%86%D0%BE%D0%B2%29/2015/1»
Личные инструменты