Статистический анализ данных (курс лекций, К.В.Воронцов)/2016, ФУПМ/1

Материал из MachineLearning.

Версия от 12:11, 13 апреля 2016; Riabenko (Обсуждение | вклад)
(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)
Перейти к: навигация, поиск

Ниже под обозначением X^n, \;\; X \sim p\cdot F_1+ \left(1-p\right)\cdot F_2 понимается выборка объёма n из смеси распределений F_1 и F_2 с весами p и 1-p соответственно (при генерации каждой выборки используется случайный датчик — если его значение не превосходит p, то добавляем в выборку элемент, взятый из F_1, иначе — элемент, взятый из F_2).

Анализ поведения схожих критериев

Требуется исследовать поведение указанной пары статистических критериев, подходящих для решения одной и той же задачи, сравнить мощность и достигаемые уровни значимости и сделать выводы о границах применимости критериев. Необходимо для каждого из критериев построить графики зависимости достигаемых уровней значимости и оценок мощностей от параметров, и показать, в каких областях изменения параметров предпочтительнее использовать тот или иной критерий. Для получения более гладких графиков рекомендуется применять оба критерия к одним и тем же выборкам, а не генерировать их отдельно для каждого.

  •  X_1^{n_1}, \;\; X_1 \sim F_1,
     X_2^{n_2}, \;\; X_2 \sim F_2; <tex> <br> <tex> H_0 \,:\, F_1=F_2,
    H_1\,:\; H_0 неверна.
Бетлей: F_1 = U\left[0,1\right], \;\; F_2 = U\left[a,a+1\right] —  непрерывные равномерные распределения; a = 0\,:\,0.02\,:\,2, \;\; n_1=n_2=5\,:\,1\,:\,100. Сравнить критерии Смирнова и Крамера-фон Мизеса.
Биктайров: F_1 = N(0,1), \;\; F_2 = N(\mu,\sigma^2), \;\; \mu = 0\,:\,0.01\,:\,2, \;\; \sigma=0.5\,:\,0.01\,:\,2, \;\; n_1=n_2=30. Сравнить критерии Смирнова и Крамера-фон Мизеса.
  • X^n, \;\; X \sim p\cdot N(0,1)+ \left(1-p\right)\cdot F;
     H_0\,:\; X \sim N,
    H_1\,:\; H_0 неверна.
Бочкарев: F = C\left(0,1\right)— стандартное распределение Коши; n=20\,:\,1\,:\,100, \;\; p=0\,:\,0.01\,:\,1. Сравнить критерии Шапиро-Уилка и хи-квадрат Пирсона.
Гилязев: F = U[-a,a]— непрерывное равномерное распределение; a=0.1\,:\,0.05\,:\,5, \;\; n=50, \;\; p=0\,:\,0.01\,:\,1. Сравнить критерии Харке-Бера и Шапиро-Уилка.
Гончаров: F = St(2) — распределение Стьюдента с двумя степенями свободы; n=10\,:\,1\,:\,100, \;\; p=0\,:\,0.01\,:\,1. Сравнить критерии Харке-Бера и хи-квадрат Пирсона.
Скорняков: F = L\left(0,1\right) — распределение Лапласа с коэффициентом сдвига 0 и коэффициентом масштаба 1; <tex>p=0\,:\,0.01\,:\,1, \;\; n=10\,:\,1\,:\,100. Сравнить критерии Шапиро-Уилка и Андерсона-Дарлинга.
  • X^n, \;\; X\sim Ber(p);
    H_0\,:\, p=p_0,
    H_1\,:\, p\neq p_0;
    p=0\,:\,0.01\,:\,0.5, \;\; n=5\,:\,1\,:\,100.
Двинских: p_0=0.5; сравнить z-критерии в версиях Вальда и множителей Лагранжа.
Дойничко: p_0=0.25; сравнить z-критерий в версии множителей Лагранжа и точный критерий.
Досаев:p_0=0.1; сравнить z-критерий в версии Вальда и точный критерий.
Черных:p_0=0.25; сравнить z-критерий в версии множителей Лагранжа и критерий, получаемый инверсией доверительного интервала Уилсона.
  •  X_1^{n_1}, \;\; X_1 \sim Ber(p_1),
     X_2^{n_2}, \;\; X_2 \sim Ber(p_2); <tex> <br> <tex> H_0 \,:\, p_1=p_2,
    H_1\,:\; p_1\neq p_2 неверна.
Нижевич: p_1=0.5, \;\; p_2=0\,:\,0.01\,:\,1, \;\; n_1=n_2=5\,:\,1\,:\,50.. Сравнить z-критерий и критерий, основанный на инверсии доверительного интервала Уилсона.
Свириденко: p_1=0\,:\,0.01\,:\,1, \;\; p_2=0\,:\,0.01\,:\,1, \;\; n_1=n_2=50.. Сравнить z-критерий и критерий, основанный на инверсии доверительного интервала Уилсона.
  • X^n, \;\; X\sim N(\mu,\sigma);
    H_0\,: среднее значение X равно нулю,
    H_1\,: среднее значение X не равно нулю;
    \mu=0\,:\,0.01\,:\,2.
Емельянов: \sigma=1,  \;\; n=5\,:\,1\,:\,100; сравнить критерии знаков и знаковых рангов.
Жариков: \sigma=2,  \;\; n=5\,:\,1\,:\,100; сравнить критерий знаковых рангов и одновыборочный t-критерий.
Задаянчук: \sigma=1,  \;\; n=5\,:\,1\,:\,70; сравнить одновыборочные t- и z-критерии.
Златов: \sigma=1,  \;\; n=5\,:\,1\,:\,40; сравнить одновыборочные t- и перестановочный критерии.
  • X_1^{n_1}, \;\; X_{1} \sim N(\mu_1, \sigma_1^2),
    X_2^{n_2}, \;\; X_{2} \sim N(\mu_2, \sigma_2^2);
    H_0\,: средние равны,
    \;H_1\,: средние не равны;
    n_1=30, \;\; \mu_1=0, \;\; \sigma_1=1.
Исаченко: \mu_2=0\,:\,0.01\,:\,2, \;\; \sigma_2 = 2, \;\; n_2=5\,:\,1\,:\,100, сравнить версии t-критерия для равных и неравных дисперсий.
Керимов: \mu_2=0\,:\,0.01\,:\,2, \;\; \sigma_2 = 0.5\,:\,0.01\,:\,2, \;\; n_2=30, сравнить t-критерий для неравных дисперсий и критерий Манна-Уитни-Уилкоксона.
Крошнин: \mu_2=0.5, \;\; \sigma_2 = 0.5\,:\,0.01\,:\,2, \;\; n_2=5\,:\,1\,:\,100, сравнить t- и z-критерии для неравных дисперсий.
Мусинов: \mu_2=0\,:\,0.02\,:\,2, \;\; \sigma_2 = 0.5\,:\,0.02\,:\,2, \;\; n_2=20, сравнить критерий Манна-Уитни-Уилкоксона и перестановочный критерий с разностью средних в качестве статистики.
Назаров: \mu_2=0\,:\,0.02\,:\,2, \;\; \sigma_2 = 1, \;\;  n_2=5\,:\,1\,:\,40, сравнить t-критерий для неизвестных равных дисперсий и перестановочный критерий с разностью средних в качестве статистики.
  • X_1^n, \;\; X_{1} \sim N(0, \sigma_1^2),
    X_2^n, \;\; X_{2} \sim N(0, \sigma_2^2);
    H_0\,:\, \mathbb{D}X_{1} = \mathbb{D}X_{2},
    H_1\,:\, \mathbb{D}X_{1} \neq \mathbb{D}X_{2}.
Нейчев: \sigma_1= 0.5\,:\,0.01\,:\,2, \;\;\sigma_2 = 0.5\,:\,0.01\,:\,2, \;\;  n=30; сравнить критерии Фишера и Ансари-Брэдли.
Нурдинов: \sigma_1=1, \;\;\sigma_2 = 0.5\,:\,0.05\,:\,2, \;\;  n=5\,:\,1\,:\,40, сравнить критерии Ансари-Брэдли и Зигеля-Тьюки.

Анализ устойчивости критериев к нарушению предположений

Требуется исследовать поведение указанного критерия в условиях нарушения лежащих в его основе предположений. Оценить мощность и достигаемый уровень значимости критерия при различных значениях параметров, сделать выводы об устойчивости.

  • Двухвыборочный t-критерий для равных дисперсий, нарушение предположения о равенстве дисперсий.
    X_1^{n_1}, \;\; X_{1} \sim N(0,1),
    X_2^{n_2}, \;\; X_{2} \sim N(\mu,\sigma^2);
    H_0\,:\; \mathbb{E}X_{1} = \mathbb{E}X_{2},
    H_1\,:\; \mathbb{E}X_{1} \neq \mathbb{E}X_{2}.
Переберина: \mu=1, \;\; \sigma=0.5\,:\,0.01\,:\,2, \;\; n_1=5\,:\,1\,:\,100, \;\; n_2 = 30.
Подкопаев: \mu = 0\,:\,0.01\,:\,2, \;\; \sigma=0.5\,:\,0.01\,:\,2, \;\; n_1=20, \;\; n_2 = 30.
  • Одновыборочный t-критерий, нарушение предположения о нормальности.
    X^n, \;\; X \sim p\cdot N(\mu,\sigma^2)+ \left(1-p\right)\cdot F;
    H_0\,:\; \mathbb{E}X=0
    H_1\,:\; \mathbb{E}X\neq0;
    \mu=0\,:\,0.01\,:\,2, \;\; n=30.
Решетова: F = U\left[-\sqrt{3}+\mu, \sqrt{3}+\mu\right] — непрерывное равномерное распределение; \sigma=2, \;\; p=0\,:\,0.01\,:\,1.
Родионов: F = L\left(\mu,\frac1{\sqrt{2}}\right) — распределение Лапласа с коэффициентом сдвига \mu и коэффициентом масштаба \frac1{\sqrt{2}}; \;\; \sigma=1, \;\; p=0\,:\,0.01\,:\,1.
Силин: F = \mu + St(3) — сдвинутое на \mu распределение Стьюдента с тремя степенями свободы; \sigma = \sqrt{3}, \;\; p=0\,:\,0.01\,:\,1.
Аленькин: F = U\left[-a+\mu, a+\mu\right] — непрерывное равномерное распределение; \sigma=1, \;\; p=0.7, \;\; a=0.1\,:\,0.05\,:\,5.
  • Одновыборочный критерий хи-квадрат для гипотезы о дисперсии, нарушение предположения о нормальности.
    X^n, \;\; X \sim p\cdot N(0,\sigma^2)+ \left(1-p\right)\cdot F;
    H_0\,:\; \mathbb{D}X=\sigma_0^2
    H_1\,:\; \mathbb{D}X\neq\sigma_0^2;
    p=0\,:\,0.01\,:\,1, \;\; n=50.
Соломатин: F = St(3) — распределение Стьюдента с тремя степенями свободы; \sigma_0^2 = 3, \;\; \sigma^2=1.5\,:\,0.05\,:\,6.
Стогний: F = U\left[-\sqrt{3}, \sqrt{3}\right] — непрерывное равномерное распределение; \sigma_0 = 1, \;\; \sigma=0.5\,:\,0.01\,:\,2.
Чащин: F = \chi^2_2 - 2, — сдвинутое на 2 распределение хи-квадрат с 2 степенями свободы; \sigma_0 = 2, \;\; \sigma=1\,:\,0.02\,:\,4.
  • Критерий Фишера для проверки равенства дисперсий, нарушение предположения о нормальности.
    X_1^{n_1}, \;\; X_{1} \sim p_1\cdot N(0,\sigma_1^2)+ \left(1-p_1\right)\cdot F_1,
     X_2^{n_2},\;\; X_{2} \sim p_2\cdot N(0,\sigma_2^2)+ \left(1-p_2\right)\cdot F_2;
    H_0\,:\, \mathbb{D}X_{1} = \mathbb{D}X_{2},
    H_1\,:\, \mathbb{D}X_{1} \neq \mathbb{D}X_{2}.
Войцех: F_1 = U\left[-\sqrt{3}, \sqrt{3}\right] — непрерывное равномерное распределение; \sigma_1=1, \;\; \sigma_2=0.2\,:\,0.01\,:\,2, \;\; p_1=0.7, \;\; p_2 = 1, \;\; n_1=5\,:\,1\,:\,100, \;\; n_2=30.
Шишковец: F_1 = U\left[-\sqrt{3}, \sqrt{3}\right], \;\; F_2 = U\left[-\sigma_2\sqrt{3}, \sigma_2\sqrt{3}\right] — непрерывные равномерные распределения; \sigma_1=1, \;\; \sigma_2=0.2\,:\,0.01\,:\,2, \;\; p_1= 1 -  p_2=0\,:\,0.01\,:\,1, \;\; n_1=n_2=50.
Королёв: F_1 = St(3) — распределение Стьюдента с тремя степенью свободы; \sigma_1^2=3, \;\; \sigma_2^2=1.5\,:\,0.05\,:\,6, \;\; p_1=0\,:\,0.01\,:\,1, \;\; p_2 = 1, \;\; n_1=n_2=30.
Ефимов: F_1 = F_2 = U\left[-3, 3\right] — непрерывное равномерное распределение; \sigma_1=1, \;\; \sigma_2=0.5\,:\,0.01\,:\,2, \;\; p_1=p_2 = 0\,:\,0.01\,:\,1, \;\; n_1=n_2=50.
Мищенко: F = L\left(0,1\right) — распределение Лапласа с коэффициентом сдвига 0 и коэффициентом масштаба 1; <tex>\sigma_1=1, \;\; \sigma_2=0.2\,:\,0.01\,:\,2, \;\; p_1=p_2=0\,:\,0.01\,:\,1, \;\; n_1=n_2=30.
  • Критерий знаковых рангов Уилкоксона, нарушение предположения о симметричности распределения относительно медианы.
    X^n, \;\; X \sim p\cdot N(\mu,1)+ \left(1-p\right)\cdot F;
    H_0\,:\; med X=0
    H_1\,:\; med X\neq0;
    \mu=0\,:\,0.01\,:\,1, \;\; p=0\,:\,0.01\,:\,1.
Новиков: F = LN(0,1) - 1 + \mu, где LN(0,1) —  стандартное логнормальное распределение; n=50.
Смирнов: F = \chi^2_4 - \frac{10}{3} + \mu, где \chi^2_4 — распределение хи-квадрат с 4 степенями свободы; n=30.
Оленина: F = Exp(1) - 1 + \mu, где Exp(1) — экспоненциальное распределение с параметром \lambda=1; n=40.

Ссылки

Личные инструменты