Участник:Riabenko/Песочница

Материал из MachineLearning.

Перейти к: навигация, поиск

Задание 2. Исследование свойств многомерного статистического метода на модельных данных

Пример

Исследуем чувствительность однофакторного дисперсионного анализа к расстояниям между выборками и дисперсиям выборок.
x_i^{n_i}, \;\; x_i \sim N(\mu_i, \sigma_i), \;\; i=1,\ldots,3,
\mu_2 = 0, \;\; -\mu_1=\mu_3 = \mu = 0\,:\,0.01\,:\,1,
\sigma_1=\sigma_2=\sigma_3 = 0.01\,:\,0.01\,:\,1,
n_1=n_2=n_3=20.
Посмотрим, как от расстояний между выборками и дисперсий зависят средний достигаемый уровень значимости и мощность используемого по умолчанию критерия Фишера:

Значения достигаемого уровня значимости, усрёднённого по 3000 экспериментам.

Значения эмпирических оценок мощности критерия при проведении 3000 экспериментов (\alpha=0.05).

Для каждой пары значений параметров \mu, \sigma мощность оценивается как доля выборок, на которых нулевая гипотеза о равенстве всех средних была отвергнута.

Зависимость выглядит естественно: мощность растёт при увеличении расстояний между выборками и уменьшении их дисперсий. Для данного размера выборок средний достигаемый уровень значимости не превосходит 0.05 для всех значений \mu\geq \sigma/2, мощность при этом не опускается ниже 0.7.

Для сгенерированных выборок проведём сравнение средних при помощи метода LSD. Для каждой пары средних X_1,X_2, \; X_2,X_3, \; X_1,X_3 метод даёт точечную оценку разности между ними и 95% доверительный интервал для этой разности. Так как X_2-X_1=X_3-X_2=\mu, для оценки параметра \mu можно использовать среднее между оценками X_2-X_1 и X_3-X_2.

Рассмотрим усреднённые оценки и границы доверительных интервалов:

Полученные при помощи метода LSD точечные и интервальные оценки параметра \mu.

Заметим, что усреднённая точечная оценка расстояния между выборками \mu является точной и не зависит от дисперсии выборок, а ширина доверительного интервала для \mu, напротив, зависит только от \sigma:

Точность оценки параметра \mu и ширина доверительного интервала для неё.

Можно считать, что метод детектирует значимую на уровне \alpha=0.05 разность между средними значениями выборок, если соответствующий 95% доверительный интервал для неё не содержит нуля. Рассмотрим для каждой пары значений параметров \mu, \sigma доли выборок, на которых разница в \mu между средними пар выборок X_1, X_2 и X_2, X_3 была детектирована.

Доли выборок с детектитуемыми различиями между средними при различных значениях \mu и \sigma.

Заметим, что при \mu<\sigma достаточно велик шанс детектировать различия между средними только одной из двух абсолютно равнозначных пар выборок – в конусе 0.4\sigma\leq\mu\leq 0.9\sigma вероятность такого события составляет 0.4-0.6.

Оценим долю выборок, на которых была детектирована разница между средними выборок X_1, X_3:

Мощность метода LSD при детекции различий между средними значениями выборок X_1, X_3.

Разность эмпирических оценок мощностей критерия Фишера и метода ЛСД для детекции различия между средними выборок X_1, X_3.

Сравнивая полученные оценки с построенными выше оценками мощности критерия Фишера, можно заметить, что метод ЛСД обладает большей чувствительностью к разнице между средними значениями выборок. Различия заметны в области \sigma/10\leq\mu\leq\sigma/2, где мощность критерия Фишера может быть ниже более, чем на 0.12.

Наконец, исследуем поведение методов при \mu=0.

Доли выборок, для которых при \mu=0 были неверно обнаружены различия между средними.

Доля выборок, на которых критерий Фишера обнаружил несуществующие различия между средними, не зависит от \sigma и колеблется около уровня значимости 0.05, что свидетельствует о корректности метода. Рассматриваемые независимо, доли выборок, на которых метод LSD нашёл различия между средними каких-либо пар выборок X_1, X_2, X_2, X_3, X_1, X_3, также не зависят от \sigma и примерно равны 0.05. Однако совместная вероятность неверного обнаружения хотя бы одного различия между парами выборок достаточно высока – около 0.12, что вызвано эффектом множественной проверки гипотез (независимо проверяются гипотезы о равенстве средних трёх пар выборок). При этом для выборок, на которых критерий Фишера показал достигаемый уровень значимости ниже 0.05, средняя доля ложно обнаруженных методом LSD различий между выборками также равна примерно 0.05. Таким образом, данные этого модельного эксперимента подтверждают, что использовать метод LSD необходимо только в том случае, если критерий Фишера показал наличие каких-либо различий между средними выборок, а в случае независимого использования LSD вероятность случайно обнаружить несуществующие различия достаточно высока (и будет тем выше, чем больше рассматривается выборок).

Источник — «http://www.machinelearning.ru/wiki/index.php?title=%D0%A3%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA:Riabenko/%D0%9F%D0%B5%D1%81%D0%BE%D1%87%D0%BD%D0%B8%D1%86%D0%B0»
Личные инструменты