Проверка статистических гипотез
Материал из MachineLearning.
(уточнение) |
|||
Строка 17: | Строка 17: | ||
# На множестве допустимых значений статистики <tex>T</tex> выделяется ''критическое множество'' <tex>\Omega</tex> наименее вероятных значений статистики <tex>T</tex>, такое, что <tex>\mathbb{P}\{T\in\Omega\} = \alpha</tex>. Вычисление границ критического множества является строгой математической задачей, которая в большинстве практических случаев имеет готовое простое решение. | # На множестве допустимых значений статистики <tex>T</tex> выделяется ''критическое множество'' <tex>\Omega</tex> наименее вероятных значений статистики <tex>T</tex>, такое, что <tex>\mathbb{P}\{T\in\Omega\} = \alpha</tex>. Вычисление границ критического множества является строгой математической задачей, которая в большинстве практических случаев имеет готовое простое решение. | ||
# Собственно ''статистический тест'' (''статистический критерий'') заключается в проверке условия: | # Собственно ''статистический тест'' (''статистический критерий'') заключается в проверке условия: | ||
- | #* если <tex>T(X^m)\in\Omega</tex>, то делается вывод «данные противоречат нулевой гипотезе при уровне значимости <tex>\alpha</tex>». | + | #* если <tex>T(X^m)\in\Omega</tex>, то делается вывод «данные противоречат нулевой гипотезе при уровне значимости <tex>\alpha</tex>». Гипотеза отвергается. |
- | #* если <tex>T(X^m)\notin\Omega</tex>, то делается вывод «данные не противоречат нулевой гипотезе при уровне значимости <tex>\alpha</tex>». | + | #* если <tex>T(X^m)\notin\Omega</tex>, то делается вывод «данные не противоречат нулевой гипотезе при уровне значимости <tex>\alpha</tex>». Гипотеза принимается. |
Итак, ''статистический критерий'' определяется статистикой <tex>T</tex> | Итак, ''статистический критерий'' определяется статистикой <tex>T</tex> | ||
Строка 36: | Строка 36: | ||
== Типы критической области == | == Типы критической области == | ||
+ | |||
Обозначим через <tex>t_z</tex> значение, которое находится из условия <tex>F(t_z) = \mathbb{P}\left\{ T<t_z \right\} = z</tex>, где <tex>F</tex> — функция распределения статистики <tex>T</tex>. | Обозначим через <tex>t_z</tex> значение, которое находится из условия <tex>F(t_z) = \mathbb{P}\left\{ T<t_z \right\} = z</tex>, где <tex>F</tex> — функция распределения статистики <tex>T</tex>. | ||
Фактически, <tex>t_z</tex> есть обратная функция: <tex>t_z = F^{-1}(z)</tex>. | Фактически, <tex>t_z</tex> есть обратная функция: <tex>t_z = F^{-1}(z)</tex>. | ||
Строка 52: | Строка 53: | ||
== Ошибки первого и второго рода == | == Ошибки первого и второго рода == | ||
- | * '''Ошибка первого рода''' или «ложная тревога» (англ. type I error, <tex>\alpha</tex> error, false positive) — когда нулевая гипотеза отвергается, хотя на самом деле она верна. | + | * '''Ошибка первого рода''' или «ложная тревога» (англ. type I error, <tex>\alpha</tex> error, false positive) — когда нулевая гипотеза отвергается, хотя на самом деле она верна. Вероятность ошибки первого рода: |
+ | ::<tex>\alpha = \mathbb{P}\left\{ T\in\Omega | H_0 \right\}.</tex> | ||
- | * '''Ошибка второго рода''' или «пропуск цели» (англ. type II error, <tex>\beta</tex> error, false negative) — когда нулевая гипотеза принимается, хотя на самом деле она не верна. | + | * '''Ошибка второго рода''' или «пропуск цели» (англ. type II error, <tex>\beta</tex> error, false negative) — когда нулевая гипотеза принимается, хотя на самом деле она не верна. Вероятность ошибки второго рода: |
+ | ::<tex>\beta(H_1) = \mathbb{P}\left\{ T\notin\Omega | H_1 \right\}.</tex> | ||
<center> | <center> | ||
Строка 78: | Строка 81: | ||
== Свойства статистических критериев == | == Свойства статистических критериев == | ||
- | '''Мощность критерия''' | + | '''Мощность критерия''': |
- | + | <tex>1 - \beta(H) = \mathbb{P}\left\{ T\in\Omega | H \right\}</tex> — вероятность отклонить гипотезу <tex>H_0</tex>, если на самом деле верна альтернативная гипотеза <tex>H</tex>. | |
- | + | ''Мощность критерия'' является числовой функцией от альтернативной гипотезы <tex>H</tex>. | |
- | + | ||
- | |||
- | |||
- | |||
- | |||
'''Несмещённый критерий''': | '''Несмещённый критерий''': | ||
<tex>\beta(H) > \alpha</tex> для всех альтернатив <tex>H</tex>. | <tex>\beta(H) > \alpha</tex> для всех альтернатив <tex>H</tex>. | ||
'''Состоятельный критерий''': | '''Состоятельный критерий''': | ||
- | <tex>\beta(H) \to | + | <tex>\beta(H) \to 1</tex> при <tex>m\to\infty</tex> для всех альтернатив <tex>H</tex>. |
'''Равномерно более мощный критерий.''' | '''Равномерно более мощный критерий.''' |
Версия 23:29, 7 августа 2008
|
Статистическая гипотеза (statistical hypothesys) — это определённое предположение о распределении вероятностей, лежащем в основе наблюдаемой выборки данных.
Проверка статистической гипотезы (testing statistical hypotheses) — это процесс принятия решения о том, что рассматриваемая статистическая гипотеза не противоречит наблюдаемой выборке данных.
Статистический тест или статистический критерий — строгое математическое правило, по которому принимается или отвергается статистическая гипотеза.
Методика проверки статистических гипотез
Пусть задана случайная выборка — последовательность объектов из множества . Предполагается, что на множестве существует некоторая неизвестная вероятностная мера .
Методика состоит в следующем.
- Формулируется нулевая гипотеза о распределении вероятностей на множестве . Гипотеза формулируется исходя из требований прикладной задачи. Чаще всего рассматриваются две гипотезы — основная или нулевая и альтернативная . Иногда альтернатива не формулируется в явном виде; тогда предполагается, что означает «не ». Иногда рассматривается сразу несколько альтернатив. В математической статистике хорошо изучено несколько десятков «наиболее часто встречающихся» типов гипотез, и известны ещё сотни специальных вариантов и разновидностей. Примеры приводятся ниже.
- Задаётся некоторая статистика (функция выборки) , для которой в условиях справедливости гипотезы выводится функция распределения и/или плотность распределения . Вопрос о том, какую статистику надо взять для проверки той или иной гипотезы, часто не имеет однозначного ответа. Есть целый ряд требований, которым должна удовлетворять «хорошая» статистика . Вывод функции распределения при заданных и является строгой математической задачей, которая решается методами теории вероятностей; в справочниках приводятся готовые формулы для ; в статистических пакетах имеются готовые вычислительные процедуры.
- Фиксируется уровень значимости — допустимая для данной задачи вероятность ошибки первого рода, то есть того, что гипотеза на самом деле верна, но будет отвергнута процедурой проверки. Это должно быть достаточно малое число . На практике часто полагают .
- На множестве допустимых значений статистики выделяется критическое множество наименее вероятных значений статистики , такое, что . Вычисление границ критического множества является строгой математической задачей, которая в большинстве практических случаев имеет готовое простое решение.
- Собственно статистический тест (статистический критерий) заключается в проверке условия:
- если , то делается вывод «данные противоречат нулевой гипотезе при уровне значимости ». Гипотеза отвергается.
- если , то делается вывод «данные не противоречат нулевой гипотезе при уровне значимости ». Гипотеза принимается.
Итак, статистический критерий определяется статистикой и критическим множеством , которое зависит от уровня значимости.
Замечание. Если данные не противоречат нулевой гипотезе, это ещё не значит, что гипотеза верна. Тому есть две причины.
- По мере увеличения длины выборки нулевая гипотеза может сначала приниматься, но потом выявятся более тонкие несоответствия данных гипотезе, и она будет отвергнута. То есть многое зависит от объёма данных; если данных не хватает, можно принять даже самую неправдоподобную гипотезу.
- Выбранная статистика может отражать не всю информацию, содержащуюся в гипотезе . В таком случае увеличивается вероятность ошибки второго рода — нулевая гипотеза может быть принята, хотя на самом деле она не верна. Допустим, например, что = «распределение нормально»; = коэффициент асимметрии; тогда выборка с любым симметричным распределением будет признана нормальной. Чтобы избегать таких ошибок, следует пользоваться более мощными критериями.
Типы статистических гипотез
- Простая гипотеза однозначно определяет функцию распределения на множестве .
- Сложная гипотеза утверждает принадлежность распределения к некоторому множеству распределений на .
Типы критической области
Обозначим через значение, которое находится из условия , где — функция распределения статистики . Фактически, есть обратная функция: .
На практике, как правило, используются статистики с унимодальной плотностью распределения, то есть плотностью, имеющей форму пика. Критические области (наименее вероятные значения статистики) соответствуют хвостам распределения. Поэтому чаще всего возникают критические области одного из трёх типов:
- Двусторонняя критическая область определяется двумя интервалами .
- Левосторонняя критическая область определяется интервалом .
- Правосторонняя критическая область определяется интервалом .
Ошибки первого и второго рода
- Ошибка первого рода или «ложная тревога» (англ. type I error, error, false positive) — когда нулевая гипотеза отвергается, хотя на самом деле она верна. Вероятность ошибки первого рода:
- Ошибка второго рода или «пропуск цели» (англ. type II error, error, false negative) — когда нулевая гипотеза принимается, хотя на самом деле она не верна. Вероятность ошибки второго рода:
Верная гипотеза | |||
---|---|---|---|
Результат применения критерия | верно принята | неверно отвергнута (Ошибка второго рода) | |
неверно отвергнута (Ошибка первого рода) | верно принята |
Свойства статистических критериев
Мощность критерия: — вероятность отклонить гипотезу , если на самом деле верна альтернативная гипотеза . Мощность критерия является числовой функцией от альтернативной гипотезы .
Несмещённый критерий: для всех альтернатив .
Состоятельный критерий: при для всех альтернатив .
Равномерно более мощный критерий. Говорят, что критерий с мощностью является равномерно более мощным, чем критерий с мощностью , если выполняются два условия:
- ;
- для всех рассматриваемых альтернатив , причём хотя бы для одной альтернативы неравенство строгое.
Типы статистических критериев
Статья в настоящий момент дорабатывается. К.В.Воронцов 23:20, 7 августа 2008 (MSD) |
Критерии согласия
Критерии нормальности
Критерии равномерности
Критерии симметрии
Критерии однородности
Критерии случайности
Критерии стационарности
Статья в настоящий момент дорабатывается. К.В.Воронцов 20:52, 7 августа 2008 (MSD) |
Литература
- Вероятность и математическая статистика: Энциклопедия / Под ред. Ю.В.Прохорова. — М.: Большая российская энциклопедия, 2003. — 912 с.
- Кобзарь А. И. Прикладная математическая статистика. — М.: Физматлит, 2006.
Ссылки
- Statistical hypothesis testing — статья в англоязычной Википедии.