Метод Бенджамини-Иекутиели
Материал из MachineLearning.
(→Замечание) |
|||
Строка 28: | Строка 28: | ||
===Замечание=== | ===Замечание=== | ||
- | Пусть статистики гипотез <tex> T_i</tex> независимы или выполняется следующее свойство (PRDS<ref name="prds"> Benjamini | + | Пусть статистики гипотез <tex> T_i</tex> независимы или выполняется следующее свойство (PRDS<ref name="prds"> Benjamini; Yekutieli, Daniel. (2001). [http://projecteuclid.org/euclid.aos/1013699998 The control of the false discovery rate in multiple testing under dependency]. Annals of Statistics, 29(4), 1165–1188. </ref> on <tex>T_i,\: i \in M_0</tex>): |
::<tex>\operator{P}(X\in D|T_i=x) </tex> не убывает по <tex>x\:\forall i\in M_0</tex>, | ::<tex>\operator{P}(X\in D|T_i=x) </tex> не убывает по <tex>x\:\forall i\in M_0</tex>, | ||
где <tex>M_0</tex> - множество индексов верных гипотез, <tex>D</tex> - произвольное возрастающее множество, то есть, такое, что из <tex>x\in D</tex> и <tex>y \geq x</tex> следует <tex>y\in D</tex>. | где <tex>M_0</tex> - множество индексов верных гипотез, <tex>D</tex> - произвольное возрастающее множество, то есть, такое, что из <tex>x\in D</tex> и <tex>y \geq x</tex> следует <tex>y\in D</tex>. |
Версия 13:10, 6 февраля 2014
Метод Бенджамини-Иекутиели[1] — один из нисходящих методов контроля ожидаемой доли ложных отклонений гипотез (FDR), который, в отличии от метода Бенджамини-Хохберга, не накладывает дополнительных ограничений на статистики гипотез .
Содержание |
Определение
Пусть — семейство гипотез, а
— соответствующие им достигаемые уровни значимости. Обозначим за
- число отвергнутых гипотез, а за
- число неверно отвергнутых гипотез, т.е. число ошибок первого рода.
Ожидаемая доля ложных отклонений гипотез, или FDR, определяется следующим образом
Контроль над FDR на уровне означает, что
Метод Бенджамини-Иекутиели
Это нисходящая процедура(по аналогии с методом Холма и методом Бенджамини-Хохберга) со следующими уровнями значимости
,
где
Пусть — уровни значимости
, упорядоченные по неубыванию,
— соответствующие
гипотезы. Процедура метода Бенджамини-Иекутиели определена следующим образом.
- Шаг 1. Если
, принять гипотезы
и остановиться. Иначе, если
, отвергнуть гипотезу
и продолжить проверку оставшихся гипотез на уровне значимости
.
- Шаг 2. Если
, принять гипотезы
и остановиться. Иначе, если
, отвергнуть гипотезу
и продолжить проверку оставшихся гипотез на уровне значимости
.
- И т.д.
Если обозначить число верных гипотез как , то метод Бенджамини-Иекутиели обеспечивает контроль над FDR на уровне
при любых
и
.
Альтернативная постановка
Переходим к модифицированным достигаемым уровням значимости:
,
где -
-ый член вариационного ряда достигаемых уровней значимости
Замечание
Пусть статистики гипотез независимы или выполняется следующее свойство (PRDS[1] on
):
не убывает по
,
где - множество индексов верных гипотез,
- произвольное возрастающее множество, то есть, такое, что из
и
следует
.
Тогда можно положить константу равной единице и получить метод Бенджамини-Хохберга. Другими словами метод Бенджамини-Хохберга - частный случай метода Бенджамини-Иекутиели.
Пример
для проверки используем одновыборочный критерий Стьюдента.
С поправкой Холма(Метод Холма):
Верных Неверных Всего Принятых 150 24 174 Отвергнутых 0 26 26 Всего 150 50 200
С методом Бенджамини-Иекутиели:
Верных Неверных Всего Принятых 150 10 160 Отвергнутых 0 40 40 Всего 150 50 200
Реализации
- MATLAB: Benjamini and Hochberg/Yekutieli Procedure for Controlling False Discovery Rate [1] - реализация на MathWorks.com
- R: функция p.adjust[1] (с параметром
method="BY"
) из стандартного пакетаstats
позволяет получить модифицированные уровни значимости с учетом поправки метода Бенджамини-Иекутиели.
Ссылки