М-оценка
Материал из MachineLearning.
М-оценки — широкий класс статистических оценок, доставляющих минимум суммы каких-либо функций от данных:
М-оценками являются, в частности, оценки наименьших квадратов, а также многие оценки максимального правдоподобия.
Функция выбирается таким образом, чтобы обеспечить желаемые свойства оценки (несмещённость и эффективность) в условиях, когда данные взяты из известного распределения, и достаточную устойчивость к отклонениям от этого распределения.
M-оценки положения распределения
Для положения распределения М-оценки задаются следующим образом:
где функция должна удовлетворять требованиям
при
Среднее и медиана распределения минимизируют, соответственно, функции и
; примеры других функций
, рассматриваемых в теории робастного оценивания, приведены в таблице ниже.
Если имеет производную
, задача минимизации приводит к уравнению
Чтобы сделать М-оценку независимой от коэффициента масштаба распределения, можно перейти к задаче
где значение параметра можно находить вместе с
, а можно считать в данной задаче известным, используя какую-либо оценку (например, абсолютное отклонение среднего).
Иногда от этой задаче переходят к задаче вида
где ,
— весовая функция. Оценка параметра тогда получается как решение итерационно перевзвешиваемой задачи наименьших квадратов:
где k — номер итерации.
М-оценка | | | |
---|---|---|---|
Huber | | | |
"fair" | | | |
Cauchy | | | |
Geman-McClure | | | |
Welsch | | | |
Tukey | | | |
Andrews | | | |
Следующая таблица содержит значения параметров методов, подобранные таким образом, чтобы при применении к стандартному нормальному распределению оценки имели асимптотическую эффективность 95%.
М-оценка | Значение параметра |
---|---|
Huber | 1.345 |
"fair" | 1.3998 |
Cauchy | 2.3849 |
Welsch | 2.9846 |
Tukey | 4.6851 |
Andrews | 1.339 |
Ссылки
- M-estimator - статья из английской Википедии