Участник:Василий Ломакин/Коэффициент корреляции Спирмена
Материал из MachineLearning.
|
TODO:
- Орфография, пунктуация
- Рисунки
- Определение корреляции
Коэффициент корреляции Спирмена (Spearman rank correlation coefficient) — мера линейной связи между случайными величинами. Корреляция Спирмена является ранговой, то есть для оценки силы связи используются не численные значения, а соответствующие им ранги. Коэффициент инвариантен по отношению к любому монотонному преобразованию шкалы измерения.
Определение
Заданы две выборки .
Вычисление корреляции Спирмена:
Коэффициент корреляции Спирмена вычисляется по формуле:
- ,[1] где - ранг наблюдения в ряду , - ранг наблюдения в ряду .
Коэффициент принимает значения из отрезка . Равенство указывает на строгую прямую линейную зависимость, на обратную.
Случай совпадающих наблюдений:
При наличии связок коэффициент корреляции Спирмена следует вычислять следующим образом:
- [2]
- где .
- Здесь и — количество связок в выборках и , , — их размеры. Для элементов связок вычисляется средний ранг.
Обоснование критерия Спирмена:
Будем говорить, что пары и согласованы, если и или и , то есть . Пусть - число согласованных пар, - число несогласованных пар. Тогда, в предположении, что среди и среди нет совпадений, превышение согласованности над несогласованностью есть:
- .
Для измерения степени согласия Кенделл предложил следующий коэффициент:
- .
Таким образом, коэффициент (линейно связанный с ) можно считать мерой неупорядоченности второй последовательности относительно первой.[3]
Обозначим через — число связок в выборке ;
- — число объектов в -ой связке, ;
- — число связок в выборке ;
- — число объектов в -ой связке, ;
Выборкам и соответствуют последовательности рангов:
- , где — ранг -го объекта в вариационном ряду выборки ;
- , где — ранг -го объекта в вариационном ряду выборки .
Коэффициент корреляции Спирмена вычисляется по формуле
где .
Коэффициент корреляции Спирмена изменяется от -1 до 1. Равенство указывает на строгую линейную корреляцию, указывает на отсутствие корреляции.
Статистическая проверка наличия корреляции
Нулевая гипотеза : Выборки и не коррелируют ().
Статистика критерия:
Критерий (при уровне значимости ):
Против альтернативы :
- если больше табличного значения критерия Спирмена [4] с уровнем значимости , то нулевая гипотеза отвергается.
Асимптотический критерий:
Рассмотрим центрированную и нормированную статистику Спирмена:
- , где .
Нулевая гипотеза отвергается (против альтернативы — ), если:
Аппроксимация удовлетворительно работает, начиная с .[7]
В 1978 году Р. Иман и У. Коновер предложили следующую поправку, значительно повышающую точность аппроксимации. Она использует линейную комбинацию нормальной и стьюдентовской квантилей. Положим:
.
Гипотеза отвергается в пользу альтернативы , если , где обозначают соответственно квантили уровня стандартного нормального распределения и распределения Стьюдента с степенями свободы.
Примеры
Ниже приведены примеры вычисления корреляций Кенделла и Спирмена. Значения коэффициентов указаны над каждым изображением в виде , где - корреляция Кенделла, - Спирмена. Заметно, что в большинстве случаев . Объяснение этого эффекта приводится ниже.
Направление линейной зависимости
Коэффициенты корреляции реагируют на изменение направления и зашумлённость линейной зависимости между переменными.
Наклон линейного тренда
Коэффициенты корреляции реагируют на изменение направления, но не реагируют на изменение наклона тренда. На первом, четвёртом и седьмом рисунках дисперсия одной из переменных близка к нулю, поэтому не удаётся зафиксировать факт линейной зависимости.
Нелинейная зависимость
Корреляции Кенделла и Спирмена не отражают меры нелинейной зависимости между переменными.
Линейная и нелинейная зависимости
На каждой из приведённых ниже иллюстраций осуществляется переход от линейной зависимости к нелинейной. Коэффициенты корреляции Кенделла и Спирмена реагируют на это одинаковым образом.
По мере смены линейной зависимости нелинейной значения коэффициентов корреляции падают.
Связь коэффициентов корреляции Спирмена и Пирсона
В случае выборок из нормального распределения коэффициент корреляции Спирмена может быть использован для оценки коэффициента корреляции Пирсона по формуле:
- .[10]
Связь коэффициентов корреляции Кенделла и Спирмена
Выборкам и соответствуют последовательности рангов:
- , где — ранг -го объекта в вариационном ряду выборки ;
- , где — ранг -го объекта в вариационном ряду выборки .
Проведем операцию упорядочивания рангов.
Расположим ряд значений в порядке возрастания величины: . Тогда последовательность рангов упорядоченной выборки будет представлять собой последовательность натуральных чисел . Значения , соответствующие значениям , образуют в этом случае некоторую последовательность рангов :
- .
Коэффициент корреляции Кенделла и коэффициент корреляции Спирмена выражаются через ранги следующим образом:
Заметно, что в случае инверсиям придаются дополнительные веса , таким образом сильнее реагирует на несогласие ранжировок, чем . Этот эффект проявляется в приведённых выше примерах: в большинстве из них .
Утверждение.[11] Если выборки и не коррелируют (выполняется гипотеза ), то величины и сильно закоррелированы. Коэффициент корреляции между ними можно вычислить по формуле:
- .
История
Критерий был предложен британским психологом Чарльзом Эдвардом Спирменом в 1904 году.
Примечания
<\references>
Литература
- Кобзарь А. И. Прикладная математическая статистика. — М.: Физматлит, 2006. — 626-628 с.
- Лагутин М. Б. Наглядная математическая статистика. В двух томах. — М.: П-центр, 2003. — 343-345 с.
- Лапач С. Н., Чубенко А. В., Бабич П. Н. Статистика в науке и бизнесе. — Киев: Морион, 2002. — 182-184 с.
Ссылки
- Ранговая корреляция
- Коэффициент корреляции Кенделла — другой способ расчёта ранговой корреляции.
- Коэффициент корреляции Пирсона
- Коэффициент корреляции — статья в русскоязычной Википедии.
- Spearman rank correlation coefficient — статья в англоязычной Википедии.