Участник:Василий Ломакин/Коэффициент корреляции Спирмена

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Новая: {{TOCright}} ==Определение== Заданы две выборки <tex>x = (x_1,\ldots,x_n),\;\; y = (y_1,\ldots,y_n)</tex>. Обозначим через <tex>L_x</tex> — ...)
Строка 1: Строка 1:
{{TOCright}}
{{TOCright}}
 +
 +
TODO:
 +
# Орфография, пунктуация
 +
# Рисунки
 +
# Определение корреляции
 +
# Ссылка на Лапача
 +
==Определение==
==Определение==
Заданы две выборки <tex>x = (x_1,\ldots,x_n),\;\; y = (y_1,\ldots,y_n)</tex>.
Заданы две выборки <tex>x = (x_1,\ldots,x_n),\;\; y = (y_1,\ldots,y_n)</tex>.
Строка 12: Строка 19:
::<tex>R_y=(R_{y_1},\ldots,R_{y_n})</tex>, где <tex>R_{y_i}</tex> — ранг <tex>i</tex>-го объекта в [[вариационный ряд|вариационном ряду]] выборки <tex>y</tex>.
::<tex>R_y=(R_{y_1},\ldots,R_{y_n})</tex>, где <tex>R_{y_i}</tex> — ранг <tex>i</tex>-го объекта в [[вариационный ряд|вариационном ряду]] выборки <tex>y</tex>.
-
'''[[Коэффициент корреляции Спирмена]]''' равен
+
'''Коэффициент корреляции Спирмена''' вычисляется по формуле
::<tex>\rho=\frac{\sum_{i=1}^n{(R_{x_i}-\frac{n+1}{2})(R_{y_i}-\frac{n+1}{2})}}{\frac{1}{12}(n^3-n)-\Delta},</tex>
::<tex>\rho=\frac{\sum_{i=1}^n{(R_{x_i}-\frac{n+1}{2})(R_{y_i}-\frac{n+1}{2})}}{\frac{1}{12}(n^3-n)-\Delta},</tex>
-
где <tex>\Delta=\frac{1}{2}\sum_{l=1}^{L_{x}}{T_{x_l}(T_{x_l}^2-1)+\frac{1}{2}\sum_{l=1}^{L_y}{T_{y_l}(T_{y_l}^2-1)}}</tex>
+
где <tex>\Delta=\frac{1}{2}\sum_{l=1}^{L_{x}}{T_{x_l}(T_{x_l}^2-1)+\frac{1}{2}\sum_{l=1}^{L_y}{T_{y_l}(T_{y_l}^2-1)}}</tex>.
Коэффициент корреляции Спирмена <tex>\rho</tex> изменяется от -1 до 1. Равенство <tex>\rho=1</tex> указывает на строгую линейную корреляцию, <tex>\rho=0</tex> указывает на отсутствие корреляции.
Коэффициент корреляции Спирмена <tex>\rho</tex> изменяется от -1 до 1. Равенство <tex>\rho=1</tex> указывает на строгую линейную корреляцию, <tex>\rho=0</tex> указывает на отсутствие корреляции.
Строка 41: Строка 48:
::<tex>R_y=(R_{y_1},\ldots,R_{y_n})</tex>, где <tex>R_{y_i}</tex> — ранг <tex>i</tex>-го объекта в [[вариационный ряд|вариационном ряду]] выборки <tex>y</tex>.
::<tex>R_y=(R_{y_1},\ldots,R_{y_n})</tex>, где <tex>R_{y_i}</tex> — ранг <tex>i</tex>-го объекта в [[вариационный ряд|вариационном ряду]] выборки <tex>y</tex>.
-
Проведем операцию упорядочевания рангов.
+
Проведем операцию упорядочивания рангов.
Расположим ряд значений <tex>x_i</tex> в порядке возрастания величины: <tex>x_1\leq x_2\leq\cdots\leq x_n</tex>. Тогда последовательность рангов упорядоченной выборки <tex>x</tex> будет представлять собой последовательность натуральных чисел <tex>1,2,\cdots,n</tex>. Значения <tex>y</tex>, соответствующие значениям <tex>x</tex>, образуют в этом случае некоторую последовательность рангов <tex>T=(T_1,\cdots,T_n)</tex>.
Расположим ряд значений <tex>x_i</tex> в порядке возрастания величины: <tex>x_1\leq x_2\leq\cdots\leq x_n</tex>. Тогда последовательность рангов упорядоченной выборки <tex>x</tex> будет представлять собой последовательность натуральных чисел <tex>1,2,\cdots,n</tex>. Значения <tex>y</tex>, соответствующие значениям <tex>x</tex>, образуют в этом случае некоторую последовательность рангов <tex>T=(T_1,\cdots,T_n)</tex>.
-
::<tex>(R_{x_i},R_{y_i})\rightarrow^{sort} (i,T_i),\; i=1,\cdots,n</tex> (<tex>sort</tex> — операция упорядочевания рангов).
+
::<tex>(R_{x_i},\;R_{y_i})\rightarrow^{sort} (i,\;T_i),\; i=1,\cdots,n</tex> (<tex>sort</tex> — операция упорядочивания рангов).
Коэффициент корреляции Спирмена <tex>\rho</tex> и [[коэффициент корреляции Кенделла]] <tex>\tau</tex> выражаются через ранги <tex>T_i,\; i=1,\cdots,n</tex> следующим образом:
Коэффициент корреляции Спирмена <tex>\rho</tex> и [[коэффициент корреляции Кенделла]] <tex>\tau</tex> выражаются через ранги <tex>T_i,\; i=1,\cdots,n</tex> следующим образом:
-
::<tex>\rho=1-\frac{12}{n^3-n}\sum_{i<j}{(j-i)[T_i>T_j]}</tex>
+
::<tex>\rho=1-\frac{12}{n^3-n}\sum_{i<j}{(j-i)[T_i>T_j]};</tex>
-
::<tex>\tau=1-\frac{4}{n^2-1}\sum_{i<j}[T_i>T_j]</tex>
+
::<tex>\tau=1-\frac{4}{n^2-1}\sum_{i<j}[T_i>T_j];</tex>
Коэффициент корреляции Спирмена учитывает насколько сильна неупорядоченность.
Коэффициент корреляции Спирмена учитывает насколько сильна неупорядоченность.
'''Утверждение.''' Если выборки <tex>x</tex> и <tex>y</tex> не коррелируют (выполняется гипотеза <tex>H_0</tex>), то коэффициент корреляции между величинами <tex>\rho</tex> и <tex>\tau</tex> можно вычислить по формуле:
'''Утверждение.''' Если выборки <tex>x</tex> и <tex>y</tex> не коррелируют (выполняется гипотеза <tex>H_0</tex>), то коэффициент корреляции между величинами <tex>\rho</tex> и <tex>\tau</tex> можно вычислить по формуле:
-
::<tex>corr(\rho,\tau)=\frac{2n+2}{\sqrt{4n^2+10n}}</tex>
+
::<tex>corr(\rho,\;\tau)=\frac{2n+2}{\sqrt{4n^2+10n}}</tex>.
== Литература ==
== Литература ==

Версия 11:09, 4 января 2010

Содержание

TODO:

  1. Орфография, пунктуация
  2. Рисунки
  3. Определение корреляции
  4. Ссылка на Лапача

Определение

Заданы две выборки x = (x_1,\ldots,x_n),\;\; y = (y_1,\ldots,y_n).

Обозначим через L_x — число связок в выборке x;

T_{x_l} — число объектов в l-ой связке, l=1,\ldots,L_x;
L_y — число связок в выборке y;
T_{y_l} — число объектов в l-ой связке, l=1,\ldots,L_y;

Выборкам x и y соответствуют последовательности рангов:

R_x=(R_{x_1},\ldots,R_{x_n}), где R_{x_i} — ранг i-го объекта в вариационном ряду выборки x;
R_y=(R_{y_1},\ldots,R_{y_n}), где R_{y_i} — ранг i-го объекта в вариационном ряду выборки y.

Коэффициент корреляции Спирмена вычисляется по формуле

\rho=\frac{\sum_{i=1}^n{(R_{x_i}-\frac{n+1}{2})(R_{y_i}-\frac{n+1}{2})}}{\frac{1}{12}(n^3-n)-\Delta},

где \Delta=\frac{1}{2}\sum_{l=1}^{L_{x}}{T_{x_l}(T_{x_l}^2-1)+\frac{1}{2}\sum_{l=1}^{L_y}{T_{y_l}(T_{y_l}^2-1)}}.

Коэффициент корреляции Спирмена \rho изменяется от -1 до 1. Равенство \rho=1 указывает на строгую линейную корреляцию, \rho=0 указывает на отсутствие корреляции.

Статистическая проверка наличия корреляции

Гипотеза H_0: Выборки x и y не коррелируют, \rho=0.

Статистика критерия:

\frac{\rho\sqrt{n-2}}{\sqrt{1-\rho^2}}\sim t_{n-2},

где t_{n-2} — распределение Стьюдента с n-2 степенями свободы.

Критерий (при уровне значимости \alpha):

  • против альтернативы H_1: наличие корреляции
если \rho > t_{n-2,\alpha} , где t_{n-2,\alpha} — \alpha-квантиль распределение Стьюдента с n-2 степенями свободы..

Связь коэффициента корреляции Спирмена с коэффициентом корреляции Пирсона

В случае выборок из нормального распределения коэффициент корреляции Спирмена \rho может быть использован для оценки коэффициента корреляции Пирсона r по формуле

r=sin{\frac{\pi\rho}{2}}

Связь коэффициента корреляции Спирмена с коэффициентом корреляциии Кенделла

Выборкам x и y соответствуют последовательности рангов:

R_x=(R_{x_1},\ldots,R_{x_n}), где R_{x_i} — ранг i-го объекта в вариационном ряду выборки x;
R_y=(R_{y_1},\ldots,R_{y_n}), где R_{y_i} — ранг i-го объекта в вариационном ряду выборки y.

Проведем операцию упорядочивания рангов.

Расположим ряд значений x_i в порядке возрастания величины: x_1\leq x_2\leq\cdots\leq x_n. Тогда последовательность рангов упорядоченной выборки x будет представлять собой последовательность натуральных чисел 1,2,\cdots,n. Значения y, соответствующие значениям x, образуют в этом случае некоторую последовательность рангов T=(T_1,\cdots,T_n).

(R_{x_i},\;R_{y_i})\rightarrow^{sort} (i,\;T_i),\; i=1,\cdots,n (sort — операция упорядочивания рангов).

Коэффициент корреляции Спирмена \rho и коэффициент корреляции Кенделла \tau выражаются через ранги T_i,\; i=1,\cdots,n следующим образом:

\rho=1-\frac{12}{n^3-n}\sum_{i<j}{(j-i)[T_i>T_j]};
\tau=1-\frac{4}{n^2-1}\sum_{i<j}[T_i>T_j];

Коэффициент корреляции Спирмена учитывает насколько сильна неупорядоченность.

Утверждение. Если выборки x и y не коррелируют (выполняется гипотеза H_0), то коэффициент корреляции между величинами \rho и \tau можно вычислить по формуле:

corr(\rho,\;\tau)=\frac{2n+2}{\sqrt{4n^2+10n}}.

Литература

  1. Кобзарь А. И. Прикладная математическая статистика. — М.: Физматлит, 2006. — 816 с.
  2. Лагутин М. Б. Наглядная математическая статистика. В двух томах. — М.: П-центр, 2003

См. также

Ссылки

Источник — «http://www.machinelearning.ru/wiki/index.php?title=%D0%A3%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA:%D0%92%D0%B0%D1%81%D0%B8%D0%BB%D0%B8%D0%B9_%D0%9B%D0%BE%D0%BC%D0%B0%D0%BA%D0%B8%D0%BD/%D0%9A%D0%BE%D1%8D%D1%84%D1%84%D0%B8%D1%86%D0%B8%D0%B5%D0%BD%D1%82_%D0%BA%D0%BE%D1%80%D1%80%D0%B5%D0%BB%D1%8F%D1%86%D0%B8%D0%B8_%D0%A1%D0%BF%D0%B8%D1%80%D0%BC%D0%B5%D0%BD%D0%B0»
Личные инструменты