Коэффициент корреляции Пирсона

Материал из MachineLearning.

Версия от 13:34, 11 января 2012; Riabenko (Обсуждение | вклад)

(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)

Перейти к: навигация, поиск

Содержание

1 Определение
2 Статистическая проверка наличия корреляции
3 Слабые стороны
4 Литература
5 См. также
6 Ссылки

Определение

Коэффициент корреляции Пирсона характеризует существование линейной зависимости между двумя величинами.

Даны две выборки

$x=\left( x_1, \cdots ,x_n \right), \; y=\left( y_1, \cdots ,y_n \right)$ ;

Коэффициент корреляции Пирсона рассчитывается по формуле:

$r_{xy} = \frac {\sum_{i=1}^{n} \left( x_i-\bar{x} \right)\left( y_i-\bar{y} \right)}{\sqrt{\sum_{i=1}^{n} \left( x_i-\bar{x} \right)^2 \sum_{i=1}^{n} \left( y_i-\bar{y} \right)^2}} = \frac {cov(x,y)}{\sqrt{S_x^2S_y^2}}$

где

$\bar{x}, \; \bar{y}$ - средние значения выборок x и y;

$S_x, \; S_y$ - среднеквадратичные отклонения;

$r_{xy} \in \left[-1,1\right]$ − называют также теснотой линейной связи.

$\left| r_{xy} \right| =1$ , тогда $x, y$ - линейно зависимы.
$r_{xy}=0$ , тогда $x, y$ - линейно независимы.

Статистическая проверка наличия корреляции

Гипотеза: $H_0$ : отсутствует линейная связь между выборками x и y ( $r_{xy} = 0$ ).

Статистика критерия:

$T = \frac{r_{xy}\sqrt{n-2}}{sqrt{1-r^2_{xy}}} \sim t_{n-2}$ – распределение Стьюдента с $n-2$ степенями свободы.

Критерий:

$T \in [t_\alpha,t_{1-\alpha}]$ , где $t_\alpha$ есть α-квантиль распределения Стьюдента.

Слабые стороны

Четыре различных набора данных, коэффициент корреляции на которых равен 0.81

Неустойчивость к выбросам.

С помощью коэффициента корреляции Пирсона можно определить силу линейной зависимости между величинами, другие виды взаимосвязей выявляются методами регрессионного анализа.

Необходимо понимать различие понятий "независимость" и "некоррелированность". Из первого следует второе, но не наоборот.

Для того, чтобы выяснить отношение между двумя переменными, часто необходимо избавиться от влияния третьей переменной. Рассмотрим пример 3-х переменных: x,y,z. Исключим влияние переменной z:

$r_{xy \setminus z}=\frac{r_{xy}-r_{xz}r_{yz}}{\sqrt{ \left(\ 1-r_{xz} \right)^2 \left(\ 1-r_{yz} \right)^2}}$ – частный коэффициент корреляции.

Для исключения влияния большего числа переменных:

$r_{ij \setminus vars}=\frac{-R_{ij}}{\sqrt{R_{ii}R_{jj}}}$

$R_{ij} = (-1)^{i+j}M_{ij}$ , где $M_{ij}$ – главный минор матрицы коэффициентов корреляции переменных $R = \begin{pmatrix} 1 & r_{12} & \dots & r_{1k} \\ r_{21} & 1 & \dots & r_{2k}\\ \vdots & & & \vdots \\ r_{k1} & \dots & \dots & 1 \end{pmatrix} .$