Коэффициент корреляции Пирсона

Материал из MachineLearning.

(Различия между версиями)

Текущая версия

Содержание

1 Введение и определение
- 1.1 Свойства и границы
2 Статистическая проверка наличия корреляции
3 Ложная корреляция и слабые стороны
- 3.1 Влияние сужения диапазона (Range restriction)
4 Частная и полу-частичная корреляция
5 Связь с линейной регрессией и множественная корреляция
6 Другие коэффициенты корреляции и вычислительная устойчивость
7 Практические рекомендации
8 Литература
9 См. также
10 Ссылки

Статья написана с использованием LLM Gemini Pro и доработана с привлечением DeepSeek-R1. Проверена участником Dmitrii Vishovan 14:00, 12 июля 2026 (MSD)

Введение и определение

Коэффициент корреляции Пирсона — это статистический показатель, характеризующий силу и направленность линейной зависимости между двумя непрерывными случайными величинами. Он представляет собой нормированную ковариацию, что делает его безразмерным и инвариантным к линейным преобразованиям шкал.

Генеральный коэффициент корреляции $\rho_{XY}$ для случайных величин $X, Y$ с конечными вторыми моментами определяется как:

$\rho_{XY} = \frac{\operatorname{Cov}(X,Y)}{\sqrt{\operatorname{D}(X)\operatorname{D}(Y)}}.$

Пусть даны две выборки конечного объёма $x^m = (x_1,\dots,x_m)$ и $y^m = (y_1,\dots,y_m)$ . Выборочный коэффициент корреляции Пирсона рассчитывается по формуле:

$r_{xy} = \frac{\sum_{i=1}^{m} (x_i-\bar{x})(y_i-\bar{y})}{\sqrt{\sum_{i=1}^{m} (x_i-\bar{x})^2 \cdot \sum_{i=1}^{m} (y_i-\bar{y})^2}} = \frac{\operatorname{cov}(x,y)}{\sqrt{s_x^2 s_y^2}},$

где $\bar{x}, \bar{y}$ — выборочные средние, $s_x^2, s_y^2$ — выборочные дисперсии (с делителем $m$ ).

Примечание. При использовании несмещённых оценок дисперсии и ковариации (с делителем $m-1$ ) коэффициент корреляции остаётся неизменным, поскольку множители $1/m$ и $1/(m-1)$ сокращаются в числителе и знаменателе. Выборочный коэффициент $r_{xy}$ является состоятельной (при $m \to \infty$ ) и (при нормальности) асимптотически несмещённой оценкой для $\rho_{XY}$ .

Геометрическая интерпретация. Рассмотрим центрированные векторы $\tilde{\mathbf{x}} = (x_1-\bar{x}, \dots, x_m-\bar{x})$ и $\tilde{\mathbf{y}} = (y_1-\bar{y}, \dots, y_m-\bar{y})$ в евклидовом пространстве $\mathbb{R}^m$ . Тогда коэффициент корреляции Пирсона есть в точности косинус угла между этими векторами:

$r_{xy} = \frac{\langle \tilde{\mathbf{x}}, \tilde{\mathbf{y}} \rangle}{\|\tilde{\mathbf{x}}\| \|\tilde{\mathbf{y}}\|} = \cos \theta,$

где $\langle \cdot, \cdot \rangle$ – скалярное произведение, $\|\cdot\|$ – евклидова норма. Такая трактовка наглядно объясняет границы $[-1, 1]$ и условие линейной зависимости ( $\theta = 0$ или $\pi$ ). Она также служит мостом к методам ортогональных проекций в регрессионном анализе.

Свойства и границы

Коэффициент $r_{xy}$ всегда лежит в отрезке $[-1, 1]$ . Это прямое следствие неравенства Коши–Буняковского для центрированных векторов $\tilde{x}_i = x_i - \bar{x}$ , $\tilde{y}_i = y_i - \bar{y}$ :

$\left| \sum_{i=1}^m \tilde{x}_i \tilde{y}_i \right| \le \sqrt{ \sum_{i=1}^m \tilde{x}_i^2 \cdot \sum_{i=1}^m \tilde{y}_i^2 },$

откуда немедленно получаем $|r_{xy}| \le 1$ . Равенство $|r_{xy}| = 1$ достигается тогда и только тогда, когда векторы $\tilde{x}$ и $\tilde{y}$ линейно зависимы, то есть существует строгая линейная связь $y_i = a + b x_i$ для всех $i$ (при $b>0$ имеем $r=+1$ , при $b<0$ — $r=-1$ ). Значение $r_{xy} = 0$ указывает на отсутствие линейной зависимости, но не исключает наличия нелинейной закономерности.

Инвариантность. Коэффициент Пирсона не меняется при строго возрастающих линейных преобразованиях каждой из переменных:

$r_{a+bx,\, c+dy} = \operatorname{sgn}(bd)\, r_{xy} \quad (b d \ne 0),$

где знак $b d$ определяет направление корреляции. Это свойство делает $r$ удобным для сравнения связей в разных шкалах измерения.

Статистическая проверка наличия корреляции

На практике выборочный $r$ может отличаться от нуля случайно. Для проверки гипотезы об отсутствии корреляции в генеральной совокупности используют статистические критерии.

Нулевая гипотеза $H_0: \rho = 0$ (истинный коэффициент корреляции равен нулю). Альтернативная гипотеза $H_1: \rho \ne 0$ (двусторонняя); возможны также односторонние альтернативы, если направление связи известно априори. Статистика критерия:

$T = \frac{r_{xy} \sqrt{m-2}}{\sqrt{1 - r_{xy}^2}} \sim t_{m-2}$

при условии, что $H_0$ верна и данные имеют двумерное нормальное распределение. Здесь $t_{m-2}$ — распределение Стьюдента с $m-2$ степенями свободы.

Правило принятия решения: $H_0$ отвергается на уровне значимости $\alpha$ , если $|T| > t_{1-\alpha/2}(m-2)$ , где $t_{1-\alpha/2}$ — квантиль распределения Стьюдента. При нормальности выборки и $\rho=0$ выборочный коэффициент $r$ имеет плотность $f(r) = \frac{1}{\mathrm{B}(1/2, (m-2)/2)} (1-r^2)^{(m-4)/2}$ . Преобразование в $T$ даёт плотность Стьюдента с $m-2$ степенями свободы (классический результат Фишера).

Распределение при $\rho \ne 0$

В предположении двумерной нормальности плотность выборочного коэффициента корреляции $r$ имеет вид (Фишер, 1915):

$f(r) = \frac{(m-2)\,\Gamma(m-1)}{\sqrt{2\pi}\,\Gamma(m-\tfrac12)} (1-\rho^2)^{(m-1)/2} (1-r^2)^{(m-4)/2} \sum_{k=0}^{\infty} \frac{[2\rho r]^k}{k!} \Gamma^2\left(\frac{m-1+k}{2}\right),$

что при $\rho=0$ сводится к ранее приведённой бета-плотности. Для практических целей часто используют асимптотическую нормальность $r$ с математическим ожиданием $\rho - \frac{\rho(1-\rho^2)}{2(m-1)} + O(m^{-2})$ и дисперсией $(1-\rho^2)^2/(m-1) + O(m^{-2})$ .

Доверительные интервалы для $\rho$

Построение доверительного интервала удобно выполнять с помощью z-преобразование Фишера, которое стабилизирует дисперсию и ускоряет сходимость к нормальному закону:

$z = \frac12 \ln \frac{1+r}{1-r} = \operatorname{arctanh}(r).$

При больших $m$ величина $z$ приближённо нормальна со средним $\frac12 \ln \frac{1+\rho}{1-\rho}$ и стандартным отклонением $SE = 1/\sqrt{m-3}$ . Это позволяет построить доверительный интервал для $z$ , а затем применить обратное преобразование $\rho = \tanh(z)$ .

Альтернативные процедуры проверки значимости

Пермутационный тест. Когда предположение о нормальности сомнительно, можно использовать перестановочный критерий. Статистика $r$ пересчитывается для всех $m!$ перестановок значений $y$ относительно $x$ (или используется аппроксимация Монте-Карло). Полученное эмпирическое распределение позволяет вычислить p-значение без параметрических допущений.
Бутстрэп-доверительные интервалы. Вместо преобразования Фишера можно построить интервалы для $\rho$ с помощью процентильного или BCa-бутстрэпа, что даёт корректное покрытие даже при отклонениях от нормальности.

Ложная корреляция и слабые стороны

Четыре различных набора данных (Квартет Энскомба), коэффициент корреляции на которых одинаков и равен 0.81

Неустойчивость к выбросам. Коэффициент Пирсона крайне чувствителен к аномальным значениям. Одна точка, сильно отклоняющаяся от основной линии, может кардинально изменить $r$ (например, с 0.9 до 0.2 или сменить знак).
Только линейность. $r$ измеряет лишь силу линейной связи. Нелинейные зависимости могут давать $r \approx 0$ даже при функциональной связи. Всегда следует сопровождать расчёт диаграммой рассеяния.
Корреляция ≠ причинность. Наблюдаемая связь может быть следствием влияния третьей (скрытой) переменной, общей для обеих (например, продажи мороженого и солнечные ожоги). Для выявления причинно-следственных связей применяют методы структурного моделирования (DAG), инструментальные переменные.
Ложная корреляция во временных рядах. При анализе зависимых во времени данных даже независимые процессы с трендом или сезонностью могут давать высокий $|r|$ . Для устранения эффекта применяют декорреляцию: вычисление корреляции для остатков после удаления тренда (методом первых разностей), а также проверку на коинтеграцию.

Влияние сужения диапазона (Range restriction)

Если выборка не репрезентативна по одной из переменных (например, отобраны только субъекты с высокими значениями $x$ ), наблюдаемый коэффициент $r$ систематически занижается по сравнению с истинным значением в полной популяции. Для скорректированной оценки используется формула (Thorndike, 1949):

$r_{\text{corr}} = \frac{r_{\text{obs}}\, \sigma_x^{\text{full}}}{\sqrt{\sigma_x^{2\text{full}} - r_{\text{obs}}^2 (\sigma_x^{2\text{full}} - \sigma_x^{2\text{restricted}})}},$

где $\sigma_x^{\text{full}}$ – стандартное отклонение $x$ в генеральной совокупности, а $\sigma_x^{\text{restricted}}$ – в усечённой выборке. Коррекция широко применяется в психометрике и эпидемиологии.

Частная и полу-частичная корреляция

Частный коэффициент корреляции измеряет линейную связь между двумя переменными при исключении влияния одной или нескольких других переменных. Для трёх переменных $x, y, z$ формула имеет вид:

$r_{xy \setminus z} = \frac{r_{xy} - r_{xz} r_{yz}}{\sqrt{(1 - r_{xz}^2)(1 - r_{yz}^2)}}.$

Для случая $k$ переменных используется матричное представление. Пусть $R = (r_{ij})$ — корреляционная матрица. Частный коэффициент между $i$ -й и $j$ -й переменными при исключении остальных равен:

$r_{ij \setminus \text{rest}} = - \frac{R_{ij}}{\sqrt{R_{ii} R_{jj}}},$

где $R_{ij} = (-1)^{i+j} M_{ij}$ — алгебраическое дополнение в матрице $R$ , а $M_{ij}$ — главный минор. Значения $R_{ii}$ и $R_{jj}$ для корреляционной матрицы всегда положительны.

Полу-частичная (part) корреляция отличается от частной тем, что из $x$ исключается влияние $z$ , а из $y$ – нет (или наоборот). Она характеризует уникальный вклад $x$ в объяснение $y$ за вычетом доли, общей с $z$ :

$r_{y(x \setminus z)} = \frac{r_{xy} - r_{xz} r_{yz}}{\sqrt{1 - r_{xz}^2}}.$

Эта мера востребована в регрессионном анализе при оценке значимости отдельных предикторов.

Связь с линейной регрессией и множественная корреляция

В модели парной линейной регрессии $y = a + b x + \varepsilon$ выборочный коэффициент наклона $b$ связан с корреляцией соотношением:

$b = r_{xy} \frac{s_y}{s_x},\qquad a = \bar{y} - b \bar{x}.$

Таким образом, $r_{xy}$ – это наклон регрессии при стандартизации обеих переменных ( $b^* = r_{xy}$ ). В множественной регрессии стандартизованные коэффициенты $\beta_j$ выражаются через элементы обратной корреляционной матрицы: $\beta_j = -R_{jj}^{-1} R_{jy}$ , и они равны частным корреляциям с точностью до масштаба.

Множественный коэффициент корреляции $R$ характеризует силу связи между зависимой переменной $y$ и набором предикторов ${x_1, \dots, x_k}$ . Он равен парной корреляции между $y$ и её прогнозом $\hat{y}$ :

$R = \sqrt{1 - \frac{\det R_{\text{full}}}{\det R_{xx}}}.$

Коэффициент детерминации $R^2$ в множественной модели равен квадрату множественной корреляции (доля дисперсии отклика, объяснённая регрессией).

Другие коэффициенты корреляции и вычислительная устойчивость

Помимо коэффициента Пирсона, существуют меры для различных типов данных:

Коэффициент корреляции Спирмена – основан на рангах; инвариантен к монотонным преобразованиям, устойчив к выбросам.
Коэффициент корреляции Кендалла – также ранговый, основан на подсчёте конкордантных пар; предпочтителен при малых выборках.
Точечно-бисериальная корреляция – для связи непрерывной и бинарной переменной (частный случай Пирсона, если бинарную переменную закодировать как 0/1).
Тетрахорическая и полихорическая корреляции – оценивают связь между латентными нормальными переменными по наблюдаемым категориальным данным.
Корреляционное отношение (эта-квадрат) – измеряет долю дисперсии зависимой переменной, объяснённую группирующим фактором (нелинейная связь).

Вычислительная устойчивость. При расчёте $r$ на компьютере возможна потеря точности из-за вычитания близких больших чисел (при центрировании). Рекомендуется использовать двухпроходный алгоритм (сначала вычисление средних, затем центрирование) или метод суммирования с компенсацией (Кахана). В большинстве статистических пакетов эти меры уже реализованы.

Практические рекомендации

Визуализация матриц. Матрица рассеяния (scatterplot matrix) и тепловая карта корреляций – стандартные инструменты для первичного анализа. Тепловая карта выявляет кластеры сильно коррелирующих переменных. При визуализации рекомендуется указывать числовые значения $r$ или только значимые (с $p < 0.05$ ).
Проверка мультиколлинеарности. В задачах множественной регрессии высокие корреляции между предикторами ( $|r| > 0.8$ ) ведут к неустойчивости оценок. Рассчитывайте VIF (variance inflation factor). Значения VIF > 5–10 сигнализируют о проблеме.
Предобработка данных. Перед расчётом $r$ необходимо обработать пропуски и выбросы (использовать межквартильный размах). Для нелинейных связей рассмотрите логарифмирование с последующим расчётом корреляции.
Проверка предположений и выбросов. При отклонениях от нормальности или при наличии выбросов предпочтительнее использовать ранговые корреляции.
Коррекция на множественные сравнения. При вычислении корреляций для многих пар переменных одновременно, применяйте поправку (метод Бонферрони, контроль FDR).

Литература

Кобзарь А. И. Прикладная математическая статистика. Для инженеров и научных работников. — М.: Физматлит, 2006. — С. 571—575. — ISBN 5-9221-0707-0
Ширяев А. Н. Вероятность. — М.: МЦНМО, 2004. — ISBN 5-94057-104-2
Anderson, T. W. An Introduction to Multivariate Statistical Analysis (3rd ed.). — Wiley, 2003. — ISBN 978-0471360919

См. также

Ссылки

Источник — «http://www.machinelearning.ru/wiki/index.php?title=%D0%9A%D0%BE%D1%8D%D1%84%D1%84%D0%B8%D1%86%D0%B8%D0%B5%D0%BD%D1%82_%D0%BA%D0%BE%D1%80%D1%80%D0%B5%D0%BB%D1%8F%D1%86%D0%B8%D0%B8_%D0%9F%D0%B8%D1%80%D1%81%D0%BE%D0%BD%D0%B0»

Категории: Корреляционный анализ | Прикладная статистика | Энциклопедия анализа данных

@@ Строка 1: / Строка 1: @@
 {{TOCright}}
-== Определение ==
+{{well|Статья написана с использованием LLM Gemini Pro и доработана с привлечением DeepSeek-R1. Проверена участником [[Участник:Dmitrii Vishovan|Dmitrii Vishovan]] 14:00, 12 июля 2026 (MSD)}}
-Коэффициент корреляции Пирсона характеризует существование [[Линейная зависимость|линейной зависимости]] между двумя величинами.
-Даны две выборки
+== Введение и определение ==
+'''Коэффициент корреляции Пирсона''' — это [[статистика|статистический показатель]], характеризующий силу и направленность [[линейная зависимость|линейной зависимости]] между двумя непрерывными [[случайная величина|случайными величинами]]. Он представляет собой нормированную [[ковариация|ковариацию]], что делает его безразмерным и инвариантным к линейным преобразованиям шкал.
-<tex>x=\left( x_1, \cdots ,x_n  \right), \; y=\left( y_1, \cdots ,y_n  \right) </tex>;
+'''Генеральный коэффициент корреляции''' <tex>\rho_{XY}</tex> для случайных величин <tex>X, Y</tex> с конечными вторыми моментами определяется как:
+::<tex>\rho_{XY} = \frac{\operatorname{Cov}(X,Y)}{\sqrt{\operatorname{D}(X)\operatorname{D}(Y)}}.</tex>
-Коэффициент корреляции Пирсена рассчитывается по формуле:
+Пусть даны две [[выборка|выборки]] конечного объёма <tex>x^m = (x_1,\dots,x_m)</tex> и <tex>y^m = (y_1,\dots,y_m)</tex>. Выборочный коэффициент корреляции Пирсона рассчитывается по формуле:
+::<tex>r_{xy} = \frac{\sum_{i=1}^{m} (x_i-\bar{x})(y_i-\bar{y})}{\sqrt{\sum_{i=1}^{m} (x_i-\bar{x})^2 \cdot \sum_{i=1}^{m} (y_i-\bar{y})^2}} = \frac{\operatorname{cov}(x,y)}{\sqrt{s_x^2 s_y^2}},</tex>
+где <tex>\bar{x}, \bar{y}</tex> — [[выборочное среднее|выборочные средние]], <tex>s_x^2, s_y^2</tex> — [[дисперсия случайной величины|выборочные дисперсии]] (с делителем <tex>m</tex>).
-<tex>r_{xy} = \frac {\sum_{i=1}^{n} \left( x_i-\bar{x} \right)\left( y_i-\bar{y} \right)}{\sqrt{\sum_{i=1}^{n} \left( x_i-\bar{x} \right)^2 \sum_{i=1}^{n} \left( y_i-\bar{y} \right)^2}} = \frac {cov(x,y)}{\sqrt{S_x^2S_y^2}} </tex>
+''Примечание.'' При использовании [[Оценка параметра|несмещённых оценок]] дисперсии и ковариации (с делителем <tex>m-1</tex>) коэффициент корреляции остаётся неизменным, поскольку множители <tex>1/m</tex> и <tex>1/(m-1)</tex> сокращаются в числителе и знаменателе. Выборочный коэффициент <tex>r_{xy}</tex> является [[состоятельная оценка|состоятельной]] (при <tex>m \to \infty</tex>) и (при нормальности) асимптотически несмещённой оценкой для <tex>\rho_{XY}</tex>.
-где
+'''Геометрическая интерпретация.''' Рассмотрим центрированные [[вектор|векторы]] <tex>\tilde{\mathbf{x}} = (x_1-\bar{x}, \dots, x_m-\bar{x})</tex> и <tex>\tilde{\mathbf{y}} = (y_1-\bar{y}, \dots, y_m-\bar{y})</tex> в [[евклидово пространство|евклидовом пространстве]] <tex>\mathbb{R}^m</tex>. Тогда коэффициент корреляции Пирсона есть в точности косинус угла между этими векторами:
+::<tex>r_{xy} = \frac{\langle \tilde{\mathbf{x}}, \tilde{\mathbf{y}} \rangle}{\|\tilde{\mathbf{x}}\| \|\tilde{\mathbf{y}}\|} = \cos \theta,</tex>
+где <tex>\langle \cdot, \cdot \rangle</tex> – [[скалярное произведение]], <tex>\|\cdot\|</tex> – [[норма (математика)|евклидова норма]]. Такая трактовка наглядно объясняет границы <tex>[-1, 1]</tex> и условие линейной зависимости (<tex>\theta = 0</tex> или <tex>\pi</tex>). Она также служит мостом к методам ортогональных проекций в [[регрессионный анализ|регрессионном анализе]].
-<tex>\bar{x}, \; \bar{y}</tex> - средние значения выборок x и y;
+=== Свойства и границы ===
+Коэффициент <tex>r_{xy}</tex> всегда лежит в отрезке <tex>[-1, 1]</tex>. Это прямое следствие [[неравенство Коши — Буняковского|неравенства Коши–Буняковского]] для центрированных векторов <tex>\tilde{x}_i = x_i - \bar{x}</tex>, <tex>\tilde{y}_i = y_i - \bar{y}</tex>:
+::<tex>\left| \sum_{i=1}^m \tilde{x}_i \tilde{y}_i \right| \le \sqrt{ \sum_{i=1}^m \tilde{x}_i^2 \cdot \sum_{i=1}^m \tilde{y}_i^2 },</tex>
+откуда немедленно получаем <tex>|r_{xy}| \le 1</tex>. Равенство <tex>|r_{xy}| = 1</tex> достигается тогда и только тогда, когда векторы <tex>\tilde{x}</tex> и <tex>\tilde{y}</tex> линейно зависимы, то есть существует строгая линейная связь <tex>y_i = a + b x_i</tex> для всех <tex>i</tex> (при <tex>b>0</tex> имеем <tex>r=+1</tex>, при <tex>b<0</tex> — <tex>r=-1</tex>). Значение <tex>r_{xy} = 0</tex> указывает на отсутствие линейной зависимости, но не исключает наличия нелинейной закономерности.
-<tex>S_x, \; S_y</tex> - среднеквадратичные отклонения;
+'''Инвариантность.''' Коэффициент Пирсона не меняется при строго возрастающих линейных преобразованиях каждой из переменных:
+::<tex>r_{a+bx,\, c+dy} = \operatorname{sgn}(bd)\, r_{xy} \quad (b d \ne 0),</tex>
-<tex>r_{xy} \in \left[-1,1\right]</tex> − называют также теснотой линейной связи.
+где знак <tex>b d</tex> определяет направление корреляции. Это свойство делает <tex>r</tex> удобным для сравнения связей в разных шкалах измерения.
-*<tex>\left| r_{xy} \right| =1</tex> , тогда <tex>x, y</tex> - линейно зависимы.
-*<tex>r_{xy}=0</tex>, тогда <tex>x, y</tex> - линейно независимы.
 == Статистическая проверка наличия корреляции ==
+На практике выборочный <tex>r</tex> может отличаться от нуля случайно. Для проверки [[статистическая гипотеза|гипотезы]] об отсутствии корреляции в генеральной совокупности используют [[статистический критерий|статистические критерии]].
-Гипотеза <tex>H_0</tex>: Отсутствие линейной связи <tex>r_{xy} = 0</tex>
+'''[[Нулевая гипотеза]]''' <tex>H_0: \rho = 0</tex> (истинный коэффициент корреляции равен нулю).
+'''[[Альтернативная гипотеза]]''' <tex>H_1: \rho \ne 0</tex> (двусторонняя); возможны также односторонние альтернативы, если направление связи известно априори.
+'''Статистика критерия:'''
+::<tex>T = \frac{r_{xy} \sqrt{m-2}}{\sqrt{1 - r_{xy}^2}} \sim t_{m-2}</tex>
+при условии, что <tex>H_0</tex> верна и данные имеют двумерное [[нормальное распределение]]. Здесь <tex>t_{m-2}</tex> — [[распределение Стьюдента]] с <tex>m-2</tex> степенями свободы.
-Статистика критерия:
+Правило принятия решения: <tex>H_0</tex> отвергается на [[уровень значимости|уровне значимости]] <tex>\alpha</tex>, если <tex>|T| > t_{1-\alpha/2}(m-2)</tex>, где <tex>t_{1-\alpha/2}</tex> — [[квантиль]] распределения Стьюдента. При нормальности выборки и <tex>\rho=0</tex> выборочный коэффициент <tex>r</tex> имеет плотность <tex>f(r) = \frac{1}{\mathrm{B}(1/2, (m-2)/2)} (1-r^2)^{(m-4)/2}</tex>. Преобразование в <tex>T</tex> даёт плотность Стьюдента с <tex>m-2</tex> степенями свободы (классический результат Фишера).
-<tex> T = \frac{2xy\sqrt{n-2}}{sqrt{1-2x^2y^2}} \sim t_{n-2} </tex> - [[Распределение Стьюдента]] с <tex>n-2</tex> степенями свободы.
+=== Распределение при <tex>\rho \ne 0</tex> ===
+В предположении двумерной нормальности плотность выборочного коэффициента корреляции <tex>r</tex> имеет вид (Фишер, 1915):
+::<tex>f(r) = \frac{(m-2)\,\Gamma(m-1)}{\sqrt{2\pi}\,\Gamma(m-\tfrac12)} (1-\rho^2)^{(m-1)/2} (1-r^2)^{(m-4)/2} \sum_{k=0}^{\infty} \frac{[2\rho r]^k}{k!} \Gamma^2\left(\frac{m-1+k}{2}\right),</tex>
+что при <tex>\rho=0</tex> сводится к ранее приведённой бета-плотности. Для практических целей часто используют асимптотическую нормальность <tex>r</tex> с математическим ожиданием <tex>\rho - \frac{\rho(1-\rho^2)}{2(m-1)} + O(m^{-2})</tex> и дисперсией <tex>(1-\rho^2)^2/(m-1) + O(m^{-2})</tex>.
-== Слабые стороны ==
+=== Доверительные интервалы для <tex>\rho</tex> ===
+Построение [[доверительный интервал|доверительного интервала]] удобно выполнять с помощью '''[[z-преобразование Фишера]]''', которое стабилизирует дисперсию и ускоряет сходимость к нормальному закону:
+::<tex>z = \frac12 \ln \frac{1+r}{1-r} = \operatorname{arctanh}(r).</tex>
+При больших <tex>m</tex> величина <tex>z</tex> приближённо нормальна со средним <tex>\frac12 \ln \frac{1+\rho}{1-\rho}</tex> и стандартным отклонением <tex>SE = 1/\sqrt{m-3}</tex>. Это позволяет построить доверительный интервал для <tex>z</tex>, а затем применить обратное преобразование <tex>\rho = \tanh(z)</tex>.
-* [[Image: Anscombe.svg|150px|thumb| Четыре различных набора данных, коэффициент корреляции на которых равен 0.81]] Неустойчивость к выбросам;
+=== Альтернативные процедуры проверки значимости ===
+* '''[[Перестановочный критерий|Пермутационный тест]].''' Когда предположение о нормальности сомнительно, можно использовать перестановочный критерий. Статистика <tex>r</tex> пересчитывается для всех <tex>m!</tex> перестановок значений <tex>y</tex> относительно <tex>x</tex> (или используется аппроксимация [[Метод Монте-Карло|Монте-Карло]]). Полученное эмпирическое распределение позволяет вычислить [[P-значение|p-значение]] без параметрических допущений.
+* '''[[Бутстрэп|Бутстрэп-доверительные интервалы]].''' Вместо преобразования Фишера можно построить интервалы для <tex>\rho</tex> с помощью процентильного или BCa-бутстрэпа, что даёт корректное покрытие даже при отклонениях от нормальности.
-* С помощью коэффициента корреляции можно определить линейную зависимость между величинами, другие взаимосвязи выявляются методами [[Регрессионный анализ|регрессионного анализа]];
+== Ложная корреляция и слабые стороны ==
+[[Image: Correlation.png|300px|thumb| Четыре различных набора данных (Квартет Энскомба), коэффициент корреляции на которых одинаков и равен 0.81]]
-* Необходимо понимать различие понятий "независимость" и "некоррелированность". Из первого следует второе, но не наоборот.
+* '''Неустойчивость к [[выброс (статистика)|выбросам]].''' Коэффициент Пирсона крайне чувствителен к аномальным значениям. Одна точка, сильно отклоняющаяся от основной линии, может кардинально изменить <tex>r</tex> (например, с 0.9 до 0.2 или сменить знак).
+* '''Только линейность.''' <tex>r</tex> измеряет лишь силу линейной связи. Нелинейные зависимости могут давать <tex>r \approx 0</tex> даже при функциональной связи. Всегда следует сопровождать расчёт диаграммой рассеяния.
+* '''Корреляция ≠ [[Причинно-следственная связь|причинность]].''' Наблюдаемая связь может быть следствием влияния третьей (скрытой) переменной, общей для обеих (например, продажи мороженого и солнечные ожоги). Для выявления причинно-следственных связей применяют методы структурного моделирования (DAG), инструментальные переменные.
+* '''Ложная корреляция во [[временной ряд|временных рядах]].''' При анализе зависимых во времени данных даже независимые процессы с [[тренд|трендом]] или сезонностью могут давать высокий <tex>|r|</tex>. Для устранения эффекта применяют ''декорреляцию'': вычисление корреляции для остатков после удаления тренда (методом первых разностей), а также проверку на [[коинтеграция|коинтеграцию]].
-Для того, чтобы выяснить отношение между двумя переменными, часто необходимо избавиться от влияния третьей переменной. Рассмотрим пример 3-х переменных: x,y,z. Исключим влияние переменной z:
+=== Влияние сужения диапазона (Range restriction) ===
+Если выборка не репрезентативна по одной из переменных (например, отобраны только субъекты с высокими значениями <tex>x</tex>), наблюдаемый коэффициент <tex>r</tex> систематически занижается по сравнению с истинным значением в полной популяции. Для скорректированной оценки используется формула (Thorndike, 1949):
+::<tex>r_{\text{corr}} = \frac{r_{\text{obs}}\, \sigma_x^{\text{full}}}{\sqrt{\sigma_x^{2\text{full}} - r_{\text{obs}}^2 (\sigma_x^{2\text{full}} - \sigma_x^{2\text{restricted}})}},</tex>
+где <tex>\sigma_x^{\text{full}}</tex> – стандартное отклонение <tex>x</tex> в генеральной совокупности, а <tex>\sigma_x^{\text{restricted}}</tex> – в усечённой выборке. Коррекция широко применяется в психометрике и эпидемиологии.
-:: <tex>r_{xy \setminus z}=\frac{r_{xy}-r_{xz}r_{yz}}{\sqrt{ \left(\ 1-r_{xz} \right)^2 \left(\ 1-r_{yz} \right)^2}}   </tex>
+== Частная и полу-частичная корреляция ==
+'''[[Частная корреляция|Частный коэффициент корреляции]]''' измеряет линейную связь между двумя переменными при исключении влияния одной или нескольких других переменных. Для трёх переменных <tex>x, y, z</tex> формула имеет вид:
+::<tex>r_{xy \setminus z} = \frac{r_{xy} - r_{xz} r_{yz}}{\sqrt{(1 - r_{xz}^2)(1 - r_{yz}^2)}}.</tex>
+Для случая <tex>k</tex> переменных используется матричное представление. Пусть <tex>R = (r_{ij})</tex> — [[матрица (математика)|корреляционная матрица]]. Частный коэффициент между <tex>i</tex>-й и <tex>j</tex>-й переменными при исключении остальных равен:
+::<tex>r_{ij \setminus \text{rest}} = - \frac{R_{ij}}{\sqrt{R_{ii} R_{jj}}},</tex>
+где <tex>R_{ij} = (-1)^{i+j} M_{ij}</tex> — алгебраическое дополнение в матрице <tex>R</tex>, а <tex>M_{ij}</tex> — [[минор (математика)|главный минор]]. Значения <tex>R_{ii}</tex> и <tex>R_{jj}</tex> для корреляционной матрицы всегда положительны.
-Для исключения влияния большего числа переменных:
+'''Полу-частичная (part) корреляция''' отличается от частной тем, что из <tex>x</tex> исключается влияние <tex>z</tex>, а из <tex>y</tex> – нет (или наоборот). Она характеризует уникальный вклад <tex>x</tex> в объяснение <tex>y</tex> за вычетом доли, общей с <tex>z</tex>:
+::<tex>r_{y(x \setminus z)} = \frac{r_{xy} - r_{xz} r_{yz}}{\sqrt{1 - r_{xz}^2}}.</tex>
+Эта мера востребована в регрессионном анализе при оценке значимости отдельных предикторов.
-:: <tex>r_{ij \setminus vars}=\frac{-R_{ij}}{\sqrt{R_{ii}R_{jj}}}   </tex>
+== Связь с линейной регрессией и множественная корреляция ==
+В модели парной [[линейная регрессия|линейной регрессии]] <tex>y = a + b x + \varepsilon</tex> выборочный коэффициент наклона <tex>b</tex> связан с корреляцией соотношением:
+::<tex>b = r_{xy} \frac{s_y}{s_x},\qquad a = \bar{y} - b \bar{x}.</tex>
+Таким образом, <tex>r_{xy}</tex> – это наклон регрессии при стандартизации обеих переменных (<tex>b^* = r_{xy}</tex>). В [[множественная регрессия|множественной регрессии]] стандартизованные коэффициенты <tex>\beta_j</tex> выражаются через элементы обратной корреляционной матрицы: <tex>\beta_j = -R_{jj}^{-1} R_{jy}</tex>, и они равны частным корреляциям с точностью до масштаба.
-<tex> R_{ij} = (-1)^{i+j}M_{ij} </tex>, где <tex>M_{ij} </tex> - гл. минор матрицы коэффициентов корреляции переменных <tex> R =
+'''Множественный коэффициент корреляции''' <tex>R</tex> характеризует силу связи между зависимой переменной <tex>y</tex> и набором предикторов <tex>{x_1, \dots, x_k}</tex>. Он равен парной корреляции между <tex>y</tex> и её прогнозом <tex>\hat{y}</tex>:
-\begin{pmatrix}
+::<tex>R = \sqrt{1 - \frac{\det R_{\text{full}}}{\det R_{xx}}}.</tex>
-& r_{12} & \dots & r_{1k} \\
+[[Коэффициент детерминации]] <tex>R^2</tex> в множественной модели равен квадрату множественной корреляции (доля дисперсии отклика, объяснённая регрессией).
-r_{21} & 1 & \dots & r_{2k}\\
-\vdots &  &  & \vdots \\
+== Другие коэффициенты корреляции и вычислительная устойчивость ==
-r_{k1} & \dots & \dots & 1
+Помимо коэффициента Пирсона, существуют меры для различных типов данных:
-\end{pmatrix}
+* '''[[Коэффициент корреляции Спирмена]]''' – основан на рангах; инвариантен к монотонным преобразованиям, устойчив к выбросам.
-</tex>;
+* '''[[Коэффициент корреляции Кендалла]]''' – также ранговый, основан на подсчёте конкордантных пар; предпочтителен при малых выборках.
+* '''Точечно-бисериальная корреляция''' – для связи непрерывной и бинарной переменной (частный случай Пирсона, если бинарную переменную закодировать как 0/1).
+* '''Тетрахорическая и полихорическая корреляции''' – оценивают связь между латентными нормальными переменными по наблюдаемым категориальным данным.
+* '''Корреляционное отношение (эта-квадрат)''' – измеряет долю дисперсии зависимой переменной, объяснённую группирующим фактором (нелинейная связь).
+'''Вычислительная устойчивость.''' При расчёте <tex>r</tex> на компьютере возможна потеря точности из-за вычитания близких больших чисел (при центрировании). Рекомендуется использовать двухпроходный алгоритм (сначала вычисление средних, затем центрирование) или метод суммирования с компенсацией (Кахана). В большинстве статистических пакетов эти меры уже реализованы.
+== Практические рекомендации ==
+# '''Визуализация матриц.''' [[Матрица диаграмм рассеяния|Матрица рассеяния (scatterplot matrix)]] и тепловая карта корреляций – стандартные инструменты для первичного анализа. Тепловая карта выявляет кластеры сильно коррелирующих переменных. При визуализации рекомендуется указывать числовые значения <tex>r</tex> или только значимые (с <tex>p < 0.05</tex>).
+# '''[[Мультиколлинеарность|Проверка мультиколлинеарности]].''' В задачах множественной регрессии высокие корреляции между предикторами (<tex>|r| > 0.8</tex>) ведут к неустойчивости оценок. Рассчитывайте VIF (variance inflation factor). Значения VIF > 5–10 сигнализируют о проблеме.
+# '''[[Предобработка данных]].''' Перед расчётом <tex>r</tex> необходимо обработать пропуски и выбросы (использовать межквартильный размах). Для нелинейных связей рассмотрите логарифмирование с последующим расчётом корреляции.
+# '''Проверка предположений и выбросов.''' При отклонениях от нормальности или при наличии выбросов предпочтительнее использовать ранговые корреляции.
+# '''Коррекция на множественные сравнения.''' При вычислении корреляций для многих пар переменных одновременно, применяйте поправку (метод Бонферрони, контроль FDR).
 == Литература ==
+* {{Книга | автор = Кобзарь А. И. | заглавие = Прикладная математическая статистика. Для инженеров и научных работников | место = М. | издательство = Физматлит | год = 2006 | страницы = 571—575 | isbn = 5-9221-0707-0 }}
+* {{Книга | автор = Ширяев А. Н. | заглавие = Вероятность | место = М. | издательство = МЦНМО | год = 2004 | isbn = 5-94057-104-2 }}
+* {{Книга | автор = Anderson, T. W. | заглавие = An Introduction to Multivariate Statistical Analysis (3rd ed.) | издательство = Wiley | год = 2003 | isbn = 978-0471360919 }}
 == См. также ==
+* [[Частная корреляция]]
 * [[Коэффициент корреляции Спирмена]]
 * [[Коэффициент корреляции Кенделла]]
+* [[Множественная регрессия]]
+* [[Ковариационная матрица]]
 == Ссылки ==
 * [http://en.wikipedia.org/wiki/Correlation Корреляция (en.wiki)]
+* [http://ru.wikipedia.org/wiki/%D0%9A%D0%BE%D1%80%D1%80%D0%B5%D0%BB%D1%8F%D1%86%D0%B8%D0%BE%D0%BD%D0%BD%D1%8B%D0%B9_%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7 Корреляционный анализ (ru.wiki)]
-* [http://ru.wikipedia.org/wiki/%D0%9A%D0%BE%D1%80%D1%80%D0%B5%D0%BB%D1%8F%D1%86%D0%B8%D0%BE%D0%BD%D0%BD%D1%8B%D0%B9_%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7 Корреляционный анализ]
-{{stub}}
 [[Категория:Корреляционный анализ|П]]
 [[Категория:Прикладная статистика]]
 [[Категория:Энциклопедия анализа данных]]