Коэффициент корреляции Пирсона

Материал из MachineLearning.

Перейти к: навигация, поиск

Содержание

Статья написана с использованием LLM Gemini Pro и доработана с привлечением DeepSeek-R1. Проверена участником Dmitrii Vishovan 14:00, 12 июля 2026 (MSD)


Введение и определение

Коэффициент корреляции Пирсона — это статистический показатель, характеризующий силу и направленность линейной зависимости между двумя непрерывными случайными величинами. Он представляет собой нормированную ковариацию, что делает его безразмерным и инвариантным к линейным преобразованиям шкал.

Генеральный коэффициент корреляции \rho_{XY} для случайных величин X, Y с конечными вторыми моментами определяется как:

\rho_{XY} = \frac{\operatorname{Cov}(X,Y)}{\sqrt{\operatorname{D}(X)\operatorname{D}(Y)}}.

Пусть даны две выборки конечного объёма x^m = (x_1,\dots,x_m) и y^m = (y_1,\dots,y_m). Выборочный коэффициент корреляции Пирсона рассчитывается по формуле:

r_{xy} = \frac{\sum_{i=1}^{m} (x_i-\bar{x})(y_i-\bar{y})}{\sqrt{\sum_{i=1}^{m} (x_i-\bar{x})^2 \cdot \sum_{i=1}^{m} (y_i-\bar{y})^2}} = \frac{\operatorname{cov}(x,y)}{\sqrt{s_x^2 s_y^2}},

где \bar{x}, \bar{y} — выборочные средние, s_x^2, s_y^2 — выборочные дисперсии (с делителем m).

Примечание. При использовании несмещённых оценок дисперсии и ковариации (с делителем m-1) коэффициент корреляции остаётся неизменным, поскольку множители 1/m и 1/(m-1) сокращаются в числителе и знаменателе. Выборочный коэффициент r_{xy} является состоятельной (при m \to \infty) и (при нормальности) асимптотически несмещённой оценкой для \rho_{XY}.

Геометрическая интерпретация. Рассмотрим центрированные векторы \tilde{\mathbf{x}} = (x_1-\bar{x}, \dots, x_m-\bar{x}) и \tilde{\mathbf{y}} = (y_1-\bar{y}, \dots, y_m-\bar{y}) в евклидовом пространстве \mathbb{R}^m. Тогда коэффициент корреляции Пирсона есть в точности косинус угла между этими векторами:

r_{xy} = \frac{\langle \tilde{\mathbf{x}}, \tilde{\mathbf{y}} \rangle}{\|\tilde{\mathbf{x}}\| \|\tilde{\mathbf{y}}\|} = \cos \theta,

где \langle \cdot, \cdot \rangle – скалярное произведение, \|\cdot\| – евклидова норма. Такая трактовка наглядно объясняет границы [-1, 1] и условие линейной зависимости (\theta = 0 или \pi). Она также служит мостом к методам ортогональных проекций в регрессионном анализе.

Свойства и границы

Коэффициент r_{xy} всегда лежит в отрезке [-1, 1]. Это прямое следствие неравенства Коши–Буняковского для центрированных векторов \tilde{x}_i = x_i - \bar{x}, \tilde{y}_i = y_i - \bar{y}:

\left| \sum_{i=1}^m \tilde{x}_i \tilde{y}_i \right| \le \sqrt{ \sum_{i=1}^m \tilde{x}_i^2 \cdot \sum_{i=1}^m \tilde{y}_i^2 },

откуда немедленно получаем |r_{xy}| \le 1. Равенство |r_{xy}| = 1 достигается тогда и только тогда, когда векторы \tilde{x} и \tilde{y} линейно зависимы, то есть существует строгая линейная связь y_i = a + b x_i для всех i (при b>0 имеем r=+1, при b<0 — r=-1). Значение r_{xy} = 0 указывает на отсутствие линейной зависимости, но не исключает наличия нелинейной закономерности.

Инвариантность. Коэффициент Пирсона не меняется при строго возрастающих линейных преобразованиях каждой из переменных:

r_{a+bx,\, c+dy} = \operatorname{sgn}(bd)\, r_{xy} \quad (b d \ne 0),

где знак b d определяет направление корреляции. Это свойство делает r удобным для сравнения связей в разных шкалах измерения.

Статистическая проверка наличия корреляции

На практике выборочный r может отличаться от нуля случайно. Для проверки гипотезы об отсутствии корреляции в генеральной совокупности используют статистические критерии.

Нулевая гипотеза H_0: \rho = 0 (истинный коэффициент корреляции равен нулю). Альтернативная гипотеза H_1: \rho \ne 0 (двусторонняя); возможны также односторонние альтернативы, если направление связи известно априори. Статистика критерия:

T = \frac{r_{xy} \sqrt{m-2}}{\sqrt{1 - r_{xy}^2}} \sim t_{m-2}

при условии, что H_0 верна и данные имеют двумерное нормальное распределение. Здесь t_{m-2} — распределение Стьюдента с m-2 степенями свободы.

Правило принятия решения: H_0 отвергается на уровне значимости \alpha, если |T| > t_{1-\alpha/2}(m-2), где t_{1-\alpha/2} — квантиль распределения Стьюдента. При нормальности выборки и \rho=0 выборочный коэффициент r имеет плотность f(r) = \frac{1}{\mathrm{B}(1/2, (m-2)/2)} (1-r^2)^{(m-4)/2}. Преобразование в T даёт плотность Стьюдента с m-2 степенями свободы (классический результат Фишера).

Распределение при \rho \ne 0

В предположении двумерной нормальности плотность выборочного коэффициента корреляции r имеет вид (Фишер, 1915):

f(r) = \frac{(m-2)\,\Gamma(m-1)}{\sqrt{2\pi}\,\Gamma(m-\tfrac12)} (1-\rho^2)^{(m-1)/2} (1-r^2)^{(m-4)/2} \sum_{k=0}^{\infty} \frac{[2\rho r]^k}{k!} \Gamma^2\left(\frac{m-1+k}{2}\right),

что при \rho=0 сводится к ранее приведённой бета-плотности. Для практических целей часто используют асимптотическую нормальность r с математическим ожиданием \rho - \frac{\rho(1-\rho^2)}{2(m-1)} + O(m^{-2}) и дисперсией (1-\rho^2)^2/(m-1) + O(m^{-2}).

Доверительные интервалы для \rho

Построение доверительного интервала удобно выполнять с помощью z-преобразования Фишера, которое стабилизирует дисперсию и ускоряет сходимость к нормальному закону:

z = \frac12 \ln \frac{1+r}{1-r} = \operatorname{arctanh}(r).

При больших m величина z приближённо нормальна со средним \frac12 \ln \frac{1+\rho}{1-\rho} и стандартным отклонением SE = 1/\sqrt{m-3}. Это позволяет построить доверительный интервал для z, а затем применить обратное преобразование \rho = \tanh(z).

Альтернативные процедуры проверки значимости

  • Пермутационный тест. Когда предположение о нормальности сомнительно, можно использовать перестановочный критерий. Статистика r пересчитывается для всех m! перестановок значений y относительно x (или используется аппроксимация Монте-Карло). Полученное эмпирическое распределение позволяет вычислить p-значение без параметрических допущений.
  • Бутстрэп-доверительные интервалы. Вместо преобразования Фишера можно построить интервалы для \rho с помощью процентильного или BCa-бутстрэпа, что даёт корректное покрытие даже при отклонениях от нормальности.

Ложная корреляция и слабые стороны

Четыре различных набора данных (Квартет Энскомба), коэффициент корреляции на которых одинаков и равен 0.81
Четыре различных набора данных (Квартет Энскомба), коэффициент корреляции на которых одинаков и равен 0.81
  • Неустойчивость к выбросам. Коэффициент Пирсона крайне чувствителен к аномальным значениям. Одна точка, сильно отклоняющаяся от основной линии, может кардинально изменить r (например, с 0.9 до 0.2 или сменить знак).
  • Только линейность. r измеряет лишь силу линейной связи. Нелинейные зависимости могут давать r \approx 0 даже при функциональной связи. Всегда следует сопровождать расчёт диаграммой рассеяния.
  • Корреляция ≠ причинность. Наблюдаемая связь может быть следствием влияния третьей (скрытой) переменной, общей для обеих (например, продажи мороженого и солнечные ожоги). Для выявления причинно-следственных связей применяют методы структурного моделирования (DAG), инструментальные переменные.
  • Ложная корреляция во временных рядах. При анализе зависимых во времени данных даже независимые процессы с трендом или сезонностью могут давать высокий |r|. Для устранения эффекта применяют декорреляцию: вычисление корреляции для остатков после удаления тренда (методом первых разностей), а также проверку на коинтеграцию.

Влияние сужения диапазона (Range restriction)

Если выборка не репрезентативна по одной из переменных (например, отобраны только субъекты с высокими значениями x), наблюдаемый коэффициент r систематически занижается по сравнению с истинным значением в полной популяции. Для скорректированной оценки используется формула (Thorndike, 1949):

r_{\text{corr}} = \frac{r_{\text{obs}}\, \sigma_x^{\text{full}}}{\sqrt{\sigma_x^{2\text{full}} - r_{\text{obs}}^2 (\sigma_x^{2\text{full}} - \sigma_x^{2\text{restricted}})}},

где \sigma_x^{\text{full}} – стандартное отклонение x в генеральной совокупности, а \sigma_x^{\text{restricted}} – в усечённой выборке. Коррекция широко применяется в психометрике и эпидемиологии.

Частная и полу-частичная корреляция

Частный коэффициент корреляции измеряет линейную связь между двумя переменными при исключении влияния одной или нескольких других переменных. Для трёх переменных x, y, z формула имеет вид:

r_{xy \setminus z} = \frac{r_{xy} - r_{xz} r_{yz}}{\sqrt{(1 - r_{xz}^2)(1 - r_{yz}^2)}}.

Для случая k переменных используется матричное представление. Пусть R = (r_{ij}) — корреляционная матрица. Частный коэффициент между i-й и j-й переменными при исключении остальных равен:

r_{ij \setminus \text{rest}} = - \frac{R_{ij}}{\sqrt{R_{ii} R_{jj}}},

где R_{ij} = (-1)^{i+j} M_{ij} — алгебраическое дополнение в матрице R, а M_{ij} — главный минор. Значения R_{ii} и R_{jj} для корреляционной матрицы всегда положительны.

Полу-частичная (part) корреляция отличается от частной тем, что из x исключается влияние z, а из y – нет (или наоборот). Она характеризует уникальный вклад x в объяснение y за вычетом доли, общей с z:

r_{y(x \setminus z)} = \frac{r_{xy} - r_{xz} r_{yz}}{\sqrt{1 - r_{xz}^2}}.

Эта мера востребована в регрессионном анализе при оценке значимости отдельных предикторов.

Связь с линейной регрессией и множественная корреляция

В модели парной линейной регрессии y = a + b x + \varepsilon выборочный коэффициент наклона b связан с корреляцией соотношением:

b = r_{xy} \frac{s_y}{s_x},\qquad a = \bar{y} - b \bar{x}.

Таким образом, r_{xy} – это наклон регрессии при стандартизации обеих переменных (b^* = r_{xy}). В множественной регрессии стандартизованные коэффициенты \beta_j выражаются через элементы обратной корреляционной матрицы: \beta_j = -R_{jj}^{-1} R_{jy}, и они равны частным корреляциям с точностью до масштаба.

Множественный коэффициент корреляции R характеризует силу связи между зависимой переменной y и набором предикторов {x_1, \dots, x_k}. Он равен парной корреляции между y и её прогнозом \hat{y}:

R = \sqrt{1 - \frac{\det R_{\text{full}}}{\det R_{xx}}}.

Коэффициент детерминации R^2 в множественной модели равен квадрату множественной корреляции (доля дисперсии отклика, объяснённая регрессией).

Другие коэффициенты корреляции и вычислительная устойчивость

Помимо коэффициента Пирсона, существуют меры для различных типов данных:

  • Коэффициент Спирмена – основан на рангах; инвариантен к монотонным преобразованиям, устойчив к выбросам.
  • Коэффициент Кендалла – также ранговый, основан на подсчёте конкордантных пар; предпочтителен при малых выборках.
  • Точечно-бисериальная корреляция – для связи непрерывной и бинарной переменной (частный случай Пирсона, если бинарную переменную закодировать как 0/1).
  • Тетрахорическая и полихорическая корреляции – оценивают связь между латентными нормальными переменными по наблюдаемым категориальным данным.
  • Корреляционное отношение (эта-квадрат) – измеряет долю дисперсии зависимой переменной, объяснённую группирующим фактором (нелинейная связь).

Вычислительная устойчивость. При расчёте r на компьютере возможна потеря точности из-за вычитания близких больших чисел (при центрировании). Рекомендуется использовать двухпроходный алгоритм (сначала вычисление средних, затем центрирование) или метод суммирования с компенсацией (Кахана). В большинстве статистических пакетов эти меры уже реализованы.

Практические рекомендации

  1. Визуализация матриц. Матрица рассеяния (scatterplot matrix) и тепловая карта корреляций – стандартные инструменты для первичного анализа. Тепловая карта выявляет кластеры сильно коррелирующих переменных. При визуализации рекомендуется указывать числовые значения r или только значимые (с p < 0.05).
  2. Проверка мультиколлинеарности. В задачах множественной регрессии высокие корреляции между предикторами (|r| > 0.8) ведут к неустойчивости оценок. Рассчитывайте VIF (variance inflation factor). Значения VIF > 5–10 сигнализируют о проблеме.
  3. Предобработка данных. Перед расчётом r необходимо обработать пропуски и выбросы (использовать межквартильный размах). Для нелинейных связей рассмотрите логарифмирование с последующим расчётом корреляции.
  4. Проверка предположений и выбросов. При отклонениях от нормальности или при наличии выбросов предпочтительнее использовать ранговые корреляции.
  5. Коррекция на множественные сравнения. При вычислении корреляций для многих пар переменных одновременно, применяйте поправку (метод Бонферрони, контроль FDR).

Литература

  • Кобзарь А. И. Прикладная математическая статистика. Для инженеров и научных работников. — М.: Физматлит, 2006. — С. 571—575. — ISBN 5-9221-0707-0
  • Ширяев А. Н. Вероятность. — М.: МЦНМО, 2004. — ISBN 5-94057-104-2
  • Anderson, T. W. An Introduction to Multivariate Statistical Analysis (3rd ed.). — Wiley, 2003. — ISBN 978-0471360919

См. также

Ссылки

Источник — «http://www.machinelearning.ru/wiki/index.php?title=%D0%9A%D0%BE%D1%8D%D1%84%D1%84%D0%B8%D1%86%D0%B8%D0%B5%D0%BD%D1%82_%D0%BA%D0%BE%D1%80%D1%80%D0%B5%D0%BB%D1%8F%D1%86%D0%B8%D0%B8_%D0%9F%D0%B8%D1%80%D1%81%D0%BE%D0%BD%D0%B0»
Личные инструменты