Коэффициент корреляции Пирсона

Материал из MachineLearning.

Версия от 10:15, 12 июля 2026; Dmitrii Vishovan (Обсуждение | вклад)

(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)

Содержание

1 Введение и определение
- 1.1 Свойства и границы
2 Частная и полу-частичная корреляция
3 Связь с линейной регрессией и множественная корреляция

Статья написана с использованием LLM Gemini Pro и доработана с привлечением DeepSeek-R1. Проверена участником Dmitrii Vishovan 14:00, 12 июля 2026 (MSD)

Введение и определение

Коэффициент корреляции Пирсона — это показатель в прикладной статистике, характеризующий силу и направленность линейной зависимости между двумя непрерывными случайными величинами. Он представляет собой нормированную ковариацию, что делает его безразмерным и инвариантным к линейным преобразованиям шкал.

Генеральный коэффициент корреляции $\rho_{XY}$ для случайных величин $X, Y$ с конечными вторыми моментами определяется через ковариацию и дисперсию:

$\rho_{XY} = \frac{\operatorname{Cov}(X,Y)}{\sqrt{\operatorname{D}(X)\operatorname{D}(Y)}}.$

Пусть даны две выборки конечного объёма $x^m = (x_1,\dots,x_m)$ и $y^m = (y_1,\dots,y_m)$ . Выборочный коэффициент корреляции Пирсона рассчитывается по формуле:

$r_{xy} = \frac{\sum_{i=1}^{m} (x_i-\bar{x})(y_i-\bar{y})}{\sqrt{\sum_{i=1}^{m} (x_i-\bar{x})^2 \cdot \sum_{i=1}^{m} (y_i-\bar{y})^2}} = \frac{\operatorname{cov}(x,y)}{\sqrt{s_x^2 s_y^2}},$

где $\bar{x}, \bar{y}$ — выборочные средние арифметические, $s_x^2, s_y^2$ — выборочные дисперсии (с делителем $m$ ).

Примечание. При использовании несмещённых оценок дисперсии и ковариации (с делителем $m-1$ ) коэффициент корреляции остаётся неизменным, поскольку коррелирующие масштабирующие множители сокращаются в числителе и знаменателе. Выборочный коэффициент <tex{r_{xy}}</tex> является состоятельной и асимптотически несмещённой оценкой для генерального параметра $\rho_{XY}$ .

Геометрическая интерпретация. Рассмотрим центрированные векторы $\tilde{\mathbf{x}} = (x_1-\bar{x}, \dots, x_m-\bar{x})$ и $\tilde{\mathbf{y}} = (y_1-\bar{y}, \dots, y_m-\bar{y})$ в евклидовом пространстве $\mathbb{R}^m$ . Тогда коэффициент корреляции Пирсона есть в точности косинус угла между этими векторами:

$r_{xy} = \frac{\langle \tilde{\mathbf{x}}, \tilde{\mathbf{y}} \rangle}{\|\tilde{\mathbf{x}}\| \|\tilde{\mathbf{y}}\|} = \cos \theta,$

где $\langle \cdot, \cdot \rangle$ – скалярное произведение, $\|\cdot\|$ – евклидова норма (длина вектора). Такая трактовка наглядно объясняет границы показателя и условия строгой линейной связи ( $\theta = 0$ или $\pi$ ). Она также служит мостом к методам ортогональных проекций, используемым в регрессионном анализе.

Свойства и границы

Коэффициент $r_{xy}$ всегда лежит в отрезке $[-1, 1]$ . Это прямое следствие неравенства Коши–Буняковского для центрированных выборочных векторов:

$\left| \sum_{i=1}^m \tilde{x}_i \tilde{y}_i \right| \le \sqrt{ \sum_{i=1}^m \tilde{x}_i^2 \cdot \sum_{i=1}^m \tilde{y}_i^2 },$

откуда немедленно получаем $|r_{xy}| \le 1$ .

Равенство $|r_{xy}| = 1$ достигается тогда и только тогда, когда векторы функционально зависимы, то есть существует строгая линейная связь $y_i = a + b x_i$ для всех $i$ (при $b>0$ имеем $r=+1$ , при $b<0$ — $r=-1$ ).
Значение $r_{xy} = 0$ указывает на отсутствие линейной зависимости, но не означает полную независимость величин. Переменные могут быть связаны сильной нелинейной закономерностью. Например, для параболической функции $y = x^2$ на симметричном интервале $[-a,a]$ выборочный коэффициент Пирсона будет равен нулю.

Инвариантность. Коэффициент Пирсона не меняется при строго возрастающих линейных преобразованиях каждой из переменных (например, при стандартизации признаков):

$r_{a+bx,\, c+dy} = \operatorname{sgn}(bd)\, r_{xy} \quad (b d \ne 0),$

где функция $\operatorname{sgn}$ определяет направление итоговой связи. Это свойство делает $r</tt> универсальным инструментом для сравнения признаков, измеренных в абсолютно разных шкалах. </li></ul> == Статистическая проверка наличия корреляции == На практике выборочный коэффициент <tex>r</tt> может отличаться от нуля вследствие случайных колебаний. Для проверки его статистической значимости в генеральной совокупности выдвигается [[проверка статистических гипотез|статистическая гипотеза]]. <ul><li> '''Нулевая гипотеза''' <tex>H_0: \rho = 0$ (линейная связь в генеральной совокупности отсутствует).

Альтернативная гипотеза $H_1: \rho \ne 0$ (связь присутствует, критерий двусторонний).

Статистика критерия:

$T = \frac{r_{xy} \sqrt{m-2}}{\sqrt{1 - r_{xy}^2}} \sim t_{m-2}$

При условии, что гипотеза $H_0</tt> верна, а исходные данные имеют двумерное [[нормальное распределение]], данная статистика подчиняется [[распределение Стьюдента|распределению Стьюдента]] с <tex>m-2</tt> степенями свободы. '''Правило принятия решения:''' Нулевая гипотеза отвергается на заданном уровне значимости <tex>\alpha</tt>, если наблюдаемое значение статистики по модулю превышает критический [[квантиль]] распределения Стьюдента: <tex>|T| > t_{1-\alpha/2}(m-2)</tt>. При справедливости нормальных допущений и <tex>\rho=0</tt> выборочный коэффициент имеет плотность бета-распределения, что математически доказывает сходимость преобразованной статистики <tex>T</tt> к закону Стьюдента (классический результат Р. Фишера). === Распределение при <tex>\rho \ne 0$ === Если истинный коэффициент корреляции $\rho \ne 0$ , то в предположении двумерной нормальности точная плотность распределения выборочного коэффициента $r</tt> принимает более сложный вид (Фишер, 1915): </dd><dd><tex>f(r) = \frac{(m-2)\,\Gamma(m-1)}{\sqrt{2\pi}\,\Gamma(m-\tfrac12)} (1-\rho^2)^{(m-1)/2} (1-r^2)^{(m-4)/2} \sum_{k=0}^{\infty} \frac{[2\rho r]^k}{k!} \Gamma^2\left(\frac{m-1+k}{2}\right),$

где $\Gamma</tt> — гамма-функция. Для практических расчетов больших выборок используют свойства асимптотической нормальности параметров математического ожидания и дисперсии случайной величины. === Доверительные интервалы для <tex>\rho$ === Построение надежных доверительных интервалов выполняют с помощью стабилизирующего дисперсию z-преобразования Фишера:

$z = \frac12 \ln \frac{1+r}{1-r} = \operatorname{arctanh}(r).$

При росте объема данных случайная величина $z</tt> быстро сходится к нормальному закону со средним <tex>\frac12 \ln \frac{1+\rho}{1-\rho}</tt> и стандартной ошибкой <tex>SE = 1/\sqrt{m-3}</tt>. Это позволяет рассчитать границы интервала в шкале <tex>z</tt>, а затем пересчитать их обратно через гиперболический тангенс <tex>\rho = \tanh(z)</tt>. </dd></dl> </dd></dl> === Альтернативные процедуры проверки значимости === <ul><li> '''Пермутационный тест''' (перестановочный критерий). Применяется, когда закон распределения данных далек от нормального. Нулевая гипотеза о некоррелированности приравнивается к независимости. Значения одной из выборок многократно перемешиваются, формируя эмпирическое распределение, по которому оценивается точное значении <tex>p</tt>-value. </li><li> '''Бутстрэп-интервалы'''. Построение интервальных оценок методом процентильного или BCa-[[bootstrap (статистика)|бутстрэпа]] позволяет получить корректное покрытие распределения признаков без жестких параметрических допущений. </li></ul> == Ложная корреляция и слабые стороны == [[Image: Correlation.png|300px|thumb| Четыре различных набора данных (Квартет Энскомба), коэффициент корреляции на которых одинаков и равен 0.81]] <ul><li> '''Неустойчивость к выбросам.''' Коэффициент Пирсона крайне чувствителен к аномалиям в данных. Наличие единичного резкого [[выброс|выброса]] способно исказить значение <tex>r</tt>, искусственно завысив его или изменив знак связи. В таких условиях применяют устойчивые меры (процентный коэффициент) или ранговые методы. </li><li> '''Ограничение линейностью.''' Метод фиксирует исключительно силу линейного тренда. Любые сложные U-образные, квадратичные или периодические паттерны будут пропущены. Расчет числового коэффициента всегда должен сопровождаться [[визуализация|визуализацией данных]] на диаграмме рассеяния. </li><li> '''Независимость и некоррелированность.''' Необходимо четко разделять эти статистические понятия. Из полной независимости величин гарантированно вытекает их некоррелированность, однако обратное утверждение неверно. </li><li> '''Ложная корреляция (ковариация под влиянием третьего фактора).''' Наличие сильной связи не означает причинно-следственную обусловленность. Переменные могут координироваться скрытым общим предиктором (например, статистика продаж кондиционеров и прохладительных напитков растет из-за жары). Для дифференциации каузальности строят [[причинное машинное обучение|структурные каузальные модели (DAG)]]. </li><li> '''Эффект автокорреляции в данных рядов.''' При анализе [[временной ряд|временных рядов]] наличие внутренних временных трендов приводит к ложновысоким показателям связи. Для корректного вычисления требуется предварительная декорреляция остатков (например, через взятие первых разностей). </li><li> '''Сужение диапазона (Range restriction).''' Если [[выборка|выборка данных]] искусственно урезана по одной из осей (например, исследуется зависимость только среди высокорослых людей), наблюдаемый коэффициент Пирсона будет смещен в сторону занижения. Для исправления этой системной ошибки применяют формулу Торндайка: </li></ul> <dl><dd><dl><dd><tex>r_{\text{corr}} = \frac{r_{\text{obs}}\, \sigma_x^{\text{full}}}{\sqrt{\sigma_x^{2\text{full}} - r_{\text{obs}}^2 (\sigma_x^{2\text{full}} - \sigma_x^{2\text{restricted}})}}.$

Частная и полу-частичная корреляция

Частный коэффициент корреляции оценивает чистую линейную связь между переменными $x</tt> и <tex>y</tt>, полностью исключая (фиксируя) математическое влияние третьей переменной <tex>z</tt>: </dd><dd><tex>r_{xy \setminus z} = \frac{r_{xy} - r_{xz} r_{yz}}{\sqrt{(1 - r_{xz}^2)(1 - r_{yz}^2)}}.$

Если требуется исключить влияние многомерного вектора признаков, используют аппарат матричного анализа. Через корреляционную матрицу $R = (r_{ij})</tt> частный коэффициент выражается как: </dd><dd><tex>r_{ij \setminus \text{rest}} = - \frac{R_{ij}}{\sqrt{R_{ii} R_{jj}}},$

где $R_{ij}</tt> — алгебраическое дополнение (кофактор), рассчитанное через главный минор <tex>M_{ij}</tt> путем вычеркивания строк и столбцов матрицы. В случае многомерного нормального закона это эквивалентно расчету ковариационной матрицы условного распределения случайных величин. </dd></dl> </dd></dl> '''Полу-частичная (part) корреляция''' отличается от частной тем, что дисперсия переменной <tex>z</tt> вычитается только из одного целевого признака (например, только из <tex>x</tt>). Она демонстрирует уникальный вклад конкретного предиктора в дисперсию отклика: <dl><dd><dl><dd><tex>r_{y(x \setminus z)} = \frac{r_{xy} - r_{xz} r_{yz}}{\sqrt{1 - r_{xz}^2}}.$

Эта мера является базовым аналитическим инструментом в задачах инженерии признаков и отбора признаков (feature selection).

Связь с линейной регрессией и множественная корреляция

В рамках построения классической парной линейной регрессии $y = a + b x + \varepsilon</tt> коэффициент корреляции Пирсона напрямую определяет оценку наклона линии регрессии <tex>b</tt>: </dd><dd><tex>b = r_{xy} \frac{s_y}{s_x},\qquad a = \bar{y} - b \bar{x}.$

Если перевести обе переменные в стандартизированный вид (с нулевым средним и единичной дисперсией), то коэффициент наклона регрессионной модели будет в точности равен выборочному коэффициенту Пирсона ( $\beta = r_{xy}</tt>). </dd></dl> </dd></dl> '''Множественный коэффициент корреляции''' <tex>R</tt> обобщает парный показатель на случай анализа целого набора признаков-предикторов <tex>\{x_1, \dots, x_k\}</tt>. Он вычисляется как парная корреляция Пирсона между реальным откликом <tex>y</tt> и его модельным прогнозом <tex>\hat{y}</tt>: <dl><dd><dl><dd><tex>R = \sqrt{1 - \frac{\det R_{\text{full}}}{\det R_{xx}}}.$

Квадрат этого значения ( $R^2</tt>) представляет собой [[коэффициент детерминации|коэффициент детерминации множественной регрессии]], отражающий долю объясненной моделью [[дисперсия|дисперсии]]. == Другие коэффициенты корреляции и вычислительная устойчивость == В зависимости от типа исследуемых [[данные|данных]] применяются альтернативные [[метрики качества в машинном обучении|метрики связи]]: <ul><li> '''[[Коэффициент корреляции Спирмена]]''' — непараметрическая ранговая мера, оценивающая монотонные связи и устойчивая к выбросам. </li><li> '''[[Коэффициент корреляции Кенделла]]''' — ранговый показатель, базирующийся на подсчете инверсий и конкордантных пар, эффективный на малых выборках. </li><li> '''Точечно-бисериальная корреляция''' — применяется для оценки связи между непрерывным распределением и строго бинарным признаком (эквивалентен Пирсону при кодировании 0/1). </li><li> '''Тетрахорическая корреляция''' — используется для анализа связи скрытых непрерывных величин по наблюдаемым дихотомическим признакам. </li><li> '''Корреляционное отношение (эта-квадрат)''' — универсальный нелинейный индикатор, оценивающий долю межгрупповой дисперсии. </li></ul> '''Вычислительная устойчивость.''' При программной реализации вычисления формулы Пирсона на ЭВМ возможна катастрофическая потеря точности из-за феномена округления при вычитании близких по величине больших чисел (в момент центрирования). Чтобы избежать вычислительных артефактов в алгоритмах [[машинное обучение|машинного обучения]], применяют двухпроходные схемы расчета среднего или метод компенсационного суммирования Кахана. == Практические рекомендации == <ol><li> '''Визуальный анализ матриц.''' Перед расчетом коэффициентов критически важно построить матрицу рассеяния (scatterplot matrix) и тепловую карту корреляций. Это позволяет оперативно выявить кластерную структуру, аномалии и явную нелинейность. На тепловых картах принято визуализировать исключительно статистически значимые коэффициенты (с уровнем <tex>p < 0.05</tt>). </li><li> '''Контроль мультиколлинеарности.''' В многомерных линейных моделях высокая взаимная корреляция признаков (<tex>|r| > 0.8</tt>) провоцирует неустойчивость матричных решений. Рекомендуется отслеживать фактор инфляции дисперсии — VIF. Значения VIF > 5–10 свидетельствуют о наличии острой [[мультиколлинеарность|мультиколлинеарности]] и требуют исключения дублирующих предикторов. </li><li> '''Предобработка признаков.''' До запуска расчетов необходимо провести [[предобработка данных|предобработку данных]]: изолировать или обработать пропуски, отсечь аномальные выбросы по методу межквартильного расстояния (IQR), а при обнаружении экспоненциальных зависимостей применить логарифмирование для перевода связей в линейный базис. </li><li> '''Учет множественного тестирования.''' Если корреляционная матрица рассчитывается одновременно для сотен признаков, резко возрастает вероятность ложноположительных находок. Обязательно внедрение процедур коррекции на множественные сравнения (поправка Бонферрони или контроль уровня ложных отклонений FDR). </li></ol> == Литература == <ul><li> {{Книга | автор = Кобзарь А. И. | заглавие = Прикладная математическая статистика. Для инженеров и научных работников | место = М. | издательство = Физматлит | год = 2006 | страницы = 571—575 | isbn = 5-9221-0707-0 }} </li><li> {{Книга | автор = Ширяев А. Н. | заглавие = Вероятность | место = М. | издательство = МЦНМО | год = 2004 | isbn = 5-94057-104-2 }} </li><li> {{Книга | автор = Anderson, T. W. | заглавие = An Introduction to Multivariate Statistical Analysis (3rd ed.) | издательство = Wiley | год = 2003 | isbn = 978-0471360919 }} </li></ul> == См. также == <ul><li> [[Частная корреляция]] </li><li> [[Коэффициент корреляции Спирмена]] </li><li> [[Коэффициент корреляции Кенделла]] </li><li> [[Линейная регрессия]] </li><li> [[Ковариационная матрица]] </li></ul> == Ссылки == <ul><li> [http://en.wikipedia.org/wiki/Correlation Корреляция (en.wiki)] </li><li> [http://ru.wikipedia.org/wiki/%D0%9A%D0%BE%D1%80%D1%80%D0%B5%D0%BB%D1%8F%D1%86%D0%B8%D0%BE%D0%BD%D0%BD%D1%8B%D0%B9_%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7 Корреляционный анализ (ru.wiki)] </li></ul> [[Категория:Корреляционный анализ|П]] [[Категория:Прикладная статистика]] [[Категория:Энциклопедия анализа данных]]$

Источник — «http://www.machinelearning.ru/wiki/index.php?title=%D0%9A%D0%BE%D1%8D%D1%84%D1%84%D0%B8%D1%86%D0%B8%D0%B5%D0%BD%D1%82_%D0%BA%D0%BE%D1%80%D1%80%D0%B5%D0%BB%D1%8F%D1%86%D0%B8%D0%B8_%D0%9F%D0%B8%D1%80%D1%81%D0%BE%D0%BD%D0%B0»

Коэффициент корреляции Пирсона

Материал из MachineLearning.

Содержание

Введение и определение

Свойства и границы

Частная и полу-частичная корреляция

Связь с линейной регрессией и множественная корреляция

Просмотры

Личные инструменты

Навигация

Поиск

Инструменты