Расстояние полной вариации

Материал из MachineLearning.

Версия от 21:44, 18 июля 2026; Nikita Elкhin (Обсуждение | вклад)

(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)

Расстояние полной вариации (англ. total variation distance) — одна из фундаментальных метрик в теории вероятностей и математической статистике, определяющая степень различия между двумя распределениями вероятностей^[1]. В задачах машинного обучения и анализа данных эта мера используется для сравнения генеративных моделей, оценки сдвига распределения (distribution shift), а также в задачах аналитики конфиденциальности и проверки справедливости алгоритмов.

Содержание

1 Определение
2 Свойства
3 Связь с другими мерами расхождения
4 Оценка расстояния полной вариации
- 4.1 Дискриминативный подход
- 4.2 Оценка по выборкам
5 Применения в машинном обучении
6 Вычислительные аспекты
7 См. также
8 Примечания

Определение

Пусть $(\Omega, \mathcal{F})$ — измеримое пространство, а $P$ и $Q$ — вероятностные меры, заданные на этом пространстве. Расстоянием полной вариации между $P$ и $Q$ называется величина

$\delta(P, Q) = \sup_{A \in \mathcal{F}} |P(A) - Q(A)|.$

Иными словами, это максимальная абсолютная разность вероятностей, которые распределения $P$ и $Q$ приписывают одному и тому же событию $A$ .

Для дискретных распределений с функциями вероятности $p(x)$ и $q(x)$ , заданными на одном и том же конечном или счётном множестве $\mathcal{X}$ , расстояние полной вариации принимает вид

$\delta(P, Q) = \frac{1}{2} \sum_{x \in \mathcal{X}} |p(x) - q(x)|.$

Для абсолютно непрерывных распределений с плотностями $p(x)$ и $q(x)$ относительно некоторой меры $\mu$ (например, меры Лебега) определение записывается как

$\delta(P, Q) = \frac{1}{2} \int |p(x) - q(x)| \, d\mu(x).$

Коэффициент $1/2$ гарантирует, что расстояние принимает значения на отрезке $[0, 1]$ . Равенство $\delta(P, Q) = 0$ достигается тогда и только тогда, когда распределения $P$ и $Q$ совпадают (как меры). Значение $\delta(P, Q) = 1$ соответствует случаю, когда носители распределений не пересекаются.

Расстояние полной вариации также может быть выражено через $L_1$ -норму разности распределений:

$\delta(P, Q) = \frac{1}{2} \|P - Q\|_1.$

В дискретном случае $\|P - Q\|_1 = \sum_{x} |p(x) - q(x)|$ .

Свойства

Расстояние полной вариации обладает рядом свойств, делающих его удобным инструментом в теории вероятностей и машинном обучении^[1].

Метрика. Расстояние полной вариации является метрикой на пространстве вероятностных распределений: оно неотрицательно, симметрично $\delta(P, Q) = \delta(Q, P)$ , удовлетворяет неравенству треугольника $\delta(P, R) \le \delta(P, Q) + \delta(Q, R)$ и обращается в ноль только при $P = Q$ .

Ограниченность. Для любых распределений $P$ и $Q$ выполнено $0 \le \delta(P, Q) \le 1$ .

Инвариантность относительно биекций. Если $T: \Omega \to \Omega$ — измеримая биекция, то $\delta(P \circ T^{-1}, Q \circ T^{-1}) = \delta(P, Q)$ .

Представление через $f$ -дивергенции. Расстояние полной вариации является частным случаем [[ $f$ -дивергенция| $f$ -дивергенции]] при $f(t) = \frac{1}{2}|t - 1|$ . Также оно относится к классу интегральных вероятностных метрик (integral probability metrics).

Свойство композиции. Пусть $f: \mathcal{X}^n \to \mathcal{Y}$ — произвольная функция. Если заменить одну из компонент $g_2$ на $g_2'$ так, что $\delta(g_2, g_2') \le \varepsilon$ , то расстояние между $f(g_1, g_2, \dots, g_n)$ и $f(g_1, g_2', \dots, g_n)$ не превосходит $\varepsilon$ . Это свойство оказывается полезным при анализе устойчивости сложных моделей.

Связь с другими мерами расхождения

Неравенство Пинскера

Расстояние полной вариации связано с расходимостью Кульбака — Лейблера $D_{\mathrm{KL}}(P \parallel Q)$ через неравенство Пинскера (Pinsker's inequality)^[1]:

$\delta(P, Q) \le \sqrt{\frac{1}{2} D_{\mathrm{KL}}(P \parallel Q)}.$

В терминах $L_1$ -нормы это неравенство записывается как

$\|P - Q\|_1 \le \sqrt{2 D_{\mathrm{KL}}(P \parallel Q)}.$

Неравенство Пинскера позволяет оценивать расстояние полной вариации через расходимость Кульбака — Лейблера, которая часто оказывается более удобной для аналитических вычислений. Однако обратная оценка в общем случае неверна: расходимость Кульбака — Лейблера может быть неограниченно большой даже при малом расстоянии полной вариации.

Неравенство Бретаньоля — Юбера

Более сильная оценка, имеющая преимущество в случаях, когда $D_{\mathrm{KL}}(P \parallel Q) > 2$ , даётся неравенством Бретаньоля — Юбера (Bretagnolle–Huber inequality)^[1]:

$\delta(P, Q) \le \sqrt{1 - e^{-D_{\mathrm{KL}}(P \parallel Q)}}.$

Сравнение с расстоянием Хеллингера

Расстояние полной вариации также связано с расстоянием Хеллингера $H(P, Q)$ . Для любых распределений $P$ и $Q$ выполнены неравенства:

$H^2(P, Q) \le \delta(P, Q) \le \sqrt{2} H(P, Q).$

Оценка расстояния полной вариации

На практике точное вычисление расстояния полной вариации между распределениями часто невозможно, поскольку распределения известны лишь по выборкам или имеют сложную параметрическую структуру. В связи с этим разработаны различные подходы к оценке $\delta(P, Q)$ .

Дискриминативный подход

Один из эффективных методов оценки расстояния полной вариации основан на связи этой метрики с байесовским риском классификации^[1]. Пусть имеются выборки из распределений $P$ и $Q$ . Рассмотрим задачу бинарной классификации, в которой объекты из $P$ относятся к классу 0, а объекты из $Q$ — к классу 1. Тогда байесовский риск $R^*$ (минимальная достижимая вероятность ошибки) связан с расстоянием полной вариации соотношением

$\delta(P, Q) = 1 - 2 R^*.$

Таким образом, оценка расстояния полной вариации сводится к оценке байесовского риска, которую можно выполнять с помощью обученного классификатора. Этот подход особенно привлекателен в высокоразмерных задачах, где прямое оценивание плотностей затруднительно.

Оценка по выборкам

Для дискретных распределений с конечным носителем естественная оценка расстояния полной вариации получается подстановкой эмпирических частот:

$\hat{\delta}(P, Q) = \frac{1}{2} \sum_{x \in \mathcal{X}} |\hat{p}(x) - \hat{q}(x)|,$

где $\hat{p}(x)$ и $\hat{q}(x)$ — эмпирические оценки вероятностей. Для распределений на больших или бесконечных множествах требуются более сложные методы, включая ядерное оценивание плотности или использование скользящего контроля (cross-validation) при дискриминативном подходе.

Применения в машинном обучении

Оценка качества генеративных моделей

Расстояние полной вариации широко используется для оценки качества генеративно-состязательных сетей (GAN) и других генеративных моделей. В этой задаче требуется измерить, насколько распределение сгенерированных данных $P_{\text{gen}}$ близко к распределению реальных данных $P_{\text{real}}$ . Расстояние полной вариации даёт интерпретируемую меру различия: например, значение $\delta = 0.1$ означает, что существует событие, вероятность которого в реальном и сгенерированном распределениях отличается не более чем на 10%.

Дискриминативные методы оценки $\delta(P_{\text{real}}, P_{\text{gen}})$ позволяют ранжировать генеративные модели по качеству синтезируемых данных, в том числе для многомерных изображений, таких как MNIST.

Выявление сдвига распределения

В задачах обнаружения сдвига распределения (distribution shift detection) расстояние полной вариации применяется для мониторинга изменений в распределении данных с течением времени или между различными источниками. В федеративном обучении (federated learning) расстояние полной вариации используется для оценки разнородности данных на различных клиентских узлах. Эффективные алгоритмы потоковой оценки $\delta$ позволяют обрабатывать данные в реальном времени при ограниченных вычислительных ресурсах.

Оценка неопределённости в классификации

В задачах многоклассовой классификации расстояние полной вариации между предсказанным распределением $P_{\text{pred}}$ и одно-hot-вектором истинного класса позволяет количественно оценивать алеаторную неопределённость (aleatoric uncertainty) модели. В отличие от энтропийных мер, расстояние полной вариации имеет чёткую вероятностную интерпретацию и остаётся вычислительно эффективным даже для большого числа классов.

Сравнение с альтернативными метриками

По сравнению с расходимостью Кульбака — Лейблера, расстояние полной вариации обладает преимуществом симметричности и ограниченности. В отличие от расстояния Вассерштейна, оно не учитывает геометрическую структуру пространства, что в одних случаях является недостатком, а в других — полезным упрощением. В задачах обучения представлений (representation learning) расстояние полной вариации в сочетании с подходящими ядрами показывает результаты, превосходящие подходы, основанные на расходимости Кульбака — Лейблера.

Аудит конфиденциальности

В аудите конфиденциальности (privacy auditing) расстояние полной вариации используется для измерения утечки информации из алгоритмов дифференциально приватного обучения^[1]. Максимальное различие вероятностей, которое может достичь противник при различении двух соседних наборов данных, непосредственно выражается через расстояние полной вариации между соответствующими выходными распределениями алгоритма.

Вычислительные аспекты

Точное вычисление расстояния полной вариации для сложных распределений может быть вычислительно трудной задачей. В частности, показано, что аддитивное приближение расстояния полной вариации между распределениями, заданными булевыми схемами, является сложной задачей^[1]. Для моделей Изинга оценка расстояния полной вариации также оказывается вычислительно трудоёмкой даже в вероятностном смысле.

Тем не менее для некоторых классов распределений существуют эффективные алгоритмы. Например, для смесей произведений распределений (mixtures of product distributions) проверка эквивалентности (т. е. равенство $\delta(P, Q) = 0$ ) выполняется за детерминированное полиномиальное время^[1].

См. также

Примечания

Источник — «http://www.machinelearning.ru/wiki/index.php?title=%D0%A0%D0%B0%D1%81%D1%81%D1%82%D0%BE%D1%8F%D0%BD%D0%B8%D0%B5_%D0%BF%D0%BE%D0%BB%D0%BD%D0%BE%D0%B9_%D0%B2%D0%B0%D1%80%D0%B8%D0%B0%D1%86%D0%B8%D0%B8»

Категории: Теория вероятностей | Математическая статистика | Машинное обучение | Метрики