Взаимная информация

Материал из MachineLearning.

Версия от 22:40, 13 июля 2026; Oleg Aleksandrov (Обсуждение | вклад)
(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)
Перейти к: навигация, поиск
Статья написана с использованием LLM DeepSeek-V4 и проверена участником Oleg Aleksandrov 02:40, 14 июля 2026 (MSD)



Содержание

Взаимная информация

Взаимная информация (англ. mutual information) — фундаментальная мера статистической зависимости между двумя случайными величинами, происходящая из теории информации. В отличие от коэффициента корреляции, взаимная информация улавливает нелинейные связи произвольной природы. В машинном обучении (англ. machine learning) она служит теоретической основой для построения информационно-оптимальных представлений (Information Bottleneck), эффективного отбора признаков (англ. feature selection) и обучения интерпретируемых генеративных моделей (InfoGAN).

Взаимная информация количественно определяет, насколько знание одной величины уменьшает неопределённость относительно другой. Понятие было введено Клодом Шенноном в 1948 году как обобщение энтропии на пары переменных. Инвариантность к взаимно-однозначным преобразованиям и способность фиксировать любые формы статистической зависимости делают её универсальным инструментом для оценки качества признаков, представлений и генеративных процессов.

Математическая формулировка

Определение

Пусть X и Y — две дискретные случайные величины с совместным распределением p(x,y) и маргинальными распределениями p(x) и p(y). Взаимная информация определяется как

I(X;Y) = \sum_{x \in \mathcal{X}}\sum_{y \in \mathcal{Y}} p(x,y) \log \frac{p(x,y)}{p(x)p(y)}.

Для непрерывных величин сумма заменяется интегралом, и говорят о дифференциальной взаимной информации; она сохраняет основные свойства, но может быть определена лишь с точностью до аддитивной константы, связанной с выбором координат. Часто используют представление через дивергенцию Кульбака–Лейблера (англ. Kullback–Leibler divergence):

I(X;Y) = D_{\mathrm{KL}}\big(p(x,y) \,\|\, p(x)p(y)\big).

Такая запись подчёркивает, что взаимная информация измеряет «расстояние» между совместным распределением и произведением маргиналов, то есть степень отклонения от независимости.

Связь с энтропией

Через энтропию (англ. entropy) взаимная информация выражается тремя эквивалентными способами:

I(X;Y) = H(X) - H(X|Y) = H(Y) - H(Y|X) = H(X) + H(Y) - H(X,Y).

Здесь H(X) — безусловная энтропия, H(X|Y) — условная энтропия, H(X,Y) — совместная энтропия. Эти соотношения делают очевидной симметричность меры и её смысл как сокращения неопределённости.

Основные свойства

  • Неотрицательность: I(X;Y) \ge 0, причём равенство достигается тогда и только тогда, когда X и Y статистически независимы.
  • Симметричность: I(X;Y) = I(Y;X).
  • Ограниченность: I(X;Y) \le \min\{H(X), H(Y)\}.
  • Монотонность преобразований: для любых (детерминированных или вероятностных) отображений, образующих марковскую цепь X \rightarrow Y \rightarrow Z, справедливо неравенство обработки данных (англ. data processing inequality):

I(X;Z) \le I(X;Y).

Это свойство гарантирует, что никакая локальная обработка переменной Y не может увеличить количество информации об X. В машинном обучении оно формализует интуицию о невозможности «создать» информацию о скрытом источнике путём преобразования наблюдаемых данных.

Оценивание по выборке

Для непрерывных переменных прямое вычисление взаимной информации по эмпирическим данным затруднено из-за необходимости оценивать плотности распределений. Широкое распространение получили непараметрические методы на основе k-ближайших соседей (англ. k-NN), предложенные Красковым и др. (2004). Они оценивают взаимную информацию, используя статистику расстояний до k-го соседа, обходя этап явного построения плотности и демонстрируя хорошую точность на практике.

Information Bottleneck

Информационное узкое место (англ. Information Bottleneck, IB) — метод поиска оптимального сжатого представления, предложенный Нафтали Тишби, Фернанду Перейрой и Уильямом Бялеком в 1999 году. Идея заключается в том, чтобы для заданной пары случайных величин X (наблюдаемые данные) и Y (целевая переменная) построить стохастическое отображение X \rightarrow T, которое сохраняет максимум информации о Y при заданном ограничении на сложность представления T. Формально задача ставится как оптимизация лагранжиана

\mathcal{L}[p(t|x)] = I(X;T) - \beta I(T;Y),

где T — сжатое представление, \beta \ge 0 — параметр, управляющий компромиссом между сжатием (I(X;T)) и сохранением релевантной информации (I(T;Y)). При \beta \to 0 получается максимальное сжатие (минимальная взаимная информация с X), а при \beta \to \infty — сохранение всей информации о Y без учёта сложности.

Уравнения IB и итерационный алгоритм

Необходимые условия оптимальности дают самосогласованные уравнения для распределений p(t|x), p(t) и p(y|t):

p(t|x) = \frac{p(t)}{Z(x,\beta)} \exp\!\big(-\beta D_{\mathrm{KL}}[p(y|x) \,\|\, p(y|t)]\big),

p(t) = \sum_x p(x) p(t|x),

p(y|t) = \frac{1}{p(t)}\sum_x p(y|x) p(t|x) p(x).

Здесь Z(x,\beta) — нормировочная константа. Решение находят итеративно, поочерёдно обновляя три распределения; процедура гарантирует сходимость к локальному оптимуму. Этот алгоритм естественным образом осуществляет мягкую кластеризацию данных: переменная T обычно имеет смысл номеров кластеров, а распределение p(y|t) — прототипа целевой переменной в каждом кластере.

Связь с обучением нейронных сетей

Тишби и Заславский (2015) выдвинули гипотезу о том, что обучение глубоких нейронных сетей (англ. deep learning) методом стохастического градиентного спуска можно интерпретировать как эволюцию информационной динамики: скрытые слои последовательно максимизируют I(T;Y) и минимизируют I(X;T), проходя фазы «запоминания» и «сжатия». Хотя вокруг этой интерпретации ведутся споры, она стимулировала разработку новых методов регуляризации и анализа репрезентаций, опирающихся на принцип информационного узкого места.

Отбор признаков на основе взаимной информации

В отборе признаков (англ. feature selection) взаимная информация выступает естественным критерием релевантности: признак X_i считается тем полезнее для предсказания целевой переменной Y, чем выше I(X_i; Y). Однако простой жадный отбор по максимальной релевантности может приводить к выбору избыточных, сильно скоррелированных признаков, что увеличивает переобучение (англ. overfitting) без улучшения предсказательной силы.

Метод минимальной избыточности и максимальной релевантности (mRMR)

Для преодоления этого недостатка Пенг и др. (2005) предложили критерий минимальной избыточности и максимальной релевантности (англ. Minimum Redundancy Maximum Relevance, mRMR). Для подмножества признаков S определяются:

  • Максимальная релевантность: D = \frac{1}{|S|}\sum_{X_i \in S} I(X_i; Y);
  • Минимальная избыточность: R = \frac{1}{|S|^2}\sum_{X_i, X_j \in S} I(X_i; X_j).

Итоговый критерий объединяет оба слагаемых, чаще всего в виде разности \Phi = D - R. Задача сводится к поиску подмножества, максимизирующего \Phi. На практике применяют инкрементальный жадный поиск: на каждом шаге добавляется признак, максимизирующий I(X_k; Y) - \frac{1}{|S|}\sum_{X_j \in S} I(X_k; X_j), что позволяет эффективно строить цепочки вложенных подмножеств.

Практические аспекты

Основная трудность — надёжное оценивание взаимной информации для непрерывных признаков, особенно при высокой размерности. Описанные выше непараметрические методы на основе k-NN, а также дискретизация с поправкой на смещение активно применяются в библиотеках Scikit-learn и FSelector. Кроме того, взаимная информация используется как строительный блок в алгоритмах-обёртках (англ. wrapper) и встроенных (англ. embedded) методах, например, в деревьях решений с информационными критериями расщепления.

Взаимная информация в InfoGAN

InfoGAN (Chen et al., 2016) — расширение генеративно-состязательных сетей (англ. Generative Adversarial Network, GAN), ориентированное на обучение интерпретируемых скрытых представлений (англ. latent representations). В классическом GAN генератор G(z) преобразует случайный шум z в выборку данных, но структура шумового вектора никак не интерпретируется. В InfoGAN входной вектор разделяется на две части: несжимаемый шум z и набор структурированных латентных факторов c. Чтобы факторы c научились кодировать осмысленные, независимые атрибуты данных (например, поворот, толщину линии в цифрах MNIST), в целевую функцию добавляют регуляризатор, максимизирующий взаимную информацию между c и генерируемой выборкой G(z, c):

\min_G \max_D \, V_{\text{GAN}}(D,G) - \lambda \, I(c; G(z,c)).

Прямое вычисление взаимной информации I(c; G(z,c)) затруднительно, так как требует доступа к апостериорному распределению P(c|G(z,c)). Авторы используют вариационную нижнюю границу, вводя вспомогательную сеть (Q-сеть), которая аппроксимирует это апостериорное распределение. Целевая функция принимает вид

\min_{G,Q} \max_D \, V_{\text{GAN}}(D,G) - \lambda \, L_I(G,Q),

где

L_I(G,Q) = \mathbb{E}_{c \sim P(c),\, x \sim G(z,c)}[\log Q(c|x)] + H(c)

— вариационная нижняя граница (при фиксированном H(c)) взаимной информации. Максимизация L_I заставляет генератор использовать факторы c так, чтобы по выходному изображению можно было с высокой точностью восстановить исходный код. На практике это приводит к автоматическому выявлению независимых объясняющих факторов в неразмеченных данных, что находит применение в распутывании представлений (англ. disentanglement) и генерации с контролируемыми атрибутами.

Области применения и перспективы

Помимо описанных задач, взаимная информация применяется в регистрации медицинских изображений (через максимизацию I как меры совмещения), анализе независимых компонент, оценке справедливости моделей, построении информационно-теоретических нижних границ ошибки (неравенство Фано), байесовской оптимизации и активном обучении. Методы оценивания взаимной информации активно развиваются: вариационные нижние границы (MINE, InfoNCE), контрастное обучение и непараметрические оценки расширяют её применение в обучении без учителя и объяснимом ИИ.

Литература

  • Shannon C.E. A Mathematical Theory of Communication // Bell System Technical Journal. — 1948. — Т. 27. — № 3. — С. 379–423, 623–656.
  • Cover T.M., Thomas J.A. Elements of Information Theory. — 2-е изд.. — Wiley-Interscience, 2006.
  • Kraskov A., Stögbauer H., Grassberger P. Estimating mutual information // Physical Review E. — 2004. — Т. 69. — № 6. — С. 066138.
  • Tishby N., Pereira F.C., Bialek W. The information bottleneck method // Proceedings of the 37th Annual Allerton Conference on Communication, Control, and Computing. — 1999. — С. 368–377.
  • Tishby N., Zaslavsky N. Deep learning and the information bottleneck principle // Proceedings of the IEEE Information Theory Workshop (ITW). — 2015. — С. 1–5.
  • Peng H., Long F., Ding C. Feature selection based on mutual information: criteria of max-dependency, max-relevance, and min-redundancy // IEEE Transactions on Pattern Analysis and Machine Intelligence. — 2005. — Т. 27. — № 8. — С. 1226–1238.
  • Chen X., Duan Y., Houthooft R., Schulman J., Sutskever I., Abbeel P. InfoGAN: Interpretable Representation Learning by Information Maximizing Generative Adversarial Nets // Advances in Neural Information Processing Systems 29 (NIPS 2016). — 2016. — С. 2172–2180.
Источник — «http://www.machinelearning.ru/wiki/index.php?title=%D0%92%D0%B7%D0%B0%D0%B8%D0%BC%D0%BD%D0%B0%D1%8F_%D0%B8%D0%BD%D1%84%D0%BE%D1%80%D0%BC%D0%B0%D1%86%D0%B8%D1%8F»
Личные инструменты