Материал из MachineLearning.
(Различия между версиями)
Версия 10:34, 15 июля 2026
Перекрестная энтропия (англ. cross-entropy) — фундаментальное понятие теории информации, широко используемое в машинном обучении в качестве функции потерь для задач классификации и вероятностного моделирования. Она количественно измеряет расхождение между двумя распределениями вероятностей: истинным 
и модельным 
. Минимизация перекрёстной энтропии эквивалентна максимизации правдоподобия данных, а также минимизации дивергенции Кульбака–Лейблера между эмпирическим распределением и предсказаниями модели.
Интуитивное определение
Если события порождаются распределением , а для кодирования используется код, оптимальный для , средняя длина сообщения (в битах при двоичном логарифме) равна перекрёстной энтропии )
. Совпадение 
даёт минимальную среднюю длину — собственную энтропию )
. Любое отклонение от создаёт избыточность, которую и фиксирует перекрёстная энтропия.
В машинном обучении обычно задано one-hot-вектором метки класса, а — выходом модели. Штраф, пропорциональный логарифмической вероятности, назначенной истинному классу, поощряет калиброванные вероятностные выходы и сильнее наказывает за уверенные, но ошибочные предсказания.
Формальное определение
Для дискретных распределений и на общем пространстве 
 = -\sum_{x \in \mathcal{X}} P(x) \log Q(x).)
В непрерывном случае с плотностями )
и )
используется
 = -\int_{\mathcal{X}} p(x) \log q(x)\,dx,)
при условии существования интеграла. Основание логарифма определяет единицы: биты (основание 2) или наты (натуральный логарифм). В машинном обучении применяют натуральный логарифм, связывая перекрёстную энтропию с отрицательным логарифмическим правдоподобием.
Перекрёстная энтропия неотрицательна, несимметрична и достигает минимума тогда и только тогда, когда почти всюду.
Связь с энтропией и расстоянием Кульбака–Лейблера
Справедливо тождество
 = H(P) + D_{\text{KL}}(P \parallel Q),)
где  = -\sum_x P(x) \log P(x))
— энтропия , а 
— Дивергенция Кульбака–Лейблера. Поскольку фиксирована, минимизация по параметрам модели эквивалентна минимизации дивергенции Кульбака–Лейблера. Это свойство делает перекрёстную энтропию естественной целевой функцией при обучении вероятностных моделей.
Перекрёстная энтропия как функция потерь
Бинарная классификация
При бинарной метке 
истинное распределение вырождено: =y,\; P(0)=1-y)
. Модель предсказывает ![\hat{y} \in [0,1]](../mimetex/?\hat{y} \in [0,1])
— вероятность класса 1. Бинарная перекрёстная энтропия (Binary Cross-Entropy, BCE) для одного примера:
![\mathcal{L}_{\text{BCE}} = -\bigl[ y \log \hat{y} + (1-y) \log (1-\hat{y}) \bigr].](../mimetex/?\mathcal{L}_{\text{BCE}} = -\bigl[ y \log \hat{y} + (1-y) \log (1-\hat{y}) \bigr].)
Для выборки из 
независимых примеров средняя потеря
![\mathcal{L} = -\frac{1}{N} \sum_{i=1}^{N} \bigl[ y_i \log \hat{y}_i + (1-y_i) \log (1-\hat{y}_i) \bigr]](../mimetex/?\mathcal{L} = -\frac{1}{N} \sum_{i=1}^{N} \bigl[ y_i \log \hat{y}_i + (1-y_i) \log (1-\hat{y}_i) \bigr])
есть отрицательное логарифмическое правдоподобие в модели Бернулли. Минимизация BCE эквивалентна обучению логистической регрессии или нейронной сети с сигмоидой на выходе методом максимального правдоподобия.
Многоклассовая классификация
Для 
взаимоисключающих классов истинная метка представлена one-hot вектором )
. Модель выдаёт вероятностный вектор )
, обычно полученный через softmax. Категориальная перекрёстная энтропия (Categorical Cross-Entropy) для одного объекта:
Из-за one-hot представления сумма сводится к 
для истинного класса 
. Модель штрафуется исключительно за логарифм вероятности правильного класса. Усреднение по обучающей выборке даёт оценку перекрёстной энтропии между эмпирическим распределением меток и предсказаниями.
Связь с правдоподобием
Обе формы — BCE и CCE — представляют собой отрицательное логарифмическое правдоподобие для соответствующих параметрических семейств (Бернулли и категориального). Для многоклассового случая:
 = -\frac{1}{N} \sum_{i=1}^{N} \sum_{c=1}^{K} y_{i,c} \log \hat{y}_{i,c},)
где 
— параметры модели. Обучение перекрёстной энтропией реализует принцип максимума правдоподобия.
Градиенты и поведение при оптимизации
В бинарном случае производная BCE по логиту 
(до сигмоиды )
) имеет простой вид:
В многоклассовом случае с softmax 
градиент по логиту 
:
Линейная зависимость градиента от ошибки выгодно отличает перекрёстную энтропию от квадратичной функции потерь (MSE). Среднеквадратичная ошибка ^2)
с сигмоидой даёт градиент, пропорциональный \,\hat{y}(1-\hat{y}))
, который экспоненциально затухает при приближении предсказания к 0 или 1. Перекрёстная энтропия лишена этого эффекта насыщения сигмоиды, обеспечивая стабильное обучение даже при крайне неправильных или самоуверенных предсказаниях. Это свойство — одна из главных причин доминирования перекрёстной энтропии в глубоких нейросетях для классификации.
Численная устойчивость
Прямое вычисление ))
или ))
может приводить к переполнению или исчезновению порядка. Стандартная практика — работа с логитами и численно устойчивые реализации:
- бинарная кросс-энтропия с логитами:
 - z \cdot y + \log(1 + e^{-|z|}))
;
- категориальная кросс-энтропия с логитами использует трюк log-sum-exp:
.)
Современные фреймворки (PyTorch, TensorFlow) предоставляют функции типа cross_entropy с параметром from_logits=True или softmax_cross_entropy_with_logits, которые реализуют подобные приёмы.
Информационно-теоретическая интерпретация
В кодировании источников — среднее число натов (или битов), необходимое для представления события, порождённого , кодом, оптимальным для . Кодовая длина )
соответствует идеальному коду Шеннона для . Минимизация перекрёстной энтропии на тренировочных данных строит вероятностную модель , требующую наименьшего количества информации для «описания» истинной структуры данных. Отсюда естественное применение в языковых моделях: перплексия })
измеряет, насколько модель «удивлена» тестовыми данными.
Модификации и расширения
- Взвешенная перекрёстная энтропия (Weighted Cross-Entropy). При дисбалансе классов вводится вес
для каждого класса: 
. Это смещает фокус модели в пользу редких классов.
- Label smoothing (сглаживание меток). Жёсткие метки заменяются на
y_c + \varepsilon/K)
. Эквивалентно регуляризации, препятствующей излишней уверенности модели, и улучшает калибровку и обобщение.
- Focal loss. Предложен для задач детекции объектов (Lin et al., 2017):
^\gamma \log \hat{y}_{c^*})
. Множитель ^\gamma)
снижает вклад хорошо классифицированных примеров, фокусируя обучение на трудных случаях и решая проблему крайнего дисбаланса фона и объектов.
- Непрерывные распределения. В регрессии, где модель параметризует гауссово распределение
=\mathcal{N}(\mu(x),\sigma^2))
, перекрёстная энтропия с целевым распределением сводится к сумме квадратичной ошибки и константы, показывая, что MSE — частный случай перекрёстной энтропии при фиксированной дисперсии.
- Генеративные модели. В вариационных автоэнкодерах (VAE) перекрёстная энтропия (или её непрерывный аналог) входит в нижнюю вариационную границу (ELBO) как мера качества восстановления данных.
Сравнение с другими функциями потерь
| Функция потерь
| Сильные стороны
| Недостатки в задачах вероятностной классификации
|
| Перекрёстная энтропия
| Хорошие градиенты, статистическая обоснованность (MLE), естественная калибровка
| Чувствительность к выбросам и неверным уверенным меткам (без сглаживания)
|
| Hinge loss (SVM)
| Разреженное решение, ориентация на границу решений
| Не даёт вероятностных оценок, градиенты менее информативны
|
| MSE
| Гладкость, интерпретация как гауссово правдоподобие
| Насыщение градиентов с сигмоидой, не подходит для распределений Бернулли
|
Перекрёстная энтропия остаётся стандартным выбором в нейросетевых классификаторах — от логистической регрессии до больших языковых моделей — благодаря сочетанию теоретической строгости и численных преимуществ.
Литература
- Shannon C. E. A Mathematical Theory of Communication // Bell System Technical Journal. — 1948. — Т. 27. — № 3. — С. 379–423.
- Kullback S., Leibler R. A. On Information and Sufficiency // Annals of Mathematical Statistics. — 1951. — Т. 22. — № 1. — С. 79–86.
- Goodfellow I., Bengio Y., Courville A. Deep Learning. — MIT Press, 2016.
- Bishop C. M. Pattern Recognition and Machine Learning. — Springer, 2006.
- Lin T.-Y., Goyal P., Girshick R., He K., Dollár P. Focal Loss for Dense Object Detection // Proceedings of the IEEE International Conference on Computer Vision (ICCV). — 2017. — С. 2980–2988.
- Szegedy C., Vanhoucke V., Ioffe S., Shlens J., Wojna Z. Rethinking the Inception Architecture for Computer Vision // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). — 2016. — С. 2818–2826.
- Hastie T., Tibshirani R., Friedman J. The Elements of Statistical Learning: Data Mining, Inference, and Prediction. — 2-е. — Springer, 2009.
