Утечка данных в машинном обучении

Материал из MachineLearning.

Версия от 19:21, 12 июля 2026; Aleksandra Ivanova (Обсуждение | вклад)

(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)

Статья написана с использованием LLM GPT-5.6 Sol Hight и проверена участником Участник:Aleksandra Ivanova 22:00, 12 июля 2026 (MSD)

Дисбаланс классов

Дисбаланс классов — неравномерное распределение объектов между классами в задаче классификации. Само по себе различие в численности классов не является дефектом данных и не требует обязательного выравнивания. Проблема возникает тогда, когда редкий класс недостаточно представлен для обучения и оценки модели либо когда выбранный алгоритм, критерий качества или классификационный порог не соответствуют последствиям ошибок.

В бинарной классификации более частый класс называют классом большинства, а менее частый — классом меньшинства. Степень дисбаланса иногда описывают отношением

$IR=\frac{n_{\max}}{n_{\min}}$

где $n_{\max}$ и $n_{\min}$ — численности большего и меньшего классов. Это отношение характеризует только частоты меток. Оно не учитывает общий объём выборки, перекрытие распределений признаков, сложность границы между классами, ошибки разметки и стоимость неверных решений.^[1]

Соотношение $100:1$ может не создавать серьёзных затруднений, если редкий класс представлен тысячами разнообразных объектов и хорошо отделяется по признакам. Соотношение $3:1$ способно стать существенной проблемой при малой выборке, сильном перекрытии классов или высокой стоимости пропуска положительного объекта. Поэтому дисбаланс нельзя оценивать отдельно от структуры данных и назначения модели.

Происхождение дисбаланса

Естественный дисбаланс отражает реальную распространённость событий. Мошеннические операции редки по сравнению с обычными, отказы оборудования — по сравнению с исправной работой, некоторые заболевания — по сравнению с их отсутствием. В таких задачах неравенство классов является свойством исследуемой совокупности.

Естественное распределение особенно важно для тестовой выборки. Искусственное выравнивание классов меняет условия оценки. Например, доля ложных срабатываний среди положительных прогнозов зависит от распространённости положительного класса. Результат, полученный на выборке с равным числом положительных и отрицательных объектов, нельзя напрямую переносить в среду, где положительными являются лишь доли процента наблюдений.

Иная ситуация возникает при смещении сбора данных. Вероятность попадания объекта в набор данных может зависеть от его класса, признаков или доступности разметки. Подтверждённые случаи мошенничества, например, часто сохраняются подробнее обычных операций, поскольку проходят ручную проверку. В медицинских данных тяжёлые случаи могут быть представлены чаще лёгких. Наблюдаемая доля классов тогда не совпадает с долей в целевой совокупности.

Простое удаление объектов большинства или копирование объектов меньшинства такое смещение не исправляет. Проблема затрагивает не только $P(y)$ , но и распределение признаков внутри классов. Отсутствующие подгруппы нельзя восстановить изменением числа уже имеющихся наблюдений.

Распределение классов может меняться во времени. Если изменяется $P(y)$ , а условные распределения $P(x\mid y)$ остаются приблизительно постоянными, говорят о сдвиге априорных вероятностей. Если меняются признаки или связь между признаками и классом, имеет место более общий сдвиг распределения.^[1]

Изменение частоты классов влияет не только на число ошибок, но и на интерпретацию вероятностных оценок. Модель, откалиброванная на одном распределении, может систематически завышать или занижать вероятность положительного класса после изменения его распространённости.

Влияние на обучение

Большинство алгоритмов обучается минимизацией средней функции потерь:

$L=\frac{1}{n}\sum_i \ell(y_i,f(x_i))$

Если все объекты имеют одинаковый вес, вклад класса в целевую функцию примерно пропорционален его численности. Улучшение прогнозов для большинства может сильнее уменьшать общую ошибку, чем сопоставимое улучшение для меньшинства. Модель при этом оптимизирует заданный критерий корректно, но сам критерий может не отражать цель задачи.

Этот эффект нельзя сводить к утверждению, что классификатор обязательно начнёт предсказывать только наиболее частый класс. Поведение зависит от алгоритма, функции потерь, регуляризации, разделимости классов и информативности признаков. При хорошо разделимых данных модель может надёжно распознавать редкий класс без специальных методов.

Более фундаментальная трудность связана с количеством информации. Общая выборка может содержать миллионы объектов, но если положительных примеров лишь несколько десятков, распределение редкого класса остаётся изученным слабо. Модель не видит разнообразия его возможных проявлений, а оценка качества зависит от нескольких отдельных наблюдений.

Малое число объектов меньшинства повышает дисперсию результатов. При другом разбиении данных несколько редких примеров переходят из обучающей выборки в валидационную, и значение метрики заметно меняется. По этой причине дисбаланс затрудняет не только обучение, но и выбор гиперпараметров, сравнение моделей и оценивание статистической неопределённости.

Оценка качества

Доля правильных ответов определяется как

$Accuracy=\frac{TP+TN}{TP+TN+FP+FN}$

При редком положительном классе в ней преобладают объекты отрицательного класса. Классификатор, который всегда выдаёт отрицательную метку, получает долю правильных ответов, равную доле отрицательных объектов. При распространённости положительного класса $1%$ такая модель достигнет значения $0{,}99$ , не обнаружив ни одного положительного случая.

Для раздельной оценки ошибок используют полноту

$Recall=\frac{TP}{TP+FN}$

и точность положительного класса

$Precision=\frac{TP}{TP+FP}$

Полнота показывает, какая доля положительных объектов обнаружена. Точность положительного класса показывает, какая доля положительных прогнозов оказалась верной. Их гармоническое среднее задаёт меру

$F_1=\frac{2\cdot Precision\cdot Recall}{Precision+Recall}$

Мера $F_1$ не учитывает число истинно отрицательных ответов и предполагает одинаковую значимость точности и полноты. Это делает её полезной не во всех задачах. Если ложноположительные и ложноотрицательные ошибки имеют разную стоимость, качество следует оценивать с учётом этой стоимости, а не заменять её одной стандартной метрикой.

ROC-кривая описывает зависимость полноты положительного класса от доли ложноположительных ответов при изменении порога. При сильном дисбалансе небольшая доля ложноположительных ответов может соответствовать большому абсолютному числу ошибок. Кривая точность–полнота непосредственно показывает, сколько истинно положительных объектов содержится среди положительных прогнозов, и часто лучше отражает свойства модели в задачах с редкими положительными событиями.^[1]

Для случайных разбиений применяют стратификацию, сохраняющую приблизительные доли классов в обучающей, валидационной и тестовой частях. Во временных данных случайная стратификация способна создать утечку будущей информации. Там требуется хронологическое разбиение, даже если доли классов в отдельных периодах различаются.

Числовой пример

Пусть тестовая выборка содержит $1000$ объектов, из которых $50$ относятся к положительному классу, а $950$ — к отрицательному. Модель обнаружила $20$ положительных объектов и пропустила $30$ . Среди отрицательных объектов $930$ классифицированы правильно, а $20$ ошибочно признаны положительными.

Следовательно, $TP=20$ , $FN=30$ , $TN=930$ и $FP=20$ . Доля правильных ответов равна

$Accuracy=\frac{20+930}{1000}=0{,}95$

Значение $0{,}95$ не отражает слабое распознавание положительного класса. Его полнота составляет

$Recall=\frac{20}{50}=0{,}40$

Модель пропускает $60%$ положительных объектов. Точность положительного класса равна

$Precision=\frac{20}{40}=0{,}50$

Половина положительных прогнозов является ложной. Одна общая точность скрывает оба свойства: большое число пропусков и высокую долю ложных срабатываний среди выданных предупреждений.

Изменение обучающей выборки

Уменьшение выборки большинства удаляет часть объектов наиболее частого класса. Оно сокращает время обучения и изменяет относительный вклад классов, но вместе с объектами может удалить информацию о структуре большинства и сложных участках границы. Метод особенно рискован при небольшом исходном наборе данных.

Увеличение выборки меньшинства повторно включает редкие объекты в обучение. Информация при этом не увеличивается: модель многократно видит одни и те же наблюдения. Слишком интенсивное копирование усиливает влияние шума и ошибок разметки.

Алгоритм SMOTE создаёт синтетические объекты интерполяцией между близкими представителями меньшинства.^[1] Метод расширяет области пространства признаков, занятые редким классом, но не создаёт новых независимых наблюдений. При перекрытии классов синтетические точки могут попасть в неоднозначные области. При наличии ошибочно размеченных объектов интерполяция распространяет ошибку на новые примеры.

Простая интерполяция плохо подходит для категориальных, временных и структурированных признаков. Синтетический объект может нарушать допустимые сочетания значений, временную последовательность или внутреннюю структуру исходных данных.

Изменение выборки допустимо только внутри обучающей части каждого разбиения. Если синтетические или скопированные объекты создаются до разделения данных, связанные наблюдения могут оказаться одновременно в обучающей и тестовой выборках. Такая оценка содержит утечку данных.

Взвешивание и стоимость ошибок

Взвешивание классов изменяет функцию потерь:

$L=\sum_i w_{y_i}\ell(y_i,f(x_i))$

Больший вес редкого класса усиливает влияние ошибок на его объектах. Веса часто выбирают обратно пропорционально частотам классов, однако это правило не следует из прикладной стоимости ошибок. Оно лишь выравнивает суммарный вклад классов в обучение.

Слишком большой вес меньшинства может резко увеличить число ложноположительных ответов. Кроме того, перевзвешивание меняет распределение, относительно которого оптимизируется модель, и способно ухудшить калибровку вероятностей.

Стоимостно-чувствительная классификация задаёт цену разных решений напрямую.^[1] Ложноотрицательная и ложноположительная ошибки получают разные потери, соответствующие последствиям решений. Такой подход точнее отражает задачу, чем механическое выравнивание частот, но требует обоснованной оценки стоимости. Она может зависеть от конкретного объекта, времени, доступных ресурсов и последующих действий.

Ансамблевые методы обучают несколько моделей на разных подвыборках или с различными весами. Они уменьшают зависимость результата от конкретного набора объектов большинства, но не исправляют непредставительность данных, систематические ошибки разметки и отсутствие важных подгрупп.

Если положительных примеров почти нет, задачу иногда формулируют как обнаружение аномалий или одноклассовую классификацию. Такая замена оправдана только при соответствии редкого класса понятию аномалии. Редкое событие может иметь обычные значения признаков, а необычный объект может не относиться к целевому классу.

Классификационный порог

Многие классификаторы возвращают не готовую метку, а численную оценку $s(x)$ или вероятность $\hat p(y=1\mid x)$ . Положительный класс выбирается по правилу

$\hat y=1,\quad \hat p(y=1\mid x)\geq t$

Порог $t$ определяет компромисс между ложноположительными и ложноотрицательными ответами. Его снижение обычно повышает полноту и одновременно увеличивает число ложных срабатываний. Повышение порога сокращает число положительных прогнозов и увеличивает число пропущенных положительных объектов.

Выбор порога и обучение при дисбалансе связаны, но не тождественны. Взвешивание и изменение выборки влияют на параметры модели и ранжирование объектов. Изменение порога не переобучает модель, а выбирает точку принятия решения на уже полученных оценках.

Значение $0{,}5$ не является универсальным. Оно соответствует частному случаю откалиброванных вероятностей и равной стоимости ложноположительной и ложноотрицательной ошибок. Если стоимость ложноположительной ошибки равна $C_{FP}$ , а ложноотрицательной — $C_{FN}$ , то при нулевой стоимости правильных решений порог минимальных ожидаемых потерь равен

$t=\frac{C_{FP}}{C_{FP}+C_{FN}}$

Формула применима только к вероятностям, соответствующим целевому распределению. После искусственного изменения долей классов выход модели может перестать совпадать с вероятностью события в реальной среде. В таком случае требуется коррекция априорных вероятностей или отдельная калибровка.^[1]

Порог выбирают по валидационной выборке, а не по тестовой. Использование тестовых данных для настройки порога превращает их в часть процедуры обучения и делает итоговую оценку смещённой.

Многоклассовая и многометочная классификация

В многоклассовой задаче дисбаланс может затрагивать несколько классов одновременно. Каждый редкий класс имеет собственную численность, степень перекрытия с другими классами и стоимость ошибок. Одного общего отношения между большинством и меньшинством для описания такой структуры недостаточно.

Микроусреднение метрик объединяет решения по всем классам и поэтому сильнее зависит от частых классов. Макроусреднение сначала вычисляет метрику для каждого класса, затем усредняет результаты с одинаковыми весами. Оно выявляет слабое качество на редких классах, но становится нестабильным, если некоторые классы представлены несколькими объектами.

В многометочной классификации один объект может одновременно принадлежать нескольким классам. Здесь важны не только частоты отдельных меток, но и частоты их сочетаний. Независимое увеличение редких меток может создать сочетания, отсутствующие или невозможные в исходных данных. Оценка должна учитывать качество по отдельным меткам и по их совместным наборам.

Обнаружение редких событий

В задачах обнаружения редких событий число положительных объектов может быть недостаточным даже для надёжного вычисления метрик. Несколько дополнительных ошибок заметно меняют полноту, точность и площадь под кривой. Одно числовое значение без оценки неопределённости создаёт ложное представление о стабильности результата.

Практическое качество таких систем определяется не только относительными метриками. Существенны число ложных тревог на единицу потока, нагрузка на последующую проверку, время обнаружения и устойчивость на разных временных интервалах. Высокое значение ROC-AUC совместимо с неприемлемым числом ложных срабатываний при очень большой доле отрицательных объектов.

Типичные ошибки

Наиболее распространённая ошибка — считать любое неравенство классов проблемой, которую необходимо устранить. Выравнивание частот без анализа структуры данных может ухудшить модель и исказить вероятностные оценки.

Выбор модели только по общей точности скрывает ошибки редкого класса. Противоположная крайность — игнорировать качество большинства и оптимизировать только полноту меньшинства. Результатом может стать система, выдающая слишком много ложных предупреждений для практического применения.

Обратные частоты классов не являются автоматически правильными весами. Частота события и стоимость ошибки описывают разные свойства задачи. Редкий класс не обязательно важнее частого.

Балансировка тестовой выборки делает оценку удобнее, но меняет смысл метрик, зависящих от распространённости класса. Основную оценку следует проводить на распределении, соответствующем среде применения.

Синтетическое увеличение выборки до разделения данных создаёт утечку. Настройка порога на тестовой выборке приводит к той же проблеме. Все операции, использующие метки или статистику данных, должны ограничиваться обучающей или валидационной частью в соответствии с их назначением.

Дисбаланс классов нельзя смешивать со смещением выборки. Изменение количества объектов не восстанавливает отсутствующие подгруппы и не исправляет систематические ошибки сбора данных.

Методологический смысл

Проблема дисбаланса находится на пересечении трёх разных вопросов: какие данные описывают целевую совокупность, какую ошибку минимизирует модель и какое решение принимается по её прогнозу.

Частоты классов относятся к распределению данных. Веса и функции потерь задают критерий обучения. Метрики определяют способ оценки. Классификационный порог переводит оценку модели в действие. Подмена одного уровня другим приводит к ошибочным решениям: выравнивание классов не заменяет анализ стоимости ошибок, снижение порога не улучшает способность модели ранжировать объекты, а высокая площадь под кривой не гарантирует пригодность выбранной рабочей точки.

Корректная работа с дисбалансом требует согласовать целевое распределение, процедуру валидации, функцию потерь, метрики и правило принятия решения. Равная численность классов не является целью. Значение имеет качество решений на данных, соответствующих реальным условиям применения.

Примечания

Литература

Chawla N. V., Bowyer K. W., Hall L. O., Kegelmeyer W. P. SMOTE: Synthetic Minority Over-sampling Technique // Journal of Artificial Intelligence Research. 2002. Vol. 16. P. 321–357.
Elkan C. The Foundations of Cost-Sensitive Learning // Proceedings of the Seventeenth International Joint Conference on Artificial Intelligence. San Francisco: Morgan Kaufmann, 2001. P. 973–978.
He H., Garcia E. A. Learning from Imbalanced Data // IEEE Transactions on Knowledge and Data Engineering. 2009. Vol. 21, No. 9. P. 1263–1284.
Japkowicz N., Stephen S. The Class Imbalance Problem: A Systematic Study // Intelligent Data Analysis. 2002. Vol. 6, No. 5. P. 429–449.
Moreno-Torres J. G., Raeder T., Alaiz-Rodríguez R., Chawla N. V., Herrera F. A Unifying View on Dataset Shift in Classification // Pattern Recognition. 2012. Vol. 45, No. 1. P. 521–530.
Saerens M., Latinne P., Decaestecker C. Adjusting the Outputs of a Classifier to New a Priori Probabilities: A Simple Procedure // Neural Computation. 2002. Vol. 14, No. 1. P. 21–41.
Saito T., Rehmsmeier M. The Precision-Recall Plot Is More Informative than the ROC Plot When Evaluating Binary Classifiers on Imbalanced Datasets // PLOS ONE. 2015. Vol. 10, No. 3. Article e0118432.

Источник — «http://www.machinelearning.ru/wiki/index.php?title=%D0%A3%D1%82%D0%B5%D1%87%D0%BA%D0%B0_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_%D0%B2_%D0%BC%D0%B0%D1%88%D0%B8%D0%BD%D0%BD%D0%BE%D0%BC_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B8»