Метрики качества детекции объектов
Материал из MachineLearning.
| Статья написана с использованием LLM OpenAI GPT-5.5 и проверена участником Georgii Maiorov Georgii Maiorov 18:53, 18 июля 2026 (MSD) |
Содержание |
Метрики качества детекции объектов
Метрики качества детекции объектов — совокупность показателей, используемых для оценки алгоритмов детекции объектов. В отличие от классификации изображений, где для каждого изображения требуется предсказать единственную метку класса, детектор должен одновременно определить положение объектов, их количество и принадлежность к классам. Поэтому оценка качества детекции требует специальных метрик, учитывающих как точность локализации объектов, так и корректность их классификации.
Современные соревнования и наборы данных, такие как PASCAL VOC и MS COCO, используют иерархию взаимосвязанных метрик: сначала оценивается совпадение ограничивающих прямоугольников, затем определяется корректность отдельных детекций, после чего вычисляются интегральные показатели качества модели.
Почему Accuracy недостаточна
В задачах классификации каждому объекту соответствует единственный правильный ответ, поэтому естественной мерой качества является доля правильно классифицированных примеров (Accuracy).
В задаче детекции ситуация существенно сложнее. Алгоритм должен:
- обнаружить все объекты на изображении;
- определить их положение;
- правильно классифицировать каждый объект;
- не обнаружить несуществующие объекты.
Даже если класс объекта определён правильно, неточная локализация может сделать результат бесполезным. Поэтому обычная Accuracy практически не применяется для оценки детекторов.
Intersection over Union
Первым этапом оценки является сравнение ограничивающего прямоугольника, предсказанного моделью, с эталонной разметкой.
Наиболее распространённой мерой совпадения является Intersection over Union (IoU):
где — предсказанный ограничивающий прямоугольник, а
— соответствующий эталонный прямоугольник.
Значение IoU изменяется от 0 до 1:
-
означает полное совпадение прямоугольников;
-
означает отсутствие пересечения.
Обычно детекция считается правильной, если значение IoU превышает заранее выбранный порог, например .
True Positive, False Positive и False Negative
После вычисления IoU каждая детекция относится к одной из трёх категорий.
- True Positive (TP) — объект найден, класс определён правильно, а значение IoU превышает установленный порог.
- False Positive (FP) — модель обнаружила объект там, где его нет, либо определила неверный класс, либо значение IoU оказалось слишком малым.
- False Negative (FN) — существующий объект не был обнаружен.
Именно эти величины используются для вычисления большинства остальных метрик качества.
Precision и Recall
Две основные характеристики детектора определяются следующим образом:
Precision показывает, какая доля обнаруженных объектов действительно является правильной.
Recall характеризует способность алгоритма находить все объекты на изображении.
На практике между этими показателями существует компромисс: увеличение числа обнаружений обычно повышает Recall, но может уменьшить Precision за счёт роста количества ложных срабатываний.
Precision–Recall кривая
Большинство современных детекторов для каждого обнаруженного объекта вычисляют степень уверенности ().
Изменяя порог уверенности, можно получать различные значения Precision и Recall. Каждому порогу соответствует одна точка на плоскости Precision–Recall, а совокупность таких точек образует Precision–Recall кривую.
Эта кривая позволяет оценить качество модели при различных режимах работы и служит основой для вычисления интегральных характеристик.
Average Precision
Average Precision (AP) представляет собой площадь под кривой Precision–Recall.
Высокое значение AP означает, что алгоритм одновременно обеспечивает высокую полноту обнаружения объектов и небольшое число ложных детекций.
Как правило, AP вычисляется отдельно для каждого класса объектов.
Mean Average Precision
Mean Average Precision (mAP) определяется как среднее значение Average Precision по всем классам набора данных.
где — число классов.
В настоящее время именно mAP считается основной интегральной характеристикой качества детектора и используется практически во всех современных исследованиях.
Особенности вычисления
Различные наборы данных используют разные правила вычисления mAP.
В PASCAL VOC традиционно применяется фиксированный порог . Детекция считается успешной, если перекрытие превышает этот порог.
В MS COCO используется более строгая схема оценки. Average Precision вычисляется для нескольких порогов IoU — от до
с шагом
, после чего результаты усредняются. Такой подход делает оценку значительно более чувствительной к качеству локализации объектов.
Достоинства и ограничения
Современная система метрик обладает рядом преимуществ:
- учитывает одновременно качество локализации и классификации;
- позволяет сравнивать модели различных архитектур;
- стала общепринятым стандартом оценки детекторов.
Однако существующие метрики имеют и ограничения.
Например, IoU чувствительна к небольшим смещениям ограничивающих прямоугольников, особенно для объектов малого размера. Кроме того, одинаковое значение mAP может соответствовать моделям с различными характеристиками Precision и Recall, поэтому при анализе результатов обычно рассматривают несколько метрик одновременно.
См. также
Литература
- Everingham M. et al. The Pascal Visual Object Classes (VOC) Challenge. International Journal of Computer Vision, 2010.
- Lin T.-Y. et al. Microsoft COCO: Common Objects in Context. ECCV, 2014.
- Szeliski R. Computer Vision: Algorithms and Applications. Springer, 2022.
- Goodfellow I., Bengio Y., Courville A. Deep Learning. MIT Press, 2016.
