Обучение с привилегированной информацией

Материал из MachineLearning.

Версия от 05:33, 17 июля 2026; Aleksandr Iakovlev (Обсуждение | вклад)

(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)

Статья написана с использованием LLM GPT-5.6 Sol xhigh и проверено участником Aleksandr Iakovlev 09:33, 17 июля 2026 (MSD)

Обучение с привилегированной информацией (англ. learning using privileged information, LUPI) — постановка задачи обучения с учителем, в которой для каждого обучающего объекта доступны обычное описание $x$ , ответ $y$ и дополнительное описание $x^*$ , однако при применении обученной модели дополнительное описание недоступно. Требуется использовать $x^*$ только во время обучения и построить решающее правило, зависящее при тестировании лишь от $x$ .

LUPI задаёт режим доступности данных, а не один алгоритм или одну архитектуру. Первой широко известной реализацией постановки стал SVM+ — расширение машины опорных векторов, в котором привилегированная информация задаёт корректирующую функцию для ошибок на обучающих объектах. Позднее LUPI была связана с дистилляцией моделей в схеме generalized distillation.

Мотивация: объяснения преподавателя

В обычной постановке учитель сообщает ученику пары «пример — правильный ответ». Вапник и Вашист предложили приблизить машинное обучение к ситуации, когда хороший преподаватель, помимо ответа, даёт объяснение: указывает существенные признаки, сравнивает пример с уже разобранными, предупреждает об исключении или сообщает степень трудности. Такое объяснение может помочь построить правило, хотя при решении новой задачи преподавателя рядом уже нет.

Например, $x$ может быть изображением биопсии, $y$ — диагнозом, а $x^*$ — заключением онколога, составленным для обучающего изображения. Будущая система должна работать по одному изображению, поэтому заключение нельзя включить в её вход. Во время обучения оно всё же может сообщать, какие случаи типичны, какие пограничны и какие детали связаны с диагнозом. В исходной LUPI слово «учитель» обозначает источник таких пояснений; это не обязательно заранее обученная модель-учитель в нейросетевом смысле.

Формальная постановка

Пусть обучающая выборка состоит из троек

$S_n=\{(x_i,x_i^*,y_i)\}_{i=1}^{n},\qquad x_i\in X,\quad x_i^*\in X^*,\quad y_i\in Y.$

Пространство $X$ называют пространством решений (decision space), а $X^*$ — привилегированным или корректирующим пространством. По выборке $S_n$ требуется выбрать функцию

$h:X\to Y,$

минимизирующую ожидаемый риск $R(h)=\mathbb E\,\ell(h(x),y)$ . Аргумента $x^*$ у итоговой функции нет. Предполагается, что обучающие тройки согласованы по объектам и порождены постановкой, релевантной будущему применению.

Этап	Доступные величины	Что разрешено модели
Обучение	$(x_i,x_i^*,y_i)$	Использовать $x_i^*$ для выбора параметров, весов, представления ошибок или мягких целей
Валидация и тестирование	$(x,y)$ , причём $y$ скрыт до оценки	Вычислять прогноз только как $h(x)$
Эксплуатация	новый $x$	Не запрашивать и не восстанавливать фактическое $x^*$ как обязательный вход

Если дополнительные признаки доступны и на тесте, это обычное расширение признакового описания, а не LUPI. Если они иногда отсутствуют и их просто заполняют пропусками, постановка также не становится LUPI автоматически: нужен явно заданный протокол train-only информации.

SVM+

От мягкого зазора к корректирующей функции

Для бинарной классификации $y_i\in\{-1,+1\}$ стандартный SVM с мягким зазором ищет $f(x)=\langle w,\phi(x)\rangle+b$ и отдельные неотрицательные переменные ошибки $\xi_i$ :

$\min_{w,b,\xi}\;\frac12\|w\|^2+C\sum_{i=1}^n\xi_i,\qquad y_i f(x_i)\geq 1-\xi_i,\quad \xi_i\geq0.$

Значение $\xi_i$ показывает, насколько объект нарушает требование зазора. В стандартной задаче эти $n$ значений настраиваются независимо. Идея SVM+ состоит в том, чтобы связать их общей корректирующей функцией в привилегированном пространстве:

$\xi_i=f^*(x_i^*)=\langle w^*,\phi^*(x_i^*)\rangle+b^*.$

Тем самым объяснения учителя используются не как тестовые признаки и не как прямой второй классификатор, а как способ предсказывать трудность обучающих примеров.

Оптимизационная задача

Одна из стандартных записей SVM+ имеет вид

$\min_{w,b,w^*,b^*}\ \frac12||w||^2+\frac{\gamma}{2}||w^*||^2+C\sum_{i=1}^{n}(\langle w^*,\phi^*(x_i^*)\rangle+b^*),$

при ограничениях

$y_i(\langle w,\phi(x_i)\rangle+b)\geq 1-(\langle w^*,\phi^*(x_i^*)\rangle+b^*),$

$\langle w^*,\phi^*(x_i^*)\rangle+b^*\geq0,\qquad i=1,\ldots,n.$

Параметр $C>0$ задаёт штраф за нарушения зазора, а $\gamma>0$ ограничивает сложность корректирующей функции. Отображения $\phi$ и $\phi^*$ , а значит и ядра, могут различаться. После оптимизации сохраняется только правило

$a(x)={\rm sign}(\langle w,\phi(x)\rangle+b).$

Параметры $w^*$ и $b^*$ при тестировании не нужны. Поэтому SVM+ удовлетворяет главному ограничению LUPI даже тогда, когда $X$ и $X^*$ имеют разную природу и размерность.

Роль корректирующей функции и статистическая интерпретация

Корректирующая функция накладывает структуру на потери отдельных примеров. Если простая функция от $x^*$ хорошо воспроизводит потери качественного решающего правила, учитель фактически сообщает, где ученик вправе допустить большую ошибку и где должен настаивать на широком зазоре. Это похоже на зависящее от объекта взвешивание, но не тождественно произвольному выбору весов: Лапин, Хайн и Шиле показали, что решение SVM+ можно воспроизвести некоторым взвешенным SVM, тогда как обратное верно не всегда.

В теоретической модели Печёного и Вапника рассматривается Privileged ERM. Если корректирующее пространство содержит функцию, имитирующую потери оптимального правила, и выполнены дополнительные условия на классы функций, скорость сходимости риска может соответствовать быстрой скорости в совместном пространстве. В идеализированном случае оракула получается порядок $O(n^{-1})$ вместо худшего порядка $O(n^{-1/2})$ обычной минимизации эмпирического риска. Это условный результат, а не гарантия любого выигрыша SVM+: бесполезное, слишком сложное или плохо согласованное $x^*$ способно не помочь и ухудшить оценку из-за дополнительной настройки.

Generalized distillation

Обычная дистилляция знаний обучает модель-ученика повторять мягкие выходы уже обученной модели-учителя. Учитель часто больше ученика, но может получать те же входы $x$ ; наличие привилегированных признаков не входит в определение дистилляции.

В generalized distillation учитель сначала обучается на привилегированном представлении:

по парам $(x_i^*,y_i)$ строится $f_t$ ;
вычисляются мягкие метки $s_i=\sigma(f_t(x_i^*)/T)$ , где $T>0$ — температура;
ученик $f_s$ , получающий обычные $x_i$ , обучается одновременно по истинным и мягким меткам.

Типичный критерий ученика записывается как

$\min_{f_s}\;\frac1n\sum_{i=1}^{n}\left[(1-\lambda)\ell\bigl(y_i,\sigma(f_s(x_i))\bigr)+\lambda\ell\bigl(s_i,\sigma(f_s(x_i))\bigr)\right]+\Omega_s(f_s),$

где $\lambda\in[0,1]$ регулирует силу имитации. На тесте используется только $f_s(x)$ . Эта схема является способом решать LUPI посредством дистилляции, но не переопределяет исходную парадигму: SVM+ передаёт сведения через корректирующие функции, а generalized distillation — через мягкие цели. Обычный teacher–student learning без train-only данных остаётся дистилляцией, но не LUPI.

Концептуальный пример

Пусть обычный признак $x$ — одномерный лабораторный показатель, а классы $-1$ и $+1$ соответствуют двум состояниям. Для четырёх исторических пациентов эксперт дополнительно оценил типичность случая; большая оценка означает пограничный или подозрительный пример.

$i$	$x_i$	$y_i$	$x_i^*$ : комментарий эксперта
1	$-2.0$	$-1$	0.1 — типичный случай
2	$-0.2$	$+1$	0.9 — атипичный, возможна неоднозначность
3	$0.2$	$-1$	0.8 — пограничный случай
4	$2.0$	$+1$	0.1 — типичный случай

Центральные точки противоречат простому порогу. Корректирующая функция SVM+ может выучить большие значения $\xi_i$ для объектов 2 и 3 и малые — для 1 и 4, не заставляя границу чрезмерно подстраиваться под атипичные случаи. Числа в столбце $x^*$ не обязаны быть готовыми slack-переменными: это может быть вектор признаков экспертного заключения, из которого функция $f^*$ учится их оценивать. Для нового пациента, например с $x=1$ , комментарий эксперта не запрашивается; прогноз даёт только $a(x)$ . Пример иллюстрирует механизм, но не является результатом вычислительного эксперимента.

Области применения

Привилегированной может служить информация, получение которой слишком дорого, медленно, невозможно или нежелательно при каждом будущем прогнозе:

в медицине — заключение специалиста, дорогая визуализация или дополнительный анализ для обучающих случаев при работе будущей модели по более доступному обследованию;
в компьютерном зрении — рамки объектов, маски сегментации, подписи, глубина или изображение высокого разрешения, если рабочая система получает только основную модальность;
в биоинформатике — труднодоступная трёхмерная структура белка при классификации по более дешёвому описанию;
в ранжировании — подробные экспертные оценки или сигналы, возникающие после показа, если они доступны для исторических объектов, но не в момент нового решения;
при обучении по чувствительным атрибутам — признаки, которые допустимо использовать для контроля процесса обучения, но запрещено подавать модели при эксплуатации. Такая постановка требует отдельной правовой и этической проверки и сама по себе не обеспечивает справедливость.

Один и тот же набор данных может образовывать LUPI или обычное мультимодальное обучение в зависимости от протокола применения. Например, текст и изображение являются двумя обычными модальностями, если оба доступны на тесте; текст становится привилегированным, если модель обязана предсказывать только по изображению.

Сравнение с близкими постановками

Подход	Что доступно при обучении	Что доступно при тестировании	Определяющее отличие
LUPI	$(x,x^*,y)$	только $x$	Асимметрия доступности $x^*$ является частью постановки
Дистилляция знаний	истинные метки и выходы/представления учителя; вход учителя может быть тем же $x$	вход ученика	Передача поведения модели; привилегированное пространство не обязательно
Teacher–student learning	любые сигналы учителя	зависит от конкретного метода	Общая организация обучения, включающая дистилляцию, псевдоразметку и другие методы; не самостоятельное условие train-only признаков
Перенос обучения	данные или модель исходного домена/задачи и данные целевого домена/задачи	признаки целевого домена	Главное — перенос между доменами или задачами; дополнительная информация не обязана исчезать на тесте
Мультимодальное обучение	несколько модальностей	обычно те же модальности	При обязательном отсутствии одной модальности на тесте частный протокол может быть LUPI
Обучение с дополнительными признаками	$(x,z,y)$	$(x,z)$	Если $z$ остаётся доступным, это обычное расширение признаков

Generalized distillation находится на пересечении первых двух строк: модель-учитель обучается на $x^*$ , а её мягкие ответы передаются ученику, работающему с $x$ .

Ограничения и постановка эксперимента

Наличие дополнительной информации не гарантирует улучшения. Корректирующая функция может оказаться сложнее основной задачи, мягкие ответы — плохо переноситься из $X^*$ в $X$ , а настройка дополнительных гиперпараметров — увеличить дисперсию оценки. В практическом исследовании SVM+ случайные признаки иногда давали сравнимый эффект, а итог сравнения зависел от того, какие объекты оставлялись для валидации. Поэтому утверждение о пользе LUPI должно подтверждаться контролируемым экспериментом.

Рекомендуемый протокол включает следующие требования.

Зафиксировать момент прогноза. Для каждого кандидата в $x^*$ надо объяснить, почему он существует для обучающих исторических объектов и гарантированно отсутствует либо запрещён для будущих объектов.
Разделить объекты до построения привилегированной информации. Нормализация, подбор признаков, обучение модели-учителя и получение мягких меток выполняются внутри обучающего разбиения. Метки теста не должны влиять ни на $x^*$ , ни на параметры модели-учителя.
Подбирать гиперпараметры вложенно. Значения $C,\gamma$ для SVM+ и $T,\lambda$ для generalized distillation выбираются только по обучающим и валидационным данным. Бюджет настройки должен быть сопоставим с базовой моделью.
Сравнивать на одинаковых разбиениях. Минимальный базовый метод использует только $x$ . Полезны также диагностический оракул с $(x,x^*)$ на тесте (не как развёртываемая модель), перестановка или случайная замена $x^*$ , абляции и простой метод весов объектов.
Оценивать не только среднее качество. Нужны разброс по повторным разбиениям, доверительные интервалы или другой анализ неопределённости, вычислительная стоимость и цена получения $x^*$ .
Исключать утечку цели. Признак, возникший после исхода, формально может быть train-only, но способен напрямую кодировать $y$ или технологию разметки. Тогда модель учится артефакту, который не переносится на рабочее распределение. Особенно опасны записи, составленные с уже известным диагнозом, агрегаты по одному пациенту в разных частях выборки и soft labels учителя, обученного на тестовых метках.
Проверять полноту сопоставления. Классическая запись SVM+ предполагает $x_i^*$ для каждого обучающего объекта. Частично отсутствующая привилегированная информация требует специального метода и не должна без обоснования заменяться нулями.

Результат следует интерпретировать как свойство конкретной пары пространств $(X,X^*)$ , алгоритма и протокола, а не как общее доказательство превосходства LUPI.

См. также

Литература

Vapnik V., Vashist A. A new learning paradigm: Learning using privileged information // Neural Networks. 2009. Vol. 22, issues 5–6. P. 544–557. DOI: 10.1016/j.neunet.2009.06.042.
Pechyony D., Vapnik V. On the Theory of Learning with Privileged Information // Advances in Neural Information Processing Systems 23. 2010. P. 1894–1902.
Lapin M., Hein M., Schiele B. Learning using privileged information: SVM+ and weighted SVM // Neural Networks. 2014. Vol. 53. P. 95–108. DOI: 10.1016/j.neunet.2014.02.002.
Serra-Toro C., Traver V. J., Pla F. Exploring some practical issues of SVM+: Is really privileged information that helps? // Pattern Recognition Letters. 2014. Vol. 42. P. 40–46. DOI: 10.1016/j.patrec.2014.01.013.
Vapnik V., Izmailov R. Learning Using Privileged Information: Similarity Control and Knowledge Transfer // Journal of Machine Learning Research. 2015. Vol. 16, no. 61. P. 2023–2049.
Hinton G., Vinyals O., Dean J. Distilling the Knowledge in a Neural Network. arXiv:1503.02531, 2015.
Lopez-Paz D., Bottou L., Schölkopf B., Vapnik V. Unifying distillation and privileged information // International Conference on Learning Representations. 2016. arXiv:1511.03643.
Ku J.-H., Oh J., Lee Y.-Y., Pooniwala G., Lee S. A Selective Survey on Versatile Knowledge Distillation Paradigm for Neural Network Models. CoRR abs/2011.14554, 2020.
Yan S., Odom P., Pasunuri R., Kersting K., Natarajan S. Learning with privileged and sensitive information: a gradient-boosting approach // Frontiers in Artificial Intelligence. 2023. Vol. 6. Article 1260583. DOI: 10.3389/frai.2023.1260583.

Источник — «http://www.machinelearning.ru/wiki/index.php?title=%D0%9E%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5_%D1%81_%D0%BF%D1%80%D0%B8%D0%B2%D0%B8%D0%BB%D0%B5%D0%B3%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%BD%D0%BE%D0%B9_%D0%B8%D0%BD%D1%84%D0%BE%D1%80%D0%BC%D0%B0%D1%86%D0%B8%D0%B5%D0%B9»

Категории: Машинное обучение | Энциклопедия анализа данных