Слепые зоны выборки

Материал из MachineLearning.

(Различия между версиями)

Текущая версия

Статья написана с использованием LLM ChatGPT (GPT-5.5) и проверена участником Miraslava Ladutska 7 июля 2026 (MSD).

Слепые зоны выборки — это систематически недопредставленные или полностью отсутствующие области целевой совокупности, пространства признаков, условий наблюдения либо подгрупп объектов, для которых выводы, сделанные по имеющейся выборке, ненадёжны. Типичный симптом — обманчиво хороший результат: модель показывает высокую среднюю точность на тесте, но проваливается на редкой группе. В медицинской визуализации такой эффект описан как скрытая стратификация: классификатор может уверенно распознавать распространённый вариант заболевания, но систематически ошибаться на клинически важном подтипе, если этот подтип растворён внутри общей метки и почти не представлен в данных.

В машинном обучении слепые зоны выборки особенно опасны потому, что стандартная валидация часто наследует те же пробелы, что и обучение. Модель выглядит надёжной на случайно отложенной части данных, но оказывается хрупкой при переносе в другую больницу, регион, временной период, язык, социальную группу, тип устройства или сценарий использования. Понятие связано со смещением выборки, сдвигом распределения, дисбалансом классов, доменной адаптацией, робастностью, активным обучением и справедливостью машинного обучения, но не сводится ни к одному из этих терминов.

Содержание

1 Терминология
2 Исследовательский контекст
3 Интуитивный пример
4 Формальная постановка
5 Виды слепых зон
6 Причины возникновения
7 Как слепые зоны искажают оценку модели
8 Обнаружение слепых зон
9 Методы уменьшения риска
10 Практический протокол
11 Ограничения
12 Типичные ошибки
13 Современные исследования и примеры
14 Значение для науки и практики
15 См. также
16 Примечания
17 Литература
18 Ссылки

Терминология

В англоязычной литературе для близких явлений используются выражения coverage gap, sample coverage error, underrepresented subgroup, hidden stratification, dataset bias, subpopulation shift, slice underperformance и out-of-distribution region. Русское выражение «слепая зона выборки» удобно как зонтичный термин: оно подчёркивает не только малый объём данных, но и то, что область риска может быть не видна при обычной проверке.

Понятие	Содержание	Связь со слепыми зонами
Смещение выборки	Систематическое отличие процедуры отбора объектов от целевой совокупности.	Частая причина слепых зон.
Дисбаланс классов	Неравномерное число объектов разных классов.	Частный случай; слепая зона может находиться внутри одного класса.
Сдвиг распределения	Различие распределений между обучением, тестом и эксплуатацией.	Может проявлять ранее невидимую слепую зону.
Выбросы	Редкие или экстремальные наблюдения, уже присутствующие в данных.	В отличие от выброса, слепая зона может не иметь ни одного наблюдения.
Обнаружение внераспределительных объектов	Попытка выявить объекты вне обучающего распределения.	Полезна, но не обнаруживает все редкие внутридоменные группы.

Ключевое различие состоит в следующем: редкая группа становится статистической проблемой, когда по ней мало данных; она становится слепой зоной, когда её отсутствие или недопредставленность не отражены в процедуре оценки качества.

Исследовательский контекст

Проблема неполного покрытия выборки появилась задолго до современных нейронных сетей. В теории выборочного обследования она известна как ошибка покрытия: выборочная рамка может не содержать часть целевой совокупности, и тогда увеличение объёма выборки не устраняет систематического смещения.^[1]^[1] В эконометрике близкая идея формализована как смещение отбора: наблюдаются не все объекты, а только прошедшие некоторый механизм отбора.^[1]

В компьютерном зрении тема стала заметной после работ о смещении наборов данных: модели, обученные на одном популярном наборе изображений, плохо переносились на другой, хотя формально решалась та же задача.^[1] В обработке естественного языка аналогичный урок дали артефакты разметки: модели могли решать тестовые примеры по поверхностным подсказкам, а не по предполагаемой языковой способности.^[1]^[1]

В 2020-е годы акцент сместился от «средней точности на бенчмарке» к проверке устойчивости по доменам, группам и сценариям. Бенчмарк WILDS был построен именно для реалистичных сдвигов между больницами, камерами, регионами, временными периодами и источниками данных.^[1] Для больших языковых моделей проблема усилилась из-за непрозрачности и масштаба обучающих корпусов: даже очень большой корпус может плохо покрывать отдельные языки, жанры, профессиональные домены или типы пользовательских запросов.^[1]

Интуитивный пример

Пусть модель классифицирует рентгенограммы и на случайном тесте имеет высокую среднюю точность. Руководитель проекта может решить, что система готова к внедрению. Но если тестовая выборка получена из тех же больниц, с тем же оборудованием и похожей структурой пациентов, она проверяет только знакомую область. Редкий подтип заболевания, другая демография пациентов или новый протокол съёмки могут оказаться почти невидимыми.

Такой случай не является «ошибкой на нескольких трудных примерах». Это ошибка постановки оценки. Модель была проверена там, где данные уже есть, а использовать её хотят там, где данных мало или нет. Поэтому слепая зона — это одновременно статистическая, инженерная и предметная проблема.

В рекомендательных системах источник слепой зоны другой: исторические данные отражают прежнюю политику показа. Пользовательские реакции известны только для объектов, которые уже были показаны. Всё, что прежняя система не показывала, остаётся частично ненаблюдаемым. В LLM похожая проблема возникает при оценке: статический тест может быть загрязнён обучающими данными или не соответствовать реальному распределению запросов, поэтому современные бенчмарки всё чаще обновляются и контролируют контаминацию.^[1]

Формальная постановка

Целевая и наблюдаемая распределённости

Пусть целевая среда задаётся распределением $P^\star$ на наблюдениях $Z$ . Наблюдение можно представить как $Z=(X,Y,A,E)$ , где $X$ — признаки, $Y$ — целевая переменная, $A$ — атрибут группы или страты, а $E$ — среда: клиника, регион, устройство, период времени, источник данных. Реальная выборка $S=\{Z_i\}_{i=1}^{n}$ обычно порождается не из $P^\star$ , а из выборочного распределения $P_S$ , заданного процедурой сбора.

Строгая слепая зона — область $B$ , для которой

$P^\star(B)>0,\qquad P_S(B)=0.$

Практически чаще встречается неполное покрытие:

$P^\star(B)>0,\qquad 0<P_S(B)\ll P^\star(B),\qquad n_S(B)<m_{\min},$ где $n_S(B)$ — число объектов из области $B$ , а $m_{\min}$ — минимальный объём, достаточный для обучения или оценки. Значение $m_{\min}$ зависит от сложности модели, шума меток, размерности признаков и допустимого риска.

Риск и невидимая ошибка

Для модели $f$ и функции потерь $\ell$ целевой риск равен

$R^\star(f)=\mathbb{E}_{(X,Y)\sim P^\star}\ell(f(X),Y).$

Стандартное обучение и тестирование оценивают эмпирический риск

$\widehat{R}_S(f)=\frac{1}{n}\sum_{i=1}^{n}\ell(f(X_i),Y_i).$

Если $P_S$ плохо покрывает $P^\star$ , малая величина $\widehat{R}_S(f)$ не гарантирует малый $R^\star(f)$ . Ошибка на ненаблюдаемой области просто не входит в среднюю оценку. Поэтому отчёт «точность $95\%$ » без описания покрытия выборки часто менее информативен, чем таблица качества по источникам, группам и времени.

Групповой риск

Если объекты разбиты на группы $G$ , групповой риск определяется как

$R_g(f)=\mathbb{E}\bigl[\ell(f(X),Y)\mid G=g\bigr].$

Средний риск

$R(f)=\sum_g P(G=g)R_g(f)$

может быть малым при большом риске для редкой группы. Поэтому для аудита применяют наихудший групповой риск

$R_{\max}(f)=\max_{g\in\mathcal{G}}R_g(f).$

Эта идея лежит в основе распределённо-робастной оптимизации, в частности Group DRO, где модель оптимизируется с учётом групп с наибольшей текущей ошибкой.^[1]

Вероятность пропуска редкой области

Даже при независимом случайном отборе редкая область может не попасть в выборку. Если $\pi_B=P^\star(B)$ , то вероятность не увидеть ни одного объекта из $B$ в выборке объёма $n$ равна

$\Pr\{n_S(B)=0\}=(1-\pi_B)^n.$

Отсюда следует практический вывод: простое увеличение общей выборки не всегда эффективно. Для редких, но важных областей нужны стратификация, целевой добор или отдельные тестовые наборы.

Условие перекрытия

При сдвиге ковариат предполагают, что

$P_S(Y\mid X)=P^\star(Y\mid X),\qquad P_S(X)\ne P^\star(X).$

Тогда применяют веса важности

$w(x)=\frac{p^\star(x)}{p_S(x)}.$

Однако если $p_S(x)=0$ при $p^\star(x)>0$ , вес не определён. Это принципиальное ограничение: взвешивание корректирует недопредставленность, но не восстанавливает информацию из полностью отсутствующей области.^[1]

Виды слепых зон

Вид	Как возникает	Пример	Чем опасен
Слепая зона выборочной рамки	Часть целевой совокупности не имеет шанса попасть в данные.	Опрос проводится только через мобильное приложение.	Выводы ошибочно распространяются на ненаблюдаемых людей.
Редкая подгруппа	Группа присутствует, но её объём слишком мал.	Редкий диагноз, малый язык, нетипичный регион.	Метрика нестабильна, ошибка плохо оценивается.
Скрытая стратификация	Одна грубая метка объединяет разные подтипы.	Метка «заболевание» скрывает клинически разные варианты.	Высокая средняя точность маскирует провал на подтипе.
Доменная слепая зона	Данные собраны в ограниченном наборе сред.	Обучение на снимках одной больницы, внедрение в другой.	Качество падает при переносе.
Временная слепая зона	Исторические данные не отражают новые условия.	Изменение мошеннических схем или пользовательских запросов.	Модель деградирует после внедрения.
Зона ложных корреляций	Модель использует поверхностный признак, случайно связанный с меткой.	Класс объекта распознаётся по фону, а не по самому объекту.	Возникает обучение по короткому пути.^[1]
Слепая зона оценки	Метрика не чувствительна к важному сценарию.	Публикуется только средняя точность без групповых срезов.	Ошибка обнаруживается уже в эксплуатации.

Причины возникновения

Ограниченная выборочная рамка

Выборочная рамка часто уже целевой совокупности. База клиентов не описывает всех потенциальных клиентов; открытый медицинский набор не описывает все клиники; веб-корпус не описывает устную речь, закрытые профессиональные документы и сообщества с малым цифровым следом. Самое неприятное здесь то, что отсутствующие объекты не оставляют прямого следа в данных.

Самоотбор и историческая политика

Данные в прикладных системах редко появляются нейтрально. Их создают прошлые решения: кому показали товар, кого направили к врачу, чью заявку проверили вручную, какой пользователь согласился участвовать. Поэтому модель обучается не только на реальности, но и на следах прежней политики действий. Это один из источников смещения отбора.^[1]

Грубые метки

Если метка слишком крупная, она скрывает подтипы. В медицине это разные клинические варианты одной болезни; в модерации — разные формы нарушения; в компьютерном зрении — различия фона, позы, освещения и качества съёмки. Модель оптимизирует заданную метку, но не получает сигнала о различиях, которые важны при применении.

Высокая размерность

В многомерных данных отдельные признаки могут выглядеть хорошо покрытыми, но их пересечения остаются пустыми. Набор может содержать разные регионы, возрастные группы и устройства, но почти не содержать пожилых пользователей из конкретного региона на старой версии устройства. Именно такие пересечения часто оказываются эксплуатационно важными.

Дубли и переоценка размера

Большой объём данных не равен разнообразию. Если набор содержит много дублей, почти дублей или объектов из одного источника, эффективное число независимых ситуаций ниже номинального. Модель видит много типичных случаев и мало информации о границах применимости.

Как слепые зоны искажают оценку модели

Средняя метрика скрывает локальный провал

Если тестовая часть получена случайным разбиением исходного набора, она имеет те же пробелы, что и обучение. Такая проверка измеряет качество внутри $P_S$ , а не качество в целевой среде $P^\star$ . Поэтому для рискованных приложений случайный test split — только базовая санитарная проверка, но не доказательство надёжности.

Ложные признаки становятся «решением»

Когда в обучающих данных фон, источник, стиль разметки или устройство коррелируют с меткой, модель может использовать этот признак вместо причинно значимого. На стандартном тесте это выглядит как успех; при нарушении корреляции возникает провал. В NLP похожий эффект обнаруживали на задачах логического вывода, где модели использовали поверхностные синтаксические эвристики.^[1]

Справедливость ухудшается на пересечениях групп

Проблема не всегда видна по одному атрибуту. Модель может приемлемо работать по полу и возрасту отдельно, но плохо работать на их пересечении с регионом, языком или устройством. Поэтому анализ справедливости требует не только защищённых атрибутов, но и предметно осмысленных срезов, если их сбор правомерен и этически обоснован.

Бенчмарк перестаёт быть представительным

Для LLM отдельная опасность — подмена реального распределения задач статическим набором вопросов. В работе ACL 2024 показано, что предположения о распределении тестовых запросов влияют на ранжирование моделей: корреляции между примерами и выбор весов могут менять выводы об относительном качестве систем.^[1] Поэтому один средний балл по бенчмарку становится слабым аргументом без анализа состава теста.

Обнаружение слепых зон

Документирование данных

Первый шаг — восстановить происхождение данных: кто попал в выборку, кто не мог попасть, какие фильтры применялись, какие инструкции получали разметчики, какие версии источников использовались. Для этого предложены datasheets for datasets, data statements и model cards.^[1]^[1]^[1] Документация не заменяет статистику, но без неё статистика часто отвечает не на тот вопрос.

Профилирование и срезы

Если доступны метаданные, строят распределения по источникам, времени, доменам, устройствам, группам, разметчикам и важным пересечениям. Для каждого среза считают объём, долю, пропуски, качество разметки и метрики модели. При малом числе объектов точечная оценка почти бесполезна; нужны доверительные интервалы или хотя бы явная пометка, что качество не оценено.

Сравнение распределений

Когда есть данные из новой среды, обучающую и целевую выборки сравнивают статистически. Используются двухвыборочные тесты, классификаторные тесты и меры расстояния между распределениями. Например, maximum mean discrepancy проверяет различие распределений через функции в воспроизводящем ядровом гильбертовом пространстве.^[1] Ограничение очевидно: тест сравнивает две наблюдаемые выборки, но не перечисляет всё, что осталось за их пределами.

Поиск скрытых областей ошибки

Если срезы неизвестны заранее, их ищут по ошибкам и представлениям модели. Используются кластеризация эмбеддингов, деревья решений поверх признаков ошибки, визуализация, анализ трудных примеров. GEORGE восстанавливает скрытые подклассы в признаковом пространстве и использует их для робастного обучения.^[1] Domino ищет когерентные срезы систематических ошибок с помощью кросс-модальных эмбеддингов.^[1]

Поведенческие и контрастные тесты

Поведенческое тестирование проверяет конкретные способности модели, а не только средний балл. CheckList предлагает тесты на инвариантность, направленные ожидания и минимальные функциональные примеры.^[1] Контрастные наборы строятся через небольшие осмысленные изменения примеров и выявляют локальные провалы границы решения.^[1] Для LLM это особенно важно: две семантически близкие формулировки инструкции могут давать существенно разные результаты.^[1]

Картография данных

Dataset cartography анализирует динамику обучения по отдельным примерам: уверенность, изменчивость предсказаний и корректность на разных эпохах. Это помогает выделять лёгкие, неоднозначные и трудные области набора.^[1] Метод не находит полностью отсутствующие области, но хорошо показывает, где наблюдаемые данные уже находятся на границе надёжности.

Метод	Что показывает	Сильная сторона	Ограничение
Документирование	Известные пробелы сбора	Делает предположения явными	Зависит от честности и полноты описания
Срезы по метаданным	Ошибки по группам и источникам	Простая интерпретация	Нужны метаданные и достаточный объём
Двухвыборочные тесты	Отличие старой и новой среды	Полезны при внедрении	Не видят ненаблюдаемое
Поиск скрытых срезов	Кластеры систематических ошибок	Находит неожиданные провалы	Может давать корреляционные, а не причинные срезы
Контрастные тесты	Локальные слабости модели	Проверяют конкретные способности	Требуют экспертной разработки
OOD-детекция	Объекты вне знакомого распределения	Удобна как сигнал тревоги	Не заменяет групповой аудит

Методы уменьшения риска

Добор и перепроектирование данных

Самое надёжное исправление — собрать данные там, где обнаружен пробел. Используются стратифицированная выборка, целевой добор редких групп, расширение источников, внешние тестовые наборы и временные holdout-разбиения. Если модель будет применяться в новой больнице, стране или платформе, данные из этой среды должны участвовать хотя бы в независимой проверке.

Активное обучение

Активное обучение выбирает объекты, разметка которых наиболее полезна. Классические стратегии основаны на неопределённости модели, ожидаемом изменении параметров или покрытии пространства представлений.^[1] Core-set-подход выбирает подмножество, хорошо покрывающее данные в признаковом пространстве.^[1] Метод полезен, если неразмеченный пул действительно содержит слепую область; если её нет даже в пуле, активное обучение не поможет.

Взвешивание

При недопредставленности, но не полном отсутствии, применяют веса по группам или веса важности. Это может приблизить обучение к целевому распределению, но увеличивает дисперсию оценок и требует перекрытия между $P_S$ и $P^\star$ .^[1] Практически веса стоит использовать вместе с проверкой объёма группы, иначе модель может начать переобучаться на нескольких шумных примерах.

Робастная оптимизация

Group DRO и родственные методы минимизируют не только среднюю ошибку, но и ошибку наиболее проблемных групп.^[1] Это полезно при известных групповых сдвигах и ложных корреляциях. Слабое место метода — зависимость от правильного определения групп: если важная подгруппа не размечена или отсутствует, оптимизация не создаст недостающий сигнал.

Контрфактическая аугментация

Аугментация данных может ослабить ложные корреляции, если создаёт осмысленные примеры, нарушающие нежелательную связь. Контрфактически дополненные данные строятся через минимальные изменения, которые сохраняют или меняют метку согласно предметной логике.^[1] Это не универсальная замена реальным данным: плохая аугментация легко создаёт новые артефакты.

Ограничение области применения

Если пробел нельзя закрыть, корректное решение — ограничить область применения модели. В документации должны быть указаны источники данных, известные непокрытые области, условия проверки, признаки отказа и сценарии ручной проверки. Для ответственных систем такая честная граница применимости важнее, чем небольшая прибавка к средней метрике.

Практический протокол

Шаг	Вопрос	Что сделать	Выход
Определить целевую среду	Где модель должна работать?	Описать объекты, источники, периоды, группы и недопустимые ошибки.	Явная область применения.
Восстановить сбор данных	Кто и почему попал в выборку?	Зафиксировать фильтры, самоотбор, политику показа, инструкции разметки.	Список механизмов смещения.
Проверить покрытие	Какие группы малы или отсутствуют?	Посчитать частоты, пересечения, пропуски, объёмы срезов.	Карта недопредставленности.
Оценить модель по срезам	Где ошибка выше средней?	Сравнить метрики по источникам, времени, группам и скрытым кластерам.	Список зон риска.
Провести стресс-тест	Что будет при нарушении привычных корреляций?	Создать контрастные и внешние тесты.	Оценка устойчивости.
Исправить или ограничить	Можно ли закрыть пробел?	Добрать данные, изменить веса, применить робастное обучение или ограничить использование.	Обновлённая модель и документация.
Мониторить после внедрения	Не появилась ли новая слепая зона?	Отслеживать сдвиг распределения, ошибки по группам, жалобы и новые источники.	Регулярный аудит.

Ограничения

Полного автоматического обнаружения слепых зон не существует. Если область не представлена в данных и нет внешнего знания о целевой среде, алгоритм не может надёжно вывести её структуру из пустоты. Поэтому анализ покрытия всегда соединяет статистику с предметной экспертизой.

Вторая трудность — проклятие размерности. Число потенциальных пересечений признаков быстро растёт, а проверка всех комбинаций создаёт множественные сравнения и нестабильные оценки. Нужны приоритеты: критичные сценарии, известные источники риска, группы с высокой ценой ошибки.

Третья трудность — качество метаданных. Без сведений о времени, источнике, разметчике, устройстве или группе многие пробелы становятся невидимыми. Восстановление таких атрибутов косвенными методами может помочь, но само несёт риск смещения.

Четвёртая трудность характерна для фундаментальных моделей. Наборы данных огромны, смешаны из множества источников и часто не полностью воспроизводимы. DataComp-LM показывает, что дизайн и фильтрация данных для языковых моделей становятся самостоятельным объектом исследования, а не технической деталью препроцессинга.^[1] Работы по LiveBench и робастности LLM-оценки показывают другой риск: даже тест может устареть, загрязниться или не соответствовать предполагаемому сценарию применения.^[1]^[1]

Типичные ошибки

Ошибка	Почему это плохо	Как лучше
Считать размер данных гарантией покрытия	Большой набор может быть однообразным.	Оценивать источники, группы, пересечения и дубли.
Ограничиться случайным разбиением	Тест наследует пробелы обучения.	Добавлять внешние, временные и доменные проверки.
Смотреть только среднюю точность	Редкая группа исчезает в агрегате.	Публиковать метрики по срезам и доверительные интервалы.
Приравнять проблему к дисбалансу классов	Слепая зона может быть внутри класса.	Анализировать подклассы, домены и скрытые кластеры.
Исправлять всё аугментацией	Синтетика может создать новые артефакты.	Проверять аугментацию внешним тестом и экспертной оценкой.
Использовать веса без перекрытия	При $p_S(x)=0$ коррекция невозможна.	Проверять поддержку и ограничивать область применения.
Считать OOD-детектор защитой	Внутридоменная редкая группа может не выглядеть OOD.	Совмещать OOD-сигналы с групповым и срезовым аудитом.

Современные исследования и примеры

Реалистичные сдвиги

WILDS систематизировал оценку на реалистичных сдвигах: между больницами, камерами, регионами, временем и другими условиями.^[1] Его значение в том, что он разрушает удобную иллюзию: хорошая внутридоменная точность не равна готовности к эксплуатации.

Медицинская скрытая стратификация

Работы о скрытой стратификации показали, что грубая метка может скрывать клинически важные подтипы.^[1] Для медицинских моделей это означает: тест «болезнь против нормы» недостаточен, если внутри болезни есть подтипы с разной визуальной картиной, распространённостью и ценой ошибки.

Систематические ошибки в срезах

GEORGE и Domino иллюстрируют переход от ручного просмотра ошибок к поиску когерентных областей провала.^[1]^[1] В больших проектах это становится обязательной практикой: без автоматизированного поиска срезов команда видит только те проблемы, которые заранее догадалась проверить.

LLM и фундаментальные модели

Для LLM слепые зоны возникают в двух местах: в обучающих корпусах и в оценке. DataComp-LM рассматривает корпус как экспериментальную переменную и показывает, что фильтрация, дедупликация и смесь источников существенно влияют на downstream-качество.^[1] LiveBench отвечает на другую проблему — статические тесты быстро устаревают и могут попадать в обучение новых моделей; поэтому бенчмарк использует обновляемые вопросы и автоматическую проверку с объективными ответами.^[1] Работа ACL 2024 о робастности LLM-оценки подчёркивает, что даже внутри одного бенчмарка распределительные предположения могут менять ранжирование моделей.^[1]

Для мультимодальных фундаментальных моделей отдельную линию образуют исследования робастности к естественным, синтетическим и adversarial-сдвигам. Работа 2024 года по zero-shot-робастности мультимодальных моделей показывает, что высокая zero-shot-точность не гарантирует устойчивости к широкому спектру сдвигов и атак.^[1]

Значение для науки и практики

Для прикладной математики слепые зоны выборки напоминают, что оценка риска всегда относится к некоторому распределению. Нельзя подменять целевую совокупность удобной наблюдаемой выборкой без явного допущения.

Для анализа данных это практический стандарт качества: отчёт должен говорить не только «что показала модель», но и «на ком это проверено». Хороший анализ покрытия часто предотвращает ошибочные управленческие решения раньше, чем сложные методы интерпретации модели.

Для машинного обучения слепые зоны объясняют разрыв между бенчмарком и внедрением. Надёжная модель требует не только оптимизации функции потерь, но и контроля данных, срезов, внешних тестов, мониторинга и честной области применимости.

В ответственных областях — медицине, финансах, транспорте, образовании, правовых и государственных сервисах — слепая зона может быть не технической мелочью, а причиной систематического вреда для малой группы. Поэтому высокая средняя точность без анализа покрытия не является достаточным доказательством безопасности.

См. также

Примечания

Литература

Cochran W. G. Sampling Techniques. 3rd ed. New York: Wiley, 1977.
Lohr S. L. Sampling: Design and Analysis. 3rd ed. Boca Raton: CRC Press, 2021.
Heckman J. J. Sample Selection Bias as a Specification Error // Econometrica. 1979. Vol. 47, No. 1. P. 153–161.
Torralba A., Efros A. A. Unbiased Look at Dataset Bias // CVPR 2011. IEEE, 2011.
Ben-David S., Blitzer J., Crammer K., Kulesza A., Pereira F., Vaughan J. W. A Theory of Learning from Different Domains // Machine Learning. 2010. Vol. 79. P. 151–175.
Geirhos R. et al. Shortcut Learning in Deep Neural Networks // Nature Machine Intelligence. 2020. Vol. 2. P. 665–673.
Sagawa S., Koh P. W., Hashimoto T. B., Liang P. Distributionally Robust Neural Networks for Group Shifts // ICLR 2020.
Oakden-Rayner L., Dunnmon J., Carneiro G., Ré C. Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical Imaging // CHIL 2020.
Koh P. W. et al. WILDS: A Benchmark of in-the-Wild Distribution Shifts // ICML 2021.
Gebru T. et al. Datasheets for Datasets // Communications of the ACM. 2021.
Bender E. M., Friedman B. Data Statements for Natural Language Processing // Transactions of the Association for Computational Linguistics. 2018.
Mitchell M. et al. Model Cards for Model Reporting // FAT* 2019.
Siska C., Marazopoulou K., Ailem M., Bono J. Examining the Robustness of LLM Evaluation to the Distributional Assumptions of Benchmarks // ACL 2024.
Sun J., Shaib C., Wallace B. C. Evaluating the Zero-shot Robustness of Instruction-tuned Language Models // ICLR 2024.
Li J. et al. DataComp-LM: In search of the next generation of training sets for language models. arXiv:2406.11794, 2024.
White C. et al. LiveBench: A Challenging, Contamination-Free LLM Benchmark. arXiv:2406.19314, 2024.
Wang C., Jia R., Liu X., Song D. Benchmarking Zero-Shot Robustness of Multimodal Foundation Models: A Pilot Study. arXiv:2403.10499, 2024.

Ссылки

Источник — «http://www.machinelearning.ru/wiki/index.php?title=%D0%A1%D0%BB%D0%B5%D0%BF%D1%8B%D0%B5_%D0%B7%D0%BE%D0%BD%D1%8B_%D0%B2%D1%8B%D0%B1%D0%BE%D1%80%D0%BA%D0%B8»

@@ Строка 407: / Строка 407: @@
 === Медицинская скрытая стратификация ===
-Работы о скрытой стратификации показали, что грубая метка может скрывать клинически важные подтипы.<ref name="hidden-stratification" /> Для медицинских моделей это означает: тест «болезнь против нормы» недостаточен, если внутри болезни есть подтипы с разной визуальной картиной, распространённостью и ценой ошибки.
+Работы о скрытой стратификации показали, что грубая метка может скрывать клинически важные подтипы.<ref name="hidden-stratification">Oakden-Rayner L., Dunnmon J., Carneiro G., Ré C. Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical Imaging // ''Proceedings of the ACM Conference on Health, Inference, and Learning''. 2020. URL: https://arxiv.org/abs/1909.12475</ref> Для медицинских моделей это означает: тест «болезнь против нормы» недостаточен, если внутри болезни есть подтипы с разной визуальной картиной, распространённостью и ценой ошибки.
 === Систематические ошибки в срезах ===