Фальсификация модели

Материал из MachineLearning.

Версия от 23:57, 6 июля 2026; Miraslava Ladutska (Обсуждение | вклад)
(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)
Перейти к: навигация, поиск
Статья написана с использованием LLM Claude Sonnet 5 и проверена участником Miraslava Ladutska 7 июля 2026 (MSD).


Фальсификация модели — проверка статистической или машинно-обучаемой модели, направленная на поиск данных или условий, при которых её предсказания систематически расходятся с действительностью. Обнаружение такого расхождения не означает автоматический отказ от модели: оно ставит модель под сомнение и требует проверки измерений, исходных допущений или границ области применимости. Понятие восходит к Карлу Попперу, для которого научная теория должна быть в принципе опровержимой — запрещать некоторый класс наблюдений, обнаружение которых становится поводом для критического пересмотра теории[1]. В прикладной статистике и машинном обучении эта идея реализуется через конкретные диагностические процедуры: проверку статистических гипотез, кросс-проверку, апостериорные предиктивные проверки, тестирование на устойчивость к сдвигу распределения и состязательное тестирование.

Модель почти никогда не опровергается «целиком» — фальсифицируется, как правило, конкретное утверждение: пригодность модели для определённой задачи, распределения данных, спецификации параметров или набора данных. Модель, отвергнутая для одной выборки, может оставаться приемлемой для других. Это согласуется с известным тезисом Джорджа Бокса о том, что все модели являются приближениями и в строгом смысле неверны, но некоторые из них полезны[1].

Содержание


Терминология: как разграничить смежные понятия

Слова «фальсификация», «валидация», «верификация», «оценка качества», «калибровка» и «стресс-тестирование» в разговорной речи нередко используются как синонимы, однако обозначают разные операции.

Разграничение смежных терминов
Термин Что именно проверяется Типичный вопрос
Фальсификация Существование наблюдений или условий, при которых предсказания модели систематически неверны «Можно ли найти данные, опровергающие модель?»
Валидация Пригодность модели для конкретной цели применения в целом «Годится ли модель для решения нашей задачи?»
Верификация Соответствие реализации модели (кода, вычислительной схемы) её формальной спецификации, независимо от согласия с реальными данными «Правильно ли модель запрограммирована и вычислена?»
Оценка качества (performance evaluation) Численное значение метрики точности, полноты, ошибки и т. п. на заданных данных «Насколько хороша модель по выбранной метрике?»
Калибровка Соответствие заявленных моделью вероятностей фактической частоте событий «Если модель говорит «70 % шанс», происходит ли событие действительно в 70 % таких случаев?»
Стресс-тестирование Поведение модели в редких, экстремальных или намеренно неблагоприятных условиях «Что произойдёт с моделью в наихудшем правдоподобном сценарии?»

Фальсификацию можно рассматривать как один из этапов валидации — попытку заранее найти условия, в которых модель заведомо не работает, прежде чем признать её пригодной в целом. Верификация, в отличие от остальных понятий этого списка, вообще не апеллирует к данным реального мира — модель может быть безупречно верифицирована и при этом фальсифицирована, и наоборот.

Отдельно стоит развести близкие по звучанию, но разные по смыслу термины: меморизация (запоминание моделью конкретных обучающих примеров) не то же самое, что «мемоизация» — техника кэширования промежуточных результатов вычислений в программировании.

Терминология: базовые понятия

  • Модель — формализованное представление зависимости между наблюдаемыми величинами, задаваемое семейством распределений вероятностей, функцией или алгоритмом, порождающим предсказания на основе входных данных.
  • Опровержимость (falsifiability) — свойство теории или модели формулировать проверяемые, потенциально ложные предсказания.
  • Спецификация и ошибка спецификации — соответствие структуры модели предполагаемому механизму порождения данных; ошибка спецификации возникает, когда функциональная форма, распределение ошибок или набор предикторов подобраны неверно.
  • Переобучение (overfitting) и Недообучение (underfitting) — два типа несоответствия модели данным, различающиеся направлением ошибки.
  • Критерий согласия (goodness of fit) — статистическая мера расхождения между наблюдаемыми данными и распределением, предсказываемым моделью.
  • Сдвиг распределения (dataset shift) — изменение совместного распределения входов и выходов между обучающей и эксплуатационной выборками; частный случай — сдвиг ковариат (covariate shift), когда меняется только распределение входов[1].
  • Апостериорная предиктивная проверка (posterior predictive check) — байесовская процедура, при которой из апостериорного распределения параметров модели генерируются синтетические данные, статистики которых сравниваются со статистиками наблюдаемых данных[1].

Исторический и исследовательский контекст

Философский фундамент понятия заложен Карлом Поппером в 1930-е годы как критерий демаркации между научным и ненаучным знанием[1]. Перенос идеи в статистическую практику произошёл через развитие теории проверки статистических гипотез в работах Роналда Фишера, Ежи Неймана и Эгона Пирсона, где формальным аналогом попытки опровержения стала проверка нулевой гипотезы против критического значения статистики.

Джордж Бокс подчёркивал, что задача исследователя — не искать «правильную» модель ценой чрезмерного усложнения, а обнаруживать те отклонения от реальности, которые существенны для решаемой задачи[1]. Позднее Брюс Линдсей и Цзявэй Лю показали, что при достаточно большом объёме данных практически любая содержательная модель будет отвергнута критерием согласия, поскольку конечная выборка почти всегда позволяет обнаружить сколь угодно малое расхождение с истинным, более сложным механизмом порождения данных; отсюда необходимость различать статистическую значимость отклонения и его практическую значимость[1].

Переход к машинному обучению внёс два изменения в практику фальсификации моделей. Во-первых, Лео Брейман противопоставил традиционную «культуру моделирования данных» (data modeling), где модель проверяется через критерии согласия с предполагаемым порождающим распределением, и «алгоритмическую культуру» (algorithmic modeling), где модель — чёрный ящик, а её пригодность проверяется по точности предсказаний на отложенных данных[1]. Во-вторых, с ростом масштаба моделей и данных на первый план вышла проблема сдвига распределения между обучающей и эксплуатационной выборками[1]. Для больших языковых моделей добавилась третья проблема — сложность отличить обобщение закономерностей языка от буквального запоминания фрагментов обучающего корпуса (раздел «Современные исследования»).

Интуитивный пример: линейная регрессия и её остатки

Пусть исследователь предполагает линейную зависимость расхода топлива автомобиля от его массы и оценивает по данным прямую \hat{y} = a + bx. Модель делает конкретное, опровержимое предсказание: остатки — разности между наблюдаемым y и предсказанным \hat{y} — не должны содержать оставшейся структуры: без тренда, без роста разброса с ростом x, без связи между соседними наблюдениями.

Если график остатков против x образует дугу (для лёгких и тяжёлых автомобилей модель систематически занижает или завышает расход), это опровергает не саму идею зависимости, а предположение о её линейности. Разумная реакция — добавить квадратичный член или перейти к логарифмической шкале, а не отказ от регрессионного подхода в целом. Этот пример иллюстрирует общий принцип: фальсификация работает через явно сформулированные, проверяемые следствия модели, а не через общее ощущение «модель кажется неточной».

Математическая постановка

Дальше формально записывается та же идея: проверяем, могут ли реальные данные быть порождены нашей моделью, и если нет — насколько сильно и в каком именно отношении они расходятся.

Модель как проверяемая гипотеза

Пусть наблюдаемые данные X_1, \dots, X_n — реализации случайных величин с истинным, вообще говоря неизвестным, распределением P^*. Модель \mathcal{M} задаёт семейство распределений \{P_\theta : \theta \in \Theta\}, параметризованное вектором \theta. Модель называется корректно специфицированной, если существует такое \theta_0 \in \Theta, что P_{\theta_0} = P^*, и неверно специфицированной в противном случае. Формально фальсификация модели есть проверка нулевой гипотезы

H_0: P^* \in \{P_\theta : \theta \in \Theta\}

против альтернативы H_1: P^* \notin \{P_\theta : \theta \in \Theta\} — то есть «данные порождены не этой моделью, а чем-то другим».

Статистика расхождения и критерий согласия

Для проверки строится статистика расхождения T(X_1, \dots, X_n) — число, тем большее, чем сильнее данные не согласуются с моделью. В примере с остатками регрессии такой статистикой могла бы служить корреляция между остатками и x^2: если модель верна, эта корреляция должна быть близка к нулю. Для категориальных данных часто используют статистику хи-квадрат Пирсона

T = \sum_{k=1}^{K} \frac{(O_k - E_k)^2}{E_k},

где O_k — наблюдаемая, а E_k — ожидаемая по модели частота в k-й категории, либо статистику Колмогорова — Смирнова

D_n = \sup_x \left| \hat{F}_n(x) - F_\theta(x) \right|,

сравнивающую эмпирическую функцию распределения \hat{F}_n с теоретической F_\theta. Модель отвергается, если наблюдаемое значение T статистически маловероятно при истинности H_0, то есть если

p = \Pr_{H_0}(T \geq T_{\text{набл}})

меньше заранее выбранного уровня значимости \alpha. Смысл прост: если бы модель была верна, значение T такой величины наблюдалось бы крайне редко; раз оно всё же наблюдается, естественно усомниться в модели, а не считать произошедшее случайностью.

Байесовский аналог

В байесовской постановке роль критерия согласия выполняет апостериорная предиктивная проверка. Из апостериорного распределения параметров p(\theta \mid X) генерируются реплики данных X^{\text{rep}}, и для статистики расхождения D(X, \theta) вычисляется апостериорное предиктивное p-значение

p_B = \Pr\left( D(X^{\text{rep}}, \theta) \geq D(X, \theta) \mid X \right),

экстремальные значения которого (близкие к 0 или к 1) свидетельствуют о несоответствии модели данным[1].

Предсказательная формулировка

В машинном обучении, где интерес представляет функция предсказания f: \mathcal{X} \to \mathcal{Y}, а не распределение P^* само по себе, фальсификация переформулируется в терминах риска. Пусть L(y, f(x)) — функция потерь, а

R(f) = \mathbb{E}_{(x,y)\sim P^*}\left[ L(y, f(x)) \right]

— истинный риск модели. Обучающая процедура минимизирует эмпирический риск \hat{R}_{\text{train}}(f) на обучающей выборке. Оценка обобщающей способности состоит в измерении риска на данных, не участвовавших в обучении, — \hat{R}_{\text{test}}(f), — а проверка устойчивости к сдвигу распределения — в измерении риска на данных из иного распределения Q \neq P^*, моделирующего условия эксплуатации.

Классификация подходов

Основные подходы к фальсификации модели
Подход Что проверяется Типичный инструмент Область происхождения
Критерий согласия (goodness-of-fit) Соответствие распределения данных предполагаемому распределению модели \chi^2, Колмогоров — Смирнов, Андерсон — Дарлинг Классическая статистика
Анализ остатков Структурные нарушения предположений (гетероскедастичность, автокорреляция, нелинейность) Графики остатков, тест Дарбина — Уотсона, тест Бройша — Пагана Регрессионный анализ
Апостериорная предиктивная проверка Согласие байесовской модели с данными с учётом неопределённости параметров Апостериорное предиктивное p-значение Байесовская статистика
Кросс-проверка (кросс-валидация) Обобщающая способность модели на новых наблюдениях из того же распределения k-фолд, leave-one-out Прикладная статистика, машинное обучение
Проверка на сдвиг распределения Устойчивость модели при изменении P(X) или P(Y \mid X) Тесты на сдвиг ковариат, мониторинг дрейфа Машинное обучение в эксплуатации
Состязательное тестирование Существование локальных возмущений входа, разрушающих предсказание Состязательные примеры, стресс-тесты Безопасность машинного обучения
Бэктестинг Соответствие прогнозных распределений реализовавшимся исходам во времени Christoffersen test, тест Diebold — Mariano Эконометрика, финансовая инженерия
Аудит на утечку и загрязнение данных Совпадение тестовых примеров с обучающими (прямое или почти дословное) Поиск дубликатов, n-граммный анализ пересечений Оценка больших языковых моделей

Строго говоря, кросс-проверка сама по себе не «фальсифицирует» модель в попперовском смысле: она оценивает обобщающую способность, то есть даёт численную оценку ожидаемой ошибки на новых данных из того же распределения. Однако устойчиво высокая ошибка на проверочных фолдах при низкой ошибке на обучающей выборке служит достаточным основанием для отклонения конкретной конфигурации модели (набора признаков, степени полинома, глубины дерева) в пользу другой.

Два развёрнутых примера из практики

Кредитный скоринг при сдвиге распределения. Модель кредитного скоринга, обученная на заявках прошлых лет, может показывать приемлемое качество на отложенной выборке того же периода, но резко терять точность после изменения макроэкономических условий или состава заёмщиков — то есть при сдвиге распределения входных признаков и, возможно, самой зависимости между признаками и вероятностью дефолта[1]. Фальсификация в этом случае состоит не в повторной проверке модели на исторических данных (где она пройдёт проверку), а в целенаправленном тестировании на данных из нового периода или на искусственно смещённой подвыборке. Модель, «опровергнутая» таким образом, остаётся, вообще говоря, корректной для прежней популяции заёмщиков — вывод ограничен конкретным изменившимся распределением.

Загрязнение тестовых данных при оценке больших языковых моделей. Высокое качество языковой модели на популярном бенчмарке может отражать не способность модели рассуждать, а присутствие этих же или почти таких же задач в обучающем корпусе — загрязнение бенчмарка (benchmark contamination)[1]. Проверка заявления «модель решает задачи такого типа» требует не повторного прогона того же бенчмарка, а построения новых задач того же типа, заведомо отсутствовавших в обучающих данных, либо аудита пересечения тестового и обучающего корпусов. Способность моделей воспроизводить дословные фрагменты обучающих текстов при определённых запросах была продемонстрирована как атака извлечения обучающих данных[1], что подрывает достоверность любой проверки, использующей потенциально запомненный моделью материал.

Оба примера объединяет одно и то же различие: неудача модели относится не к модели «вообще», а к конкретному распределению данных или конкретному тестовому материалу — тот же принцип, что и в примере с остатками регрессии выше.

Практический протокол применения

Этапы протокола фальсификации модели
№ Этап Содержание Типичный результат
1 Формулировка проверяемых предсказаний Явное указание наблюдений, которые модель запрещает или считает маловероятными, до обращения к проверочным данным Набор проверяемых гипотез, статистик расхождения или тестовых сценариев
2 Выбор данных для проверки Разделение на обучающую, проверочную и, при необходимости, «сдвинутую» выборки; исключение утечки информации из обучающей выборки в проверочную Изолированные наборы данных с задокументированным происхождением
3 Выбор статистики и критерия принятия решения Определение статистики расхождения, уровня значимости или порога практической значимости отклонения Формализованное правило отклонения модели или конфигурации
4 Проведение проверки Вычисление статистики на проверочных данных, повторение при необходимости на нескольких разбиениях или сдвинутых выборках Численные значения статистик, доверительные интервалы
5 Интерпретация результата с указанием области применимости вывода Разграничение статистической и практической значимости отклонения; явное указание, для какой задачи, распределения и набора данных сделан вывод Решение: принять модель для данной области применения, скорректировать, отвергнуть
6 Документирование и повторная проверка Фиксация условий проверки, включая используемые данные и версию модели, для последующей воспроизводимости Отчёт о валидации, пригодный для аудита

Формулировка проверяемых предсказаний постфактум, после того как результаты уже известны, обесценивает процедуру: она допускает подгонку критерия под желаемый исход и превращает фальсификацию в её видимость.

Ограничения и типичные ошибки

Типичные ошибки при фальсификации моделей
Ошибка Проявление Последствие
Подмена статистической значимости практической Отклонение модели из-за формально значимого, но малого по величине отклонения на очень большой выборке Отказ от полезной, экономной модели в пользу избыточно сложной
Утечка данных между обучающей и проверочной выборками Проверочные данные частично пересекаются с обучающими (по содержанию, времени или источнику) Завышенная оценка обобщающей способности, ложное «прохождение» проверки
Множественные сравнения без поправки Проверка модели по большому числу статистик или подвыборок без учёта эффекта множественного тестирования Ложное обнаружение или, наоборот, ложное отклонение модели
Постфактумный выбор критерия Формулировка проверяемой гипотезы после наблюдения данных Иллюзия подтверждения или опровержения без содержательной проверки
Игнорирование направления альтернативы Использование критериев согласия общего вида там, где отклонение имеет известное направление Низкая мощность теста, пропуск содержательных нарушений[1]
Проверка только на данных из обучающего распределения Отсутствие тестов на устойчивость к сдвигу распределения Модель проходит проверку, но разрушается при изменении условий эксплуатации
Обобщение локального опровержения на всю модель Отказ от модели «вообще» вместо признания её неприменимости к конкретной подвыборке, распределению или диапазону входов Потеря работоспособного инструмента там, где ограниченная область применения была бы достаточна

Отдельного внимания заслуживает предел процедуры, отмеченный Линдсеем и Лю: при достаточно большом объёме данных практически любая нетривиальная модель конечной размерности будет отвергнута критерием согласия, поскольку реальный порождающий механизм почти никогда не совпадает с моделью точно[1]. Отсюда практический вывод: цель фальсификации — не доказательство абсолютной истинности или ложности модели, а выявление отклонений, существенных для конкретной задачи — разграничение «неважно неверного» и «важно неверного», в терминологии Бокса[1].

Современные исследования и примеры

Для больших языковых моделей фальсификация сталкивается с проблемой, которой не было в классической статистике: тестовый материал бенчмарка может физически присутствовать в обучающем корпусе модели. Обзор источников и способов обнаружения такого загрязнения дан Ченом Сюем и соавторами[1]. Отдельно показано, что языковые модели способны при определённых запросах воспроизводить дословные фрагменты обучающих текстов — прямая эмпирическая демонстрация меморизации, а не только теоретическое предположение о ней[1].

Второе направление связано с оценкой моделей по нескольким независимым осям вместо одной метрики точности. Проект Holistic Evaluation of Language Models вводит несколько таких осей — точность, калибровку, устойчивость к возмущениям входа, справедливость, токсичность и вычислительную эффективность — и показывает, что модели, сопоставимые по точности, могут заметно различаться по калибровке или устойчивости[1]. Это означает, что «модель фальсифицирована» и «модель показывает низкую точность» — не одно и то же: каждое из свойств модели требует отдельной проверки.

В эконометрике и финансовой инженерии сохраняет значение сравнение прогнозной точности конкурирующих моделей с помощью теста Diebold — Mariano[1], а для проверки калибровки интервальных и вероятностных прогнозов риска — тест Кристофферсена, предложенный для оценки условного покрытия интервальных прогнозов и широко применяемый при бэктестинге моделей Value-at-Risk[1].

Значение для науки и практики

Фальсификация модели выполняет две различающиеся функции. В научном контексте она служит критерием демаркации содержательных, проверяемых теорий от неопровержимых конструкций, лишённых эмпирического содержания. В инженерном контексте, характерном для машинного обучения, она служит инструментом управления риском: позволяет до развёртывания модели в эксплуатации обнаружить условия, в которых модель даёт систематически неверные предсказания, и тем самым ограничить область её ответственного применения конкретными задачами, распределениями данных и диапазонами входов, для которых проверка была пройдена.

См. также

Примечания


Литература

  • Popper K. The Logic of Scientific Discovery. — London: Hutchinson & Co, 1959.
  • Box G. E. P. Science and Statistics // Journal of the American Statistical Association. — 1976. — Vol. 71, No. 356. — P. 791–799.
  • Breiman L. Statistical Modeling: The Two Cultures // Statistical Science. — 2001. — Vol. 16, No. 3. — P. 199–231.
  • Stone M. Cross-Validatory Choice and Assessment of Statistical Predictions // Journal of the Royal Statistical Society: Series B. — 1974. — Vol. 36, No. 2. — P. 111–147.
  • Gelman A., Meng X.-L., Stern H. Posterior Predictive Assessment of Model Fitness via Realized Discrepancies // Statistica Sinica. — 1996. — Vol. 6, No. 4. — P. 733–760.
  • Quiñonero-Candela J., Sugiyama M., Schwaighofer A., Lawrence N. D. (eds.) Dataset Shift in Machine Learning. — Cambridge, MA: MIT Press, 2009.
  • Lindsay B. G., Liu J. Model Assessment Tools for a Model False World // Statistical Science. — 2009. — Vol. 24, No. 3. — P. 303–318.
  • Bickel P. J., Ritov Y., Stoker T. M. Tailor-made Tests for Goodness of Fit to Semiparametric Hypotheses // The Annals of Statistics. — 2006. — Vol. 34, No. 2. — P. 721–741.
  • Diebold F. X., Mariano R. S. Comparing Predictive Accuracy // Journal of Business & Economic Statistics. — 1995. — Vol. 13, No. 3. — P. 253–263.
  • Christoffersen P. F. Evaluating Interval Forecasts // International Economic Review. — 1998. — Vol. 39, No. 4. — P. 841–862.
  • Carlini N., Tramèr F., Wallace E., Jagielski M., Herbert-Voss A., Lee K., Roberts A., Brown T., Song D., Erlingsson Ú., Oprea A., Raffel C. Extracting Training Data from Large Language Models // Proceedings of the 30th USENIX Security Symposium. — 2021. — P. 2633–2650.
  • Xu C., Guan S., Greene D., Kechadi M.-T. Benchmark Data Contamination of Large Language Models: A Survey. — arXiv:2406.04244, 2024.
  • Liang P., Bommasani R., Lee T. et al. Holistic Evaluation of Language Models. — arXiv:2211.09110, 2022.

Ссылки

Источник — «http://www.machinelearning.ru/wiki/index.php?title=%D0%A4%D0%B0%D0%BB%D1%8C%D1%81%D0%B8%D1%84%D0%B8%D0%BA%D0%B0%D1%86%D0%B8%D1%8F_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8»
Личные инструменты