Explainable AI

Материал из MachineLearning.

Текущая версия

Статья написана с использованием LLM Claude Opus 4.8 и проверена участником Vladimir Beliaev 21:02, 13 июля 2026 (MSD)

Explainable AI (Шаблон:Lang-en, XAI; «объяснимый искусственный интеллект») — совокупность методов и подходов, позволяющих человеку понять, почему модель машинного обучения выдала то или иное решение. Потребность в XAI возникла как ответ на «чёрный ящик» современных моделей: глубокая нейросеть с миллиардами параметров может быть очень точной, но по её весам невозможно напрямую понять логику конкретного предсказания.

Мотивировка не академическая, а вполне практическая. Когда модель отказывает в кредите, ставит медицинский диагноз или оценивает риск рецидива в суде, недостаточно знать, что она «обычно права». Нужно уметь ответить на вопрос «почему именно это решение и именно для этого человека» — этого требуют и здравый смысл, и регуляторы (в ЕС «право на объяснение» связывают с GDPR).

Два понятия, которые важно различать

В русскоязычной (да и в англоязычной) литературе термины часто путают, хотя за ними стоят разные идеи.

Интерпретируемость (interpretability) 

Свойство самой модели быть понятной по построению. Линейная регрессия, небольшое дерево решений, набор правил — их логику можно проследить целиком. Такие модели называют «прозрачными» или «белыми ящиками».

Объяснимость (explainability) 

Способность дать человеку понятное объяснение поведения модели без требования понимать её внутреннее устройство. Объяснимость применима и к чёрным ящикам — через post-hoc методы, надстраиваемые над уже обученной моделью.

Это различие — не педантизм. Оно задаёт главный водораздел всей области, к которому мы вернёмся в конце: стоит ли объяснять чёрный ящик постфактум или сразу строить модель, не нуждающуюся в объяснении.

Как классифицируют методы XAI

Методы удобно раскладывать по нескольким осям.

• По охвату: локальные объясняют одно конкретное предсказание; глобальные описывают поведение модели в целом.
• По привязке к модели: модельно-специфичные используют внутреннее устройство (например, градиенты нейросети); модельно-агностичные работают с любой моделью как с чёрным ящиком, дёргая её за входы и наблюдая выходы.
• По моменту применения: ante-hoc (интерпретируемость встроена в модель) против post-hoc (объяснение строится после обучения).

LIME: объяснение через локальную аппроксимацию

LIME (Local Interpretable Model-agnostic Explanations), предложенный Рибейро и соавторами в 2016 году, исходит из простой идеи: сложная граница решений глобально нелинейна, но локально, вблизи одной точки, её можно приблизить простой линейной моделью^[1]. Вокруг объясняемого примера генерируют возмущённые копии, смотрят, как меняется ответ модели, и обучают на этом прозрачный суррогат.

Формально LIME ищет объяснение ξ(x) для примера x как решение задачи:

ξ(x) = arg min_{g ∈ G} [ L(f, g, π_x) + Ω(g) ]

Здесь f — объясняемая модель, g — простой суррогат из класса интерпретируемых моделей G, π_x — мера близости к точке x (задаёт «локальность»), L — ошибка приближения f суррогатом g в окрестности, а Ω(g) штрафует сложность объяснения. LIME интуитивен и быстр, но его объяснения бывают неустойчивы: результат зависит от способа возмущения и от масштаба окрестности.

SHAP: объяснение через теорию игр

SHAP (SHapley Additive exPlanations), предложенный Лундбергом и Ли в 2017 году, ставит задачу иначе и опирается на кооперативную теорию игр^[1]. Каждый признак трактуется как «игрок», а предсказание — как «выигрыш», который нужно справедливо разделить между игроками. Справедливое разделение задаётся классической конструкцией — значением Шепли из работы Шепли 1953 года^[1].

Вклад признака i вычисляется как взвешенное среднее его предельного вклада по всем возможным коалициям признаков:

φ_i = ∑_{S ⊆ N \ {i}} [ |S|! · (|N| − |S| − 1)! / |N|! ] · [ v(S ∪ {i}) − v(S) ]

где N — множество всех признаков, S — коалиция без признака i, а v(S) — предсказание модели, использующей только признаки из S. Разность v(S ∪ {i}) − v(S) — это предельный вклад признака i в коалицию S, а дробь перед скобкой — вес, с которым усредняются все такие вклады. Значения Шепли обладают полезными свойствами (в частности, аддитивностью: сумма вкладов равна отклонению предсказания от среднего), поэтому SHAP теоретически обоснованнее LIME. Плата за это — вычислительная стоимость: точный расчёт перебирает экспоненциальное число коалиций, поэтому на практике используют приближения (KernelSHAP, TreeSHAP).

Прямое сравнение показывает, что SHAP обычно согласованнее и ближе к человеческой интуиции, но оба метода чувствительны к выбору модели и к коллинеарности признаков — на это стоит смотреть с осторожностью^[1].

Другие семейства методов

• Градиентные методы для нейросетей: Grad-CAM и родственные подходы подсвечивают области изображения, сильнее всего повлиявшие на решение^[1]; сюда же относятся интегрированные градиенты и карты значимости (saliency maps).
• Контрфактические объяснения (counterfactuals): вместо «почему такое решение» отвечают на «что нужно изменить во входе, чтобы решение стало другим» — часто это самая понятная форма для конечного пользователя.
• Механистическая интерпретируемость: молодое направление, пытающееся понять внутреннюю «схемотехнику» нейросетей — какие нейроны и цепочки за что отвечают. Особенно активно развивается применительно к большим языковым моделям.

Неудобная правда: объяснение может быть неверным

Ключевая и часто недооценённая проблема XAI — достоверность (faithfulness): объяснение может быть убедительным для человека, но плохо отражать то, что на самом деле делает модель. Post-hoc метод строит приближённую историю поведения модели, и эта история не обязана быть правдой. Хуже того, локальное объяснение для одного случая может вводить в заблуждение относительно поведения модели на других объектах, особенно для недопредставленных подгрупп — что напрямую связано с темой смещений.

Отсюда — влиятельная и полемичная позиция Синтии Рудин, сформулированная в Nature Machine Intelligence в 2019 году: в задачах с высокой ценой ошибки (медицина, правосудие, кредитование) не следует объяснять чёрные ящики постфактум — вместо этого нужно с самого начала строить интерпретируемые модели^[1]. Распространённое возражение «за точность приходится платить непрозрачностью» Рудин оспаривает: на структурированных данных грамотно построенная интерпретируемая модель часто не уступает чёрному ящику в точности. Развёрнутую программу области она позже изложила в обзоре «десяти больших вызовов интерпретируемого машинного обучения»^[1].

Приложения

XAI востребован везде, где решение нужно обосновать: в медицине (какие признаки снимка привели к диагнозу), в финансах (обоснование отказа по кредиту для регулятора и клиента), в промышленности (почему модель предсказала поломку), в науке (см. ИИ в научных исследованиях, где объяснение модели может подсказать новую гипотезу). Отдельная ценность XAI — как инструмент отладки: объяснения нередко вскрывают, что модель опирается на артефакт данных (классический пример — «эффект умного Ганса», когда модель распознаёт не объект, а посторонний признак вроде подписи на снимке).

Открытые проблемы

• Достоверность против понятности. Чем проще и приятнее объяснение для человека, тем выше риск, что оно неточно передаёт логику модели.
• Отсутствие единых метрик. Нет общепринятого способа измерить, «хорошо» ли объяснение; свойства вроде устойчивости и согласованности формализованы лишь частично.
• Объяснения и приватность. Объяснения способны утекать информацию об обучающих данных, что создаёт новые риски.
• XAI для генеративных моделей. Классические SHAP и LIME плохо переносятся на большие языковые и мультимодальные модели; здесь на первый план выходит механистическая интерпретируемость.
• Человеческий фактор. Объяснение полезно лишь тогда, когда понятно конкретному адресату — врачу, юристу, клиенту; направление human-centered XAI изучает, как это обеспечить.

См. также

• Смещение данных: bias in ML
• Дерево решений
• Линейная регрессия
• Большие языковые модели
• ИИ в научных исследованиях

Примечания

Ссылки

• Interpretable Machine Learning — открытая книга К. Мольнара, стандартный современный справочник по XAI
• Stop Explaining Black Box Models… — программная статья К. Рудин
• SHAP — эталонная реализация метода