Explainable AI

Материал из MachineLearning.

Версия от 16:50, 13 июля 2026; Vladimir Beliaev (Обсуждение | вклад)
(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)
Перейти к: навигация, поиск
Статья написана с использованием LLM Claude Opus 4.8 и проверена участником Vladimir Beliaev 20:50, 13 июля 2026 (MSD)


Содержание

Explainable AI (Шаблон:Lang-en, XAI; «объяснимый искусственный интеллект») — совокупность методов и подходов, позволяющих человеку понять, почему модель машинного обучения выдала то или иное решение. Потребность в XAI возникла как ответ на «чёрный ящик» современных моделей: глубокая нейросеть с миллиардами параметров может быть очень точной, но по её весам невозможно напрямую понять логику конкретного предсказания.

Мотивировка не академическая, а вполне практическая. Когда модель отказывает в кредите, ставит медицинский диагноз или оценивает риск рецидива в суде, недостаточно знать, что она «обычно права». Нужно уметь ответить на вопрос «почему именно это решение и именно для этого человека» — этого требуют и здравый смысл, и регуляторы (в ЕС «право на объяснение» связывают с GDPR).

Два понятия, которые важно различать

В русскоязычной (да и в англоязычной) литературе термины часто путают, хотя за ними стоят разные идеи.

Интерпретируемость (interpretability) 
Свойство самой модели быть понятной по построению. Линейная регрессия, небольшое дерево решений, набор правил — их логику можно проследить целиком. Такие модели называют «прозрачными» или «белыми ящиками».
Объяснимость (explainability) 
Способность дать человеку понятное объяснение поведения модели без требования понимать её внутреннее устройство. Объяснимость применима и к чёрным ящикам — через post-hoc методы, надстраиваемые над уже обученной моделью.

Это различие — не педантизм. Оно задаёт главный водораздел всей области, к которому мы вернёмся в конце: стоит ли объяснять чёрный ящик постфактум или сразу строить модель, не нуждающуюся в объяснении.

Как классифицируют методы XAI

Методы удобно раскладывать по нескольким осям.

  • По охвату: локальные объясняют одно конкретное предсказание; глобальные описывают поведение модели в целом.
  • По привязке к модели: модельно-специфичные используют внутреннее устройство (например, градиенты нейросети); модельно-агностичные работают с любой моделью как с чёрным ящиком, дёргая её за входы и наблюдая выходы.
  • По моменту применения: ante-hoc (интерпретируемость встроена в модель) против post-hoc (объяснение строится после обучения).

LIME: объяснение через локальную аппроксимацию

LIME (Local Interpretable Model-agnostic Explanations), предложенный Рибейро и соавторами в 2016 году, исходит из простой идеи: сложная граница решений глобально нелинейна, но локально, вблизи одной точки, её можно приблизить простой линейной моделью[1]. Вокруг объясняемого примера генерируют возмущённые копии, смотрят, как меняется ответ модели, и обучают на этом прозрачный суррогат.

Формально LIME ищет объяснение <math>\xi(x)</math> для примера <math>x</math> как решение задачи

<math>\xi(x) = \underset{g \in G}{\arg\min}\; \mathcal{L}(f, g, \pi_x) + \Omega(g),</math>

где <math>f</math> — объясняемая модель, <math>g</math> — простой суррогат из класса интерпретируемых моделей <math>G</math>, <math>\pi_x</math> — мера близости к точке <math>x</math> (задаёт «локальность»), <math>\mathcal{L}</math> — ошибка приближения <math>f</math> суррогатом <math>g</math> в окрестности, а <math>\Omega(g)</math> штрафует сложность объяснения. LIME интуитивен и быстр, но его объяснения бывают неустойчивы: результат зависит от способа возмущения и от масштаба окрестности.

SHAP: объяснение через теорию игр

SHAP (SHapley Additive exPlanations), предложенный Лундбергом и Ли в 2017 году, ставит задачу иначе и опирается на кооперативную теорию игр[1]. Каждый признак трактуется как «игрок», а предсказание — как «выигрыш», который нужно справедливо разделить между игроками. Справедливое разделение задаётся классической конструкцией — значением Шепли из работы Шепли 1953 года[1].

Вклад признака <math>i</math> вычисляется как взвешенное среднее его предельного вклада по всем возможным коалициям признаков:

<math>\phi_i = \sum_{S \subseteq N \setminus \{i\}} \frac{|S|!\,(|N|-|S|-1)!}{|N|!}\,\bigl[v(S \cup \{i\}) - v(S)\bigr],</math>

где <math>N</math> — множество всех признаков, <math>S</math> — коалиция без признака <math>i</math>, а <math>v(S)</math> — предсказание модели, использующей только признаки из <math>S</math>. Значения Шепли обладают полезными свойствами (в частности, аддитивностью: сумма вкладов равна отклонению предсказания от среднего), поэтому SHAP теоретически обоснованнее LIME. Плата за это — вычислительная стоимость: точный расчёт перебирает экспоненциальное число коалиций, поэтому на практике используют приближения (KernelSHAP, TreeSHAP).

Прямое сравнение показывает, что SHAP обычно согласованнее и ближе к человеческой интуиции, но оба метода чувствительны к выбору модели и к коллинеарности признаков — на это стоит смотреть с осторожностью[1].

Другие семейства методов

  • Градиентные методы для нейросетей: Grad-CAM и родственные подходы подсвечивают области изображения, сильнее всего повлиявшие на решение[1]; сюда же относятся интегрированные градиенты и карты значимости (saliency maps).
  • Контрфактические объяснения (counterfactuals): вместо «почему такое решение» отвечают на «что нужно изменить во входе, чтобы решение стало другим» — часто это самая понятная форма для конечного пользователя.
  • Механистическая интерпретируемость: молодое направление, пытающееся понять внутреннюю «схемотехнику» нейросетей — какие нейроны и цепочки за что отвечают. Особенно активно развивается применительно к большим языковым моделям.

Неудобная правда:

Ключевая и часто недооценённая проблема XAI — достоверность (faithfulness): объяснение может быть убедительным для человека, но плохо отражать то, что на самом деле делает модель. Post-hoc метод строит приближённую историю поведения модели, и эта история не обязана быть правдой. Хуже того, локальное объяснение для одного случая может вводить в заблуждение относительно поведения модели на других объектах, особенно для недопредставленных подгрупп — что напрямую связано с темой смещений.

Отсюда — влиятельная и полемичная позиция Синтии Рудин, сформулированная в Nature Machine Intelligence в 2019 году: в задачах с высокой ценой ошибки (медицина, правосудие, кредитование) не следует объяснять чёрные ящики постфактум — вместо этого нужно с самого начала строить интерпретируемые модели[1]. Распространённое возражение «за точность приходится платить непрозрачностью» Рудин оспаривает: на структурированных данных грамотно построенная интерпретируемая модель часто не уступает чёрному ящику в точности. Развёрнутую программу области она позже изложила в обзоре «десяти больших вызовов интерпретируемого машинного обучения»[1].

Приложения

XAI востребован везде, где решение нужно обосновать: в медицине (какие признаки снимка привели к диагнозу), в финансах (обоснование отказа по кредиту для регулятора и клиента), в промышленности (почему модель предсказала поломку), в науке (см. ИИ в научных исследованиях, где объяснение модели может подсказать новую гипотезу). Отдельная ценность XAI — как инструмент отладки: объяснения нередко вскрывают, что модель опирается на артефакт данных (классический пример — «эффект умного Ганса», когда модель распознаёт не объект, а посторонний признак вроде подписи на снимке).

Открытые проблемы

  • Достоверность против понятности. Чем проще и приятнее объяснение для человека, тем выше риск, что оно неточно передаёт логику модели.
  • Отсутствие единых метрик. Нет общепринятого способа измерить, «хорошо» ли объяснение; свойства вроде устойчивости и согласованности формализованы лишь частично.
  • Объяснения и приватность. Объяснения способны утекать информацию об обучающих данных, что создаёт новые риски.
  • XAI для генеративных моделей. Классические SHAP и LIME плохо переносятся на большие языковые и мультимодальные модели; здесь на первый план выходит механистическая интерпретируемость.
  • Человеческий фактор. Объяснение полезно лишь тогда, когда понятно конкретному адресату — врачу, юристу, клиенту; направление human-centered XAI изучает, как это обеспечить.

См. также

Примечания


Ссылки

Источник — «http://www.machinelearning.ru/wiki/index.php?title=Explainable_AI»
Личные инструменты