SHAP и объяснимость моделей ИИ: 15 расширений метода и когда какое применять

Метод появился из теории игр. В 1953 году математик Ллойд Шепли предложил формулу «честного дележа выручки» между игроками коалиции. Десятилетия спустя исследователи переложили идею на машинное обучение: «игроки» стали признаками модели, а «выручка» стала предсказанием. В 2017 году вышел фреймворк SHAP, и с тех пор разные группы добавляли расширения, потому что базовый алгоритм упирается в экспоненциальную сложность вычислений. Этот материал помогает разобраться, какое расширение когда применять, без погружения в формулы, но с пониманием границ каждого метода.

Что понадобится

• Python 3.8+ и библиотека shap (ставится через pip install shap)
• Обученная модель машинного обучения: подойдёт любая, от градиентного бустинга до нейросети
• Набор данных, на котором модель делает предсказания (хотя бы 100 объектов для наглядных графиков)
• Jupyter Notebook или Google Colab для визуализации
• Примерно 30 минут на первый запуск и около двух часов, если хотите сравнить несколько расширений

Как устроен базовый SHAP?

Интуиция проста. Представьте команду, которая вместе заработала деньги. Нужно разделить выручку честно, по среднему вкладу каждого участника. Мы смотрим, насколько каждый улучшает результат, когда присоединяется к уже собравшейся группе, и усредняем по всем возможным порядкам.

Теперь замените «игроков» на признаки модели, а «выручку» на предсказание. Метод перебирает все комбинации признаков, включая и выключая каждый, и измеряет, как меняется прогноз.

Результат обладает четырьмя доказанными свойствами:

• Эффективность: сумма вкладов всех признаков плюс базовое значение ровно равна предсказанию модели. Ничего не теряется и не возникает из ниоткуда.
• Симметрия: два признака, которые в любой комбинации дают одинаковый прирост, получают равные вклады.
• Нулевой игрок: признак, который не меняет прогноз ни в одной комбинации, получает ноль.
• Аддитивность: если предсказание собрано из двух моделей (например, ансамбля), вклады считаются по каждой отдельно и складываются.

Эти четыре свойства гарантируют единственность решения. Именно поэтому SHAP стал стандартом объяснимости: либо мы соглашаемся с этими аксиомами, либо теряем одно из свойств.

Вторая постановка: оптимизация вместо перебора

Есть менее известный, но практически важный взгляд. Значения Шепли можно получить не полным перебором всех комбинаций, а как решение задачи взвешенных наименьших квадратов (проще говоря, найти линейную формулу, которая лучше всего приближает поведение модели на всех комбинациях признаков).

Каждая комбинация получает свой вес через «ядро Шепли». Крайние случаи (все признаки включены или все выключены) весят больше всего, средние комбинации весят меньше.

Эта постановка, предложенная в 1988 году Чарнсом, Голани, Кином и Руссо, лежит в основе большинства из 15 расширений SHAP. Понимание её помогает разобраться, почему расширения работают так, а не иначе.

Пошаговая инструкция: от модели до графика объяснимости

1. Установите библиотеку и импортируйте нужные модули:

pip install shap
import shap
import xgboost as xgb

1. Обучите модель (или загрузите готовую). Для примера возьмём встроенный датасет:

X, y = shap.datasets.adult()
model = xgb.XGBClassifier()
model.fit(X, y)

1. Создайте объект Explainer. Библиотека сама подберёт оптимальный алгоритм под тип модели:

explainer = shap.Explainer(model, X)
shap_values = explainer(X[:100])

1. Постройте график вкладов для одного объекта (waterfall, те самые красно-синие полоски):

shap.plots.waterfall(shap_values[0])

1. Постройте сводный график (beeswarm) для всей выборки, чтобы увидеть, какие признаки влияют сильнее всего:

shap.plots.beeswarm(shap_values)

1. Для нейросетей используйте DeepExplainer или GradientExplainer вместо базового:

explainer = shap.DeepExplainer(model, X_train[:100])

1. Сравните результаты: сумма всех SHAP-значений плюс базовое значение (explainer.expected_value) должна точно равняться предсказанию модели. Если не сходится, значит, что-то пошло не так с данными или типом Explainer.

15 расширений: когда какое применять?

Каждое расширение SHAP появилось потому, что базовый метод не справлялся с конкретной ситуацией. Вот логика выбора:

• TreeSHAP: для моделей на деревьях (XGBoost, LightGBM, CatBoost). Считает точные значения за полиномиальное время вместо экспоненциального. Если у вас бустинг, начинайте с него.
• KernelSHAP: для любой модели как «чёрного ящика». Использует ту самую МНК-постановку с ядром Шепли. Медленнее TreeSHAP, зато универсален.
• DeepSHAP: для глубоких нейросетей. Комбинирует идеи DeepLIFT и значений Шепли.
• GradientSHAP: тоже для нейросетей, но через градиенты. Быстрее DeepSHAP на больших сетях.
• LinearSHAP: для линейных моделей. Точное решение за линейное время, если признаки независимы.

Остальные расширения решают специфические задачи: объяснение текстовых моделей, работа с изображениями (через суперпиксели), учёт зависимостей между признаками, объяснение временных рядов, групповые значения Шепли (когда признаки объединены в логические блоки).

Ключевой принцип выбора: сначала определите тип модели и тип данных, затем проверьте, есть ли специализированное расширение. Универсальный KernelSHAP работает всегда, но специализированные варианты быстрее и точнее.

Что делать с этим прямо сейчас?

Автору Дзена и копирайтеру. Если пишете про технологии или финансы, SHAP-графики (объяснимость, shap объяснимость) отлично работают как иллюстрация к тезису «почему ИИ принял такое решение». Красно-синие полоски понятны читателю без технического бэкграунда. Вставляйте скриншоты waterfall-графиков в статьи, они повышают доверие.

ML-инженеру и аналитику данных. Не используйте KernelSHAP, если для вашей модели есть специализированное расширение. TreeSHAP для деревьев быстрее на порядки. Начните с таблицы «тип модели, тип расширения, ограничения» и повесьте её рядом с рабочим местом.

Предпринимателю и руководителю. Если ваша компания использует ML для принятия решений (кредитный скоринг, рекомендации, прогноз оттока), требуйте от команды SHAP-отчёты. В России Центробанк всё внимательнее смотрит на объяснимость моделей в финансовом секторе. SHAP-объяснимость модели, это не каприз, а подготовка к будущим требованиям.

Четыре аксиомы Шепли, это не абстракция из учебника по теории игр. Это единственная математическая гарантия того, что объяснение модели не врёт, не теряет часть предсказания и не приписывает бесполезному признаку чужой вклад. Разберитесь с расширениями один раз, и выбор метода объяснимости перестанет быть гаданием.