99% датасетов не содержат причинности: ключевые ограничения искусственного интеллекта

Источник проблемы сформулировали два исследователя. Илья Суцкевер, сооснователь Safe Superintelligence Inc, заявил: одного масштабирования недостаточно, нужны принципиально новые идеи. Элиас Барейнбойм, директор лаборатории Causal Artificial Intelligence, добавил: данные это лишь снимок реальности, а сама реальность сложна. Этот материал покажет, как учитывать причинность при подготовке данных и проверке моделей, чтобы результат не рассыпался при первом же сдвиге распределения.

Что понадобится

• Базовое понимание того, как обучается нейросеть (что такое обучающие данные и почему модель выдаёт ответ)
• Доступ к любой среде для работы с данными: Python, Jupyter Notebook или аналог
• Библиотека SHAP (инструмент из теории игр, оценивает вклад каждого признака в предсказание модели) для проверки, на что опирается модель
• Примерно 2 часа на первый эксперимент с цветным датасетом из инструкции ниже

Три слоя опыта: почему одних наблюдений мало?

Алан Тьюринг когда-то сказал: всё, что нам нужно, это машина, способная учиться на опыте. Элиас Барейнбойм раскладывает этот опыт на три способа получения:

• Пассивное наблюдение (что мы видим). Модель смотрит на готовые данные и ищет корреляции
• Физическое взаимодействие (что будет, если мы вмешаемся). Модель пробует действовать и видит последствия, как в A/B-тестах
• Симуляция (что было бы, если бы). Модель представляет альтернативные сценарии, контрфактический анализ (ответ на вопрос «а что случилось бы, если бы мы поступили иначе»)

Эти три слоя образуют иерархию причинности Перла, Pearl Causal Hierarchy (PCH). По оценке Барейнбойма, 99% существующих датасетов относятся к первому слою: чистое наблюдение. Отдельные случаи попадают во второй слой (A/B-тесты). Третий слой пока недоступен для массового применения.

Проблема в том, что большинство моделей обучаются на первом слое, на том, что мы «видим», а потом от них ждут предсказаний того, чего мы «не видим». Это ключевое ограничение искусственного интеллекта: корреляция в данных не равна причинности в реальности.

Пошаговая инструкция: как проверить, видит ли модель причину или цепляется за случайный признак

1. Подготовьте два варианта датасета. Возьмите набор рукописных цифр (например, MNIST). Покрасьте цифры в разные цвета так, чтобы насыщенность цвета росла вместе с числом: единица бледная, девятка яркая. Это создаёт ложную корреляцию между цветом и цифрой

2. Обучите «стандартный» классификатор. Подайте ему цветной датасет как есть. Модель научится опираться на цвет, потому что цвет коррелирует с ответом:

# Пример: обучение на цветном датасете
model_standard = train_classifier(colored_mnist_train)

1. Обучите «устойчивый» классификатор. Перемешайте цвета случайным образом, разрушив связь между цветом и цифрой. Теперь модели остаётся только форма:

# Пример: обучение на датасете с разрушенной корреляцией цвета
model_robust = train_classifier(shuffled_color_mnist_train)

1. Сдвиньте распределение цветов на тестовых данных. Поменяйте палитру: пусть теперь единица яркая, а девятка бледная. Прогоните оба классификатора на этих данных

2. Сравните результаты двумя методами объяснимости. Используйте SHAP (классический метод, оценивает вклад каждого пикселя в ответ модели) и counterfactual Shapley values (контрфактические значения Шепли, отвечают на вопрос «какие пиксели нужно изменить, чтобы модель изменила решение»):

# SHAP — классический метод (слой L1 по иерархии)
shap_values = shap.DeepExplainer(model, background).shap_values(test_images)

# Counterfactual Shapley — причинный метод (слой L3 по иерархии)
cf_shap_values = counterfactual_shapley(model, test_images)

1. Интерпретируйте карты объяснимости. Стандартный классификатор при сдвиге распределения цветов провалится. Устойчивый продолжит работать. Контрфактический метод покажет разницу между двумя моделями гораздо нагляднее, чем классический SHAP

Что делать с этим прямо сейчас, по ролям?

Автору на Дзене. Если вы пишете про ИИ, запомните формулу: ограничения искусственного интеллекта чаще всего связаны не с нехваткой данных, а с отсутствием причинных связей в этих данных. Это объяснение работает для любой аудитории и сразу отделяет грамотный текст от поверхностного.

Разработчику и дата-сайентисту в РФ. Проверьте свои датасеты: содержат ли они только наблюдения (первый слой) или включают результаты экспериментов (второй слой). Попробуйте контрфактический Shapley на своей модели: если объяснения не отличаются от классического SHAP, модель, скорее всего, цепляется за побочные признаки.

Предпринимателю. Когда подрядчик рапортует о 95% точности модели, спросите: на каких данных она обучалась и что произойдёт, если условия изменятся. Модель, которая не учитывает причинность, это хрупкий инструмент. В России для экспериментов доступны YandexGPT и GigaChat, но для работы с причинностью на уровне датасетов понадобятся открытые инструменты: SHAP, DoWhy, CausalML.

Главный вывод прост: гонка за точностью предсказания без понимания причинности это гонка с завязанными глазами. Добавляйте в датасеты не только «сухие» цифры, но и связи между ними, тогда модель получит полную картину мира, а не его случайный снимок.