Causilo возглавила рейтинг табулярных моделей ИИ: открытый код и Elo 1794 на TabArena

Nums AI опубликовала код под лицензией Apache-2.0 (свободная лицензия, разрешающая использование и модификацию), а предобученные веса (готовые параметры модели, которые не нужно тренировать с нуля) выложила на платформе Hugging Face. До этого лидерами TabArena были модели от Google Research, LG AI Research и Prior Labs, но ни одна из них не сочетала открытый код с первым местом в рейтинге. Для коммерческого использования потребуется отдельная лицензия от Nums AI.

Как Causilo обрабатывает таблицы без дообучения?

Causilo работает по принципу обучения в контексте (in-context learning, когда модель не меняет свои веса, а использует переданные примеры как подсказку). Команда fit не обновляет параметры модели, а сохраняет обучающие строки как контекст. Затем модель предсказывает результат для новых строк за один проход.

Архитектура разбита на три фазы: уточнение признаков, сжатие и собственно предсказание в контексте. Признаки группируются по три, каждое значение кодируется 16 частотами синусов и косинусов. Пропущенные значения получают отдельный обученный вектор, то есть модель не ломается от пустых ячеек в таблице.

Для взаимодействия между группами признаков используются четыре латентных токена (промежуточные переменные, через которые проходит информация) вместо полного перекрёстного внимания. По данным Nums AI, это делает вычислительную стоимость линейной относительно числа признаков, а не квадратичной.

Каждая строка сжимается в вектор размерностью 512. Далее 12-слойный блок предсказания позволяет новым строкам «смотреть» на размеченные обучающие строки, но не менять их и не влиять друг на друга.

Результаты на бенчмарках: первый, но с оговорками

На TabArena модель оценивалась на 51 наборе данных и 816 полных разбиениях. Независимый проверяющий (мейнтейнер TabArena) воспроизвёл результат и получил тот же общий Elo 1794.

Несколько важных нюансов из самого отчёта:

• Первое место Causilo считается среди одиночных моделей. С учётом системных ансамблей (комбинаций нескольких моделей) Causilo занимает третье место из 88
• Доверительные интервалы Elo у лидеров пересекаются, то есть отрыв от TabFM (Google Research) и EXAONE Tabular (LG AI Research) статистически узкий
• По метрике «улучшаемость» на классификации по-прежнему лидирует TabFM, Causilo лидирует на регрессии

На бенчмарке ScoringBench, который оценивает регрессию по строгим правилам скоринга (CRPS, R², RMSE), Causilo заняла первое место по всем трём метрикам на 101 наборе данных. Результаты также прошли независимую проверку.

Causilo обучена исключительно на синтетических данных, без использования наборов данных TabArena. : Nums AI, из описания модели при подаче на TabArena

Что нужно для запуска?

Модель работает на Python от 3.10 до 3.12 и PyTorch 2.13 или новее. Поддерживаются GPU с CUDA и обычные процессоры. Интерфейс повторяет scikit-learn: fit, predict, predict_proba.

Версия 1.0.1 добавила вывод медианы и квантилей на основе 999 встроенных квантилей, что позволяет получать не просто прогноз, а интервалы неопределённости «из коробки».

Классификация поддерживает до 10 классов. На вход принимаются массивы NumPy и таблицы pandas, включая категориальные признаки и пропущенные значения.

Что это значит для вас?

• Разработчику на Python. Табулярные модели ИИ впервые доступны через знакомый интерфейс scikit-learn. Установка одной командой (pip install causilo), без ручной загрузки чекпоинтов. Если вы работаете со структурированными данными (продажи, логистика, медицинские карты), это готовый инструмент для прототипирования
• Аналитику и маркетологу. Модель обрабатывает пропуски и категории без подготовки данных. Для исследовательских задач и внутренних отчётов лицензия бесплатная. Для продакшена и коммерческих API потребуется отдельное соглашение с Nums AI
• Предпринимателю в РФ и СНГ. Код открытый, веса на Hugging Face. Ограничений по географии для исследовательского использования нет. Из российских инструментов для табличных задач ближе всего CatBoost от Яндекса, но это классический градиентный бустинг, а не нейросеть: Causilo решает ту же задачу принципиально другим способом

Causilo можно попробовать прямо сейчас: код на GitHub, веса и демо на Hugging Face, установка одной строкой. Для тех, кто годами решал табличные задачи бустингом, это повод проверить, насколько нейросетевой подход уже дорос до практики.