Google выложила TabFM: нейросети для табличных данных больше не требуют настройки

Табличные данные, от клиентских баз до финансовых отчётов, до сих пор оставались территорией классических алгоритмов вроде XGBoost и случайных лесов. Эти методы давали надёжные результаты, но каждая новая таблица требовала ручной настройки: подбора гиперпараметров, создания признаков, перекрёстной валидации. По данным Google Research, TabFM снимает этот этап целиком, применяя к таблицам тот же подход «обучения в контексте» (in-context learning, ICL), который сделал большие языковые модели универсальными.

Как работает TabFM?

Классические модели для таблиц обновляют свои параметры под каждый конкретный датасет. TabFM этого не делает. Модель принимает всю таблицу целиком как один промпт, в котором лежат и обучающие примеры, и строки, для которых нужен прогноз.

Таблица, в отличие от текста, двумерна и не зависит от порядка: если поменять местами строки или столбцы, смысл данных не изменится. Обычные языковые модели работают с упорядоченными последовательностями, поэтому напрямую к таблицам не применимы. TabFM решает это тремя механизмами:

• Чередующееся внимание по строкам и столбцам. Модель попеременно анализирует зависимости между признаками (столбцами) и между примерами (строками). Это заменяет ручное создание признаков (feature engineering), когда аналитик сам придумывает комбинации колонок.
• Сжатие строк. Информация каждой строки после анализа упаковывается в один компактный вектор.
• Обучение в контексте. Отдельный трансформер (Transformer, архитектура нейросети, на которой построены ChatGPT и другие большие модели) обрабатывает сжатые представления строк и выдаёт прогноз. Работа со сжатыми данными резко снижает вычислительные затраты даже на больших таблицах.

Обучение на синтетике, потому что реальных таблиц мало

Фундаментальным моделям нужны огромные объёмы разнообразных данных. Качественных открытых табличных датасетов почти нет: промышленные таблицы содержат коммерческие схемы и персональные данные, публиковать их нельзя. Команда Google Research называет синтетические таблицы единственным жизнеспособным вариантом на таком масштабе.

TabFM обучалась на сотнях миллионов синтетических датасетов. Их генерировали динамически с помощью структурных причинно-следственных моделей (SCM, structural causal models), которые воспроизводят распределения и сложные зависимости, встречающиеся в реальных таблицах. По данным Google Research, модель хорошо обобщается на реальные данные, которых не видела при обучении.

TabFM обходит настроенные классические алгоритмы

Команда Google Research оценивала TabFM на бенчмарке TabArena, живом рейтинге, который вычисляет Elo-рейтинг (система оценки силы, как в шахматах) по результатам попарных сравнений моделей. Тестирование охватило 38 датасетов классификации и 13 датасетов регрессии с выборками от 700 до 150 000 строк.

Тестировали две конфигурации:

• TabFM работает «из коробки» за один проход без настройки и перекрёстной валидации.
• TabFM-Ensemble добавляет кросс-признаки и SVD-признаки (SVD, сингулярное разложение, метод сжатия данных с сохранением ключевой информации), вычисляет оптимальные веса для ансамбля из 32 моделей и применяет калибровку Платта для классификации.

По данным Google Research, TabFM стабильно превосходит тщательно настроенные стандартные алгоритмы машинного обучения. Детальные метрики и результаты попарных сравнений опубликованы на странице проекта в GitHub.

Важная деталь: интерфейс модели совместим со scikit-learn. Вызов .fit() не обучает веса модели на ваших данных, а только готовит кодировщики и скейлеры. Сам прогноз, это инференс (вычисление результата без обучения) за один проход.

Что это значит для вас?

Аналитику и дата-сайентисту в малой команде. TabFM убирает самый трудоёмкий этап: подбор гиперпараметров и ручное создание признаков. Если вы тратите часы на настройку XGBoost под каждую новую задачу, попробуйте TabFM как быструю базовую линию. Модель доступна на Hugging Face прямо сейчас, нужен Python 3.11 и выше.

Автору Дзена, который пишет про аналитику. Нейросети для табличных данных, это тема, которая касается каждого бизнеса с CRM или Excel-отчётами. TabFM даёт конкретный информационный повод: Google открыла код модели, которая делает анализ таблиц доступнее.

Предпринимателю в РФ. Модель опенсорсная, код на GitHub, веса на Hugging Face. Для запуска не нужны облака Google, можно использовать локально. Интеграция с BigQuery через SQL-команду AI.PREDICT ожидается, но дату Google не назвала. Из российских инструментов для работы с табличными данными доступны YandexGPT (через API для аналитики) и собственные пайплайны на AutoML от Сбера, но прямого аналога TabFM с нулевым обучением пока нет.

Модель доступна на GitHub и Hugging Face, порог входа минимален: установка, загрузка весов, пять строк кода до первого прогноза. Если работаете с таблицами и устали от ритуала настройки, проверьте на своих данных и сравните с текущим пайплайном.

По данным Google Research