Нейросети для табличных данных обошли чемпионов Kaggle: модель Prior Labs справилась за минуту

Что произошло?

Немецкая компания Prior Labs опубликовала TabPFN-3.5, третье поколение так называемой табличной фундаментальной модели. Главная идея: модель предсказывает результат по таблице за один проход (forward pass), без отдельного обучения или настройки под каждый набор данных. Это принципиально отличается от привычного подхода, когда аналитик тратит дни на подбор признаков, выбор алгоритма и дообучение (fine-tuning, обучение модели на ваших примерах под узкую задачу).

Чтобы доказать, что модель работает, исследователи прогнали её на задаче Otto Group Product Classification Challenge. Это соревнование на Kaggle в 2015 году собрало 3 505 команд, призовой фонд составил 10 000 долларов. Участникам нужно было распределить товары по девяти категориям, используя 93 обезличенных числовых признака.

Победу тогда одержали Гильберто Титерич и Станислав Семёнов, оба в разное время занимавшие первую строчку мирового рейтинга Kaggle Grandmaster. Их решение представляло собой многослойную стопку из 36 моделей, построенных на вручную спроектированных признаках. Итоговый результат: 0,382 по метрике log loss (мера ошибки классификации, чем ниже, тем лучше).

TabPFN-3.5 набрала 0,375 на том же закрытом лидерборде. По словам Ника Эриксона, сооздателя AutoGluon и исследователя Prior Labs, модель запустили на сырых данных с настройками по умолчанию. Процесс занял около минуты на видеокарте RTX PRO 6000. Модель обучалась только на синтетических данных и не видела ни Otto, ни каких-либо других датасетов Kaggle.

Что изменилось внутри модели?

Масштаб вырос: трансформер расширили с 512 до 1024 измерений, число параметров выросло до 220 миллионов (было 53 миллиона у предыдущей версии для классификации). Одна контрольная точка теперь обслуживает и классификацию, и регрессию: раньше нужны были отдельные.

Новый способ кодирования ячеек таблицы опирается на:

• обучаемые фурье-признаки (Fourier features, математический приём, который превращает число в набор волн разной частоты, помогая модели «видеть» закономерности в данных)
• ранги ECDF (эмпирическая функция распределения, определяет, какое место занимает значение среди остальных), которые не меняются при логарифмировании или других монотонных преобразованиях

Модель теперь обрабатывает до миллиона строк. Рекомендованный максимум признаков составляет 6 000, поддерживается до 20 000.

Семейство моделей TabPFN-3.5

• TabPFN-3.5 (базовая): открытые веса, 220 млн параметров, 8 оценщиков по умолчанию
• TabPFN-3.5-Fast (альфа): открытые веса, 84 млн параметров, до шести раз быстрее базовой
• TabPFN-3.5-Plus: только через API и корпоративную лицензию, добавляет работу с текстом и FP8-внимание (вычисления с пониженной точностью для скорости)
• TabPFN-3.5-Thinking: тратит больше вычислений на инференс (инференс, работа уже обученной модели при выдаче ответа), при этом до 12 раз быстрее предыдущей Thinking-версии

Что показали бенчмарки?

Технический отчёт Prior Labs заявляет первое место на семи бенчмарках: TabArena, BeyondArena, STRABLE, MulTaBench, RelArena-α, TALENT и ScoringBench. На разных бенчмарках лидирует не всегда базовая модель: на четырёх из семи первое место у TabPFN-3.5-Thinking.

На TabArena (51 датасет, «живой» бенчмарк с обновляемыми наборами) Thinking-версия достигает 1910 Elo, базовая модель набирает 1866 Elo. Для сравнения: TabFM+ показывает 1823 Elo. По данным Prior Labs, базовая модель обходит AutoGluon 1.6 extreme на 130 Elo и делает это в пять раз быстрее.

При этом на BeyondArena (142 датасета с группированными, временными, широкими, текстовыми данными) настроенные и собранные в ансамбли MLP (многослойные перцептроны, простейшие нейросети) по-прежнему лидируют на группированных, временных и крупных срезах данных. Это честная оговорка: нейросети для табличных данных пока не закрыли все ниши.

TabPFN-3.5 запустили на сырых данных с настройками по умолчанию. Это заняло около минуты на RTX PRO 6000. : Ник Эриксон, сооздатель AutoGluon, исследователь Prior Labs

Что это значит для вас?

Автору Дзена. Если вы ведёте канал про аналитику, финансы или e-commerce и регулярно показываете разборы данных, попробуйте TabPFN-3.5 на своих CSV-таблицах. Модель с открытыми весами можно скачать и запустить локально. На видеокарте уровня RTX 3060 и выше таблица до нескольких тысяч строк должна обработаться за минуты. Результат можно превратить в пост: «дал нейросети свою таблицу продаж и вот что вышло».

Маркетологу. Нейросети для табличных данных убирают ручной этап подготовки признаков. Если вы передаёте данные аналитику и ждёте прогноз оттока или сегментацию клиентов, спросите, тестировал ли он TabPFN-3.5. Условно: задача, которая раньше требовала дня настройки, может решиться за минуту.

Предпринимателю в РФ и СНГ. Модель запускается локально, без облачных API, что снимает проблему блокировок и оттока данных за рубеж. Из доступных в России альтернатив для работы с таблицами есть AutoML-решения от Сбера и Яндекса, но они заточены под свои экосистемы. TabPFN-3.5 с открытыми весами можно поставить на свой сервер. Ограничение: для коммерческого использования потребуется лицензия Prior Labs.

Для практической проверки на своих данных начните с публичного ноутбука на Kaggle, который выложила команда Prior Labs: замените датасет на свой CSV и сравните результат с тем, что даёт ваш текущий инструмент. Это займёт час, но покажет, стоит ли перестраивать пайплайн.