Gemini 3.1 Pro набрал 80% точности в переводе текста в SQL, но до человека ещё 13 п.п.

Результат опубликован в аккаунте Google Research в соцсети X. Gemini-SQL2 не отдельная модель, а надстройка над Gemini 3.1 Pro, которая превращает вопрос на естественном языке в SQL-запрос (язык обращения к базам данных, что-то вроде «покажи все заказы из Москвы за июнь»), готовый к выполнению. Предыдущий рекорд Google на том же треке составлял 76,13% и был установлен 15 ноября 2025 года. Эталонный показатель для человека на этом бенчмарке составляет 92,96%.

Что именно измеряли?

BIRD (BIg Bench for LaRge-scale Database Grounded Text-to-SQL Evaluation) проверяет, может ли модель не просто написать красивый SQL-запрос, а выдать запрос, который реально запускается и возвращает правильные данные. Это называется execution accuracy, точность выполнения.

В отличие от старых бенчмарков вроде Spider, базы данных BIRD содержат «грязные» значения: опечатки, пропуски, неоднозначные названия колонок. Модель должна понимать контекст предметной области, а не просто подставлять слова в шаблон.

Зачёт Single Trained Model (одиночная обученная модель) запрещает использовать ансамбли, сложные агентные цепочки и внешние подсказки. Измеряется способность одной модели справляться с задачей самостоятельно.

Что обнаружили?

• 80,04% запросов выполняются корректно. Gemini-SQL2 занял первое место среди именованных моделей на треке одиночных моделей BIRD. На графике из поста Google Research система обходит восемь названных конкурентов.
• Google удерживает две верхние позиции. Gemini-SQL2 и предшественник Gemini-SQL расположены выше остальных именованных систем на графике.
• Специализированные модели на 32 миллиарда параметров обгоняют некоторые универсальные модели. Это заметно на том же графике: заточенные под SQL небольшие модели показывают себя лучше, чем отдельные крупные модели общего назначения.
• До человеческого уровня остаётся 12,92 процентных пункта. Эталон, 92,96%, пока далеко.
• API и документации нет. Google не опубликовала ни идентификатор модели для вызова через API, ни техническое описание, ни карточку модели (model card).

Что это значит для вас?

Аналитикам и авторам, работающим с данными на Дзене. Если вы строите контент на цифрах, аналитических выборках, статистике, системы вроде Gemini-SQL2 позволят задать вопрос к базе обычным языком и получить ответ без знания SQL. Но один запрос из пяти вернёт неверный результат. Проверка руками обязательна, особенно перед публикацией.

Маркетологам. Встроенные SQL-генераторы уже есть в BigQuery Studio, AlloyDB AI и Cloud SQL Studio от Google. Если Gemini-SQL2 попадёт в эти продукты, скорость получения отчётов вырастет. Однако Google пока не подтвердила, какие сервисы обновятся.

Предпринимателям в РФ и СНГ. Прямого доступа к Gemini-SQL2 пока нет ни у кого: API не опубликован. Из доступных в России инструментов для генерации SQL на естественном языке можно попробовать YandexGPT или GigaChat, задавая модели схему таблицы и вопрос в промпте (текстовой инструкции для модели). Результат необходимо проверять выполнением запроса на тестовых данных.

Google показала, что перевод вопроса в работающий SQL-запрос дошёл до 80% точности на сложных реальных данных, и это уже практически полезный уровень для черновой аналитики. Но пятая часть запросов по-прежнему возвращает неверный результат, API не опубликован, а техническое описание отсутствует. Пока единственное разумное действие: протестировать ту же схему промпта (задать модели структуру таблицы и вопрос) на доступных вам моделях и замерить свой процент ошибок.

По материалам MarkTechPost