Import AI 479: лучшая LLM решила лишь 36% задач с низкой задержкой, на паузе до 80%
Исследователи из Техасского университета, NVIDIA и ещё четырёх организаций выпустили тест Realtime-Bench и выяснили, что лучшая модель справляется лишь с 36% задач в реальном времени, а значит поручать нейросети покупку билетов или онлайн-аукцион пока рано.
Это главный сюжет 479-го выпуска рассылки Import AI, которую ведёт исследователь Джек Кларк. Тема выпуска сформулирована так: «Spacewar, задачи с низкой задержкой против LLM, Genie 4». LLM расшифровывается как большая языковая модель: на таких устроены ChatGPT, Claude, Gemini и наши YandexGPT с GigaChat. В доступном нам фрагменте подробностей про Genie 4 нет, поэтому этот раздел пересказывать не будем.
| Показатель | Значение | Источник |
|---|---|---|
| Всего задач в тесте | 50 | Realtime-Bench, arXiv |
| Веб-задачи | 30, в четырёх категориях | Realtime-Bench, arXiv |
| Игровые задачи | 20 | Realtime-Bench, arXiv |
| Лучший результат в режиме реального времени | 36% (GPT-6 Astra, high) | Import AI 479 |
| Результат, когда время поставлено на паузу | ближе к 70% и даже 80% | Import AI 479 |
| Космические запуски Китая | 22 в 2016 году, 93 в 2025 году | доклад DIA |
Что измеряли в Realtime-Bench?
Авторы проверяли, как модели справляются с задачами, где опоздание само по себе означает провал. Такие задачи называют задачами с низкой задержкой: важен не только правильный ответ, но и то, успела ли модель его дать. Тест собрали учёные из Техасского университета в Остине, Университета штата Огайо, Иллинойсского университета в Урбане-Шампейне, Северо-Западного университета, а также из NVIDIA и Steadyworks.
В тест вошли 50 интерактивных задач:
- 30 веб-задач в четырёх категориях: путешествия, онлайн-торговля, сервисы и безопасность;
- 20 игровых задач: аркады, головоломки, стратегии и симуляторы.
Каждая задача проверяет три умения. Первое: замечать, как меняется обстановка. Второе: сокращать рассуждения, когда время поджимает. Третье: выбирать правильный момент для действия.
Например, агент, покупающий билет, должен следить за статусом продажи и понимать, актуальны ли ещё данные о наличии, перестать долго рассуждать, когда окно покупки закрывается, и выбрать, ждать ли старта продаж или покупать, пока билеты есть. : Авторы Realtime-Bench
Агентом здесь называют ИИ-агента, то есть нейросеть, которая сама выполняет действия: кликает, заполняет формы, покупает.
Модели проверяли в трёх режимах:
- «Настенные часы»: время идёт как в жизни, и пока модель думает, мир вокруг меняется.
- «Часы на паузе»: мир замирает, пока модель думает. Так видно, на что она способна без спешки.
- «Часы по токенам»: мир сдвигается на фиксированный шаг за каждый токен, то есть кусочек слова, который выдаёт модель. Чем длиннее рассуждение, тем позже действие, независимо от реальной скорости вычислений.
Что обнаружили исследователи?
Проверяли модели OpenAI (GPT-6-Astra, GPT-5.6 Sol, GPT-Realtime-2, OpenAI Decisions), Anthropic (Claude Fable 5.1, Claude Opus 5), Google (Gemini 3.8 Flash, Gemini 3.1 Flash Live, Gemini 3.8 Live), а также Jev 1.13 и китайские DeepSeek V4.1 и Kimi-K3 от Moonshot AI.
- В режиме «настенных часов» лучший результат показала GPT-6 Astra в варианте с высоким уровнем рассуждений: 36% пройденных задач.
- Когда время ставили на паузу, модели с высоким уровнем рассуждений приближались к 70% и даже к 80%.
- Разрыв показывает, где проблема: модели умеют решать такие задачи, но не успевают решить их вовремя.
Кларк в рассылке называет тест хорошим индикатором того, где ИИ-агенты будут ломаться. Низкие баллы указывают на задачи, в которых от агентов пока не стоит ждать хорошей работы.
Китай за девять лет больше чем утроил число космических запусков
Вторая тема выпуска касается доклада «Challenges to Security in Space». Его выпустило Разведывательное управление Министерства обороны США (DIA). Объём доклада превышает 100 страниц, и в нём описано противостояние США с Китаем, Россией, Ираном и Северной Кореей в космосе.
По данным DIA, Китай провёл 22 запуска в 2016 году и 93 запуска в 2025 году. В докладе упоминаются российский наземный лазерный комплекс «Пересвет» и спутник «Космос-2542», который в 2019 году выпустил спутник «Космос-2543». Все эти оценки принадлежат американской разведке, и Кларк приводит их как цитаты, без собственной проверки.
В рассылке названы только лучший результат и примерный диапазон для режима с паузой. Полные цифры по каждой модели нужно смотреть в статье на arXiv и в таблице лидеров на сайте проекта. В выборке 50 задач, все они связаны с играми и вебом, а российские модели не тестировали.
Что это значит для вас?
Если коротко: всё, где нейросеть должна успеть, а не просто правильно ответить, пока лучше оставлять человеку.
Автору Дзена. Работа с текстом проходит в режиме «часов на паузе»: статья не убежит, пока модель думает. Здесь нейросети сильны, поэтому смело давайте им черновики, планы и правку. Новостную ленту, комментарии в прямом эфире и реакцию на события в моменте оставьте себе.
Маркетологу. Агенты, которые сами ставят ставки, ловят скидки или бронируют слоты, попадают ровно в зону провала из теста. Запускайте их только с ручным подтверждением последнего шага.
Предпринимателю в РФ и СНГ. Большинство протестированных моделей в России напрямую недоступны. Из доступных аналогов есть YandexGPT и GigaChat, но в Realtime-Bench они не участвовали, и данных об их результатах нет. Прежде чем доверять им заказы или работу с клиентами в реальном времени, проверьте на своей задаче, сколько секунд проходит от запроса до действия.
На мой взгляд, разрыв между 36% и примерно 80% важнее любого рейтинга. Он показывает, что модели не глупы, а медлительны. Я вижу это и в работе с авторами: нейросеть отлично помогает там, где можно подождать, и подводит там, где счёт идёт на секунды. Прогноз у меня простой: продавать вам «агента, который купит всё сам» будут раньше, чем он действительно научится это делать. Отделяйте задачи на качество от задач на скорость, и вы не потеряете деньги на чужих обещаниях.
По данным рассылки Import AI 479 и статьи «Realtime-Bench: Can Frontier Models Solve Real-time Interactive Problems?» на arXiv
Основатель dzen.guru. Эксперт по монетизации и продвижению на Дзен. Автор курса «Старт на Дзен 2026».
Читайте также
Около 20 общин США голосуют о запрете дата-центров: правовое регулирование ИИ уходит на места
Избиратели примерно 20 американских общин на промежуточных выборах этой недели решают, запрещать ли или приостанавливать стройку серверных площадок для…
Тест визуального мышления от Elorian: передовые модели ловятся на приманку, точность ниже 50%
Стартап Elorian в этом месяце выпустил свою первую модель визуального мышления Glimpse и вместе с Mercor представил тест DecoyCount, на котором передовые…
Gemini 4 Carbon нашла уязвимости в 88,2% задач и вывела Google на первое место рейтинга
Google DeepMind представила Gemini 4 Carbon, модель для поиска и закрытия уязвимостей, которая сразу возглавила независимый рейтинг Artificial Analysis,…
Комментарии