Длинный контекст в 1 млн токенов: ни одна открытая модель не читает его целиком

Владимир Лушин, разработчик ИИ-агентов и инструментов для работы с кодом, 4 июня 2025 года опубликовал на Хабре подробный разбор того, как именно свежие открытые модели обрабатывают длинный контекст. Главный вывод: цифра «1 млн токенов» в карточке модели говорит лишь о том, сколько влезет на вход, а сколько из этого модель реально учтёт на конкретном шаге генерации, совсем другой вопрос.

Материал ценен тем, что автор не пересказывает маркетинговые карточки, а читает config.json прямо на Hugging Face и выводит из архитектуры, что модель действительно видит. Для тех, кто строит агентов на открытых моделях (open-source), это практическое руководство: почему правило из файла AGENTS.md к сотому вызову инструмента перестаёт работать и что с этим делать в обвязке.

Три семейства внимания и ни одного «полного чтения»

Автор свёл свежие открытые модели в классификацию по тому, как они экономят на внимании. Полное внимание (attention) по всему окну в каждом слое не делает никто. Внимание (механизм, которым модель на каждом шаге решает, на какие из прошлых токенов (единиц текста) смотреть и насколько сильно) работает по одной из трёх схем:

• Разрежённое top-k. Модель дёшево оценивает всю историю и отдаёт «полному» вниманию только несколько тысяч самых похожих на текущий шаг токенов. Не попал в отбор, на этом шаге тебя просто нет. Так работают GLM-5.x, DeepSeek-V4, MiniMax M3.

• Гибриды «3 линейных + 1 полный». Три слоя из четырёх используют линейное внимание (быстрое, но приблизительное), и лишь каждый четвёртый слой видит всю историю целиком. Это Qwen3.5, Qwen3.8, Kimi K3, GLM-5.3-Flash.

• Скользящее окно + глобальные слои. Большинство слоёв видит только последние несколько тысяч токенов, а отдельные «глобальные» слои охватывают весь контекст. Так устроена Gemma 4.

Что конкретно происходит с длинным контекстом?

Гарантированно точно модели читают только последние сотни токенов. Всё остальное должно либо «выиграть отбор» по релевантности, либо дожить в сжатом виде.

По данным техотчёта GLM-5 (на 128 тысячах токенов), разрежённое внимание находит одиночный факт («иглу в стоге сена») хорошо: 97,0 против 95,5 у плотного. Но на задачах, где надо связать несколько далёких фактов (HotpotQA), проигрывает: 63,0 против 66,3. Один факт модель находит, а вот выстроить цепочку рассуждений через весь контекст ей тяжелее.

У DeepSeek-V4 KV-кеш (хранилище «памяти» о прошлых токенах) сжат: у версии Pro он занимает 10% от предыдущего поколения V3.2, у Flash 7%. Это значит, что часть деталей теряется ещё до того, как модель решит, куда смотреть.

Автор отдельно отмечает Kimi K3: с механизмом компактизации на 300 тысячах токенов она, по его данным, обгоняет саму себя с полным окном в миллион. У большинства моделей качество заметно падает где-то в районе 128 — 256 тысяч токенов.

Что ломается в агентах и как чинить?

Для тех, кто строит ИИ-агентов (программы, где модель сама вызывает инструменты и принимает решения), это означает конкретную проблему. Допустим, в начале сессии агенту сказали: «не трогай папку migrations/». Через 300 тысяч токенов рабочей переписки с инструментами он может «забыть» это правило, потому что ни один слой не «дотянулся» до той строчки с достаточным весом.

Автор предлагает набор практик для обвязки (кода вокруг модели):

• Чистка старого вывода инструментов. Не копить в контексте весь лог, а оставлять только результаты.
• Поиск по запросу вместо «залить всё». Подавать модели релевантные фрагменты, а не весь документ.
• Постепенное раскрытие. Давать информацию порциями, по мере необходимости.
• Состояние вне окна. Хранить критичные данные во внешнем хранилище, а не надеяться на контекст.
• Повтор правил в конце. Дублировать самые важные инструкции ближе к текущему шагу, где модель точно их увидит.
• Хуки и права доступа. То, что нельзя нарушать никогда, закрывать программно, а не доверять вниманию модели.

Ключевой тезис: обвязке важнее, куда положить текст в контексте, чем что в нём написано.

Как попробовать на практике?

1. Откройте config.json любой из упомянутых моделей на Hugging Face и найдите параметры внимания: index_topk, тип слоёв, размер окна. Это покажет, сколько токенов модель реально видит на каждом шаге.
2. Проведите тест «иглы в стоге сена»: поместите критичную инструкцию в начало длинного контекста и проверьте, выполняет ли её модель после 100+ вызовов инструментов.
3. Если инструкция теряется, примените повтор правил в конце контекста и очистку старых логов инструментов. По наблюдениям автора, это самые действенные приёмы.

Сравнение с российскими решениями

Для авторов из РФ и СНГ ситуация такая: YandexGPT и GigaChat работают с контекстом на порядок короче, и проблема «забывания» на длинных сессиях у них проявляется иначе, окно просто кончается раньше. Но если вы строите агентов на открытых моделях через API (а многие российские разработчики именно так и работают), описанные в статье проблемы и решения напрямую применимы.

Что это значит для вас?

Автору на Дзене. Если вы используете ИИ для подготовки длинных текстов или серий публикаций в одной сессии, помните: инструкция про стиль и тон, заданная в начале, может «выветриться» к середине. Повторяйте ключевые правила ближе к концу промпта (текстовой команды для нейросети).

Разработчику агентов. Не доверяйте контексту критичные правила безопасности. Закрывайте их программно: хуками, валидацией вывода, ограничениями доступа. «Оно же в контексте» больше не аргумент.

Предпринимателю. Прежде чем масштабировать агента на длинные сессии (сотни вызовов инструментов), заложите бюджет на обвязку: чистку контекста, внешнее хранилище состояний, мониторинг «забывания». Без этого агент будет ломаться непредсказуемо.

Частые вопросы

Модель с контекстом в миллион токенов действительно читает весь миллион?

Нет. По данным разбора Лушина, ни одна из свежих открытых моделей не использует полное внимание по всему окну в каждом слое. Миллион, это максимум, который влезет на вход. На каждом шаге модель видит от нескольких сотен до нескольких тысяч токенов из всей истории, отобранных по релевантности или сжатых.

Если я не разработчик, а просто пишу тексты через ChatGPT или YandexGPT, мне это важно?

Да, если вы ведёте длинные сессии. Правило стиля, заданное в начале диалога, может потерять влияние через 20-30 сообщений. Практический совет: повторяйте ключевые инструкции ближе к текущему сообщению, а не рассчитывайте, что модель «помнит» начало.

Какая из описанных моделей лучше справляется с длинным контекстом?

Автор отмечает, что Kimi K3 с механизмом компактизации на 300 тысячах токенов показывает результат лучше, чем она же с полным окном в миллион. Это не значит, что она «лучшая», но демонстрирует парадокс: больше контекста не всегда значит лучше. Для конкретного выбора модели под задачу нужно тестировать на своих данных.