Контекст нейросети можно увеличить в разы: три метода без дообучения

Все крупные языковые модели (LLM, large language model, большая языковая модель) кодируют позицию каждого токена (token, минимальная единица текста для модели: слово, часть слова или знак) через механизм RoPE (Rotary Position Embedding, позиционное кодирование вращением). Пока длина текста не выходит за рамки обученного окна, всё работает. Как только вы подаёте текст длиннее, модель встречает комбинации углов поворота, которых на обучении не было, и начинает «галлюцинировать» (галлюцинация, когда ИИ уверенно выдумывает то, чего не было). Ниже разберём, как именно это устроено и что с этим делать.

Как RoPE кодирует позицию?

Каждый токен описывается вектором запроса и вектором ключа. RoPE разбивает координаты этих векторов на пары и поворачивает каждую пару на угол, который зависит от позиции токена в тексте.

• Быстрые пары делают полный оборот за несколько токенов. Они отвечают за различение соседних слов.
• Медленные пары делают оборот через тысячи токенов. Они отвечают за дальние связи в тексте.

Удобная аналогия: представьте набор часов с разным шагом. Секундная стрелка различает позиции 1 и 2, а часовая различает позиции, разнесённые на тысячи токенов.

Главное свойство: при сравнении запроса и ключа модель учитывает не абсолютную позицию, а расстояние между токенами. Она не запоминает «токен на позиции N», а учится распознавать паттерн «что‑то похожее встречалось примерно N токенов назад».

Почему модель ломается на длинном тексте?

Когда на инференсе (inference, этап, когда модель генерирует ответ, а не учится) подаётся последовательность длиннее обученного окна, происходят три вещи одновременно.

Незнакомые углы. Позиции за пределами обученного максимума дают комбинации поворотов, к которым модель не строила внимания. Она с ними не тренировалась и не знает, как их интерпретировать.

Слипание медленных компонентов. На большой дистанции быстрые пары координат совершают много оборотов, их сигнал усредняется. Различать далёкие позиции приходится по медленным компонентам, а те почти не успевают измениться и дают мало информации.

Размытие внимания. С ростом длины энтропия внимания растёт: механизм softmax размазывается по всё большему числу позиций, и модели сложнее сфокусироваться на действительно важных токенах.

Отдельно стоит «эффект потерянной середины». Модели отлично воспринимают информацию в начале и в конце документа, но часто теряют то, что находится посередине. Чем длиннее текст, тем сильнее проседает качество обработки центральной части. Если вы замечали в рассуждениях моделей отдельный шаг «now read in the middle», это попытка обойти именно эту проблему.

Что понадобится

• Доступ к открытой модели с поддержкой RoPE (Llama, Mistral, Qwen и аналоги)
• Среда запуска: llama.cpp, vLLM, Hugging Face Transformers или Ollama
• Понимание параметра rope_scaling (или аналогичного) в конфигурации выбранной модели
• Время: настройка занимает от 10 минут (смена одного параметра) до нескольких часов (если нужна проверка качества на длинных документах)

Пошаговая инструкция: три метода расширения контекста

Все три метода ниже относятся к категории «модификация частот RoPE на лету». Это дешёвая альтернатива полному дообучению на длинных последовательностях.

1. Position Interpolation (PI): линейное сжатие позиций

Если модель обучена на позициях от 0 до некоторого максимума, а вам нужно окно в несколько раз больше, PI пересчитывает все входящие позиции так, чтобы они уместились в знакомый модели диапазон.

Каждую позицию токена умножают на дробь: исходный обученный максимум в числителе, новая увеличенная длина окна в знаменателе. Позиции как бы сжимаются пропорционально, и все углы поворота остаются в диапазоне, который модель видела на обучении.

{
  "rope_scaling": {
    "type": "linear",
    "factor": 4.0
  }
}

Здесь factor: 4.0 означает увеличение контекста нейросети в четыре раза.

Подвох PI: сжатие давит на все частоты одинаково. Быстрые осцилляции, которые различают соседние токены, тоже сжимаются. Локальное разрешение падает, соседние токены начинают выглядеть для модели почти одинаково, и она путается в порядке слов даже внутри короткого фрагмента.

2. NTK‑aware scaling: перераспределение нагрузки

Вместо одинакового сжатия всех позиций меняется сама база, из которой считаются частоты поворота. База возводится в степень, зависящую от размерности головы внимания, поэтому чем больше коэффициент расширения, тем сильнее растёт итоговая база.

{
  "rope_scaling": {
    "type": "ntk",
    "factor": 4.0
  }
}

Результат: быстрые компоненты меняются незначительно, локальное разрешение почти не страдает. Медленные компоненты сжимаются сильнее, и дальние расстояния, выходившие за пределы обученного диапазона, теперь в него влезают. Нагрузка перераспределяется между измерениями: одни сохраняют точность на коротких дистанциях, другие растягиваются на длинные.

Dynamic NTK развивает эту идею: масштабирование включается только когда последовательность превышает нативное окно, а коэффициент растёт вместе с фактической длиной. Короткие запросы идут через нетронутые частоты и не теряют в точности.

3. YaRN: гибрид PI и NTK с двумя уточнениями

YaRN объединяет оба подхода и добавляет раздельную обработку измерений по длине волны:

• Коротковолновые (быстрые) измерения оставляют почти без изменений, чтобы не терять локальное разрешение
• Длинноволновые (медленные) измерения сжимают линейно, как в PI, потому что на них лежит нагрузка по расширению дальнего контекста
• Промежуточные измерения плавно смешивают оба подхода, как в NTK‑aware

{
  "rope_scaling": {
    "type": "yarn",
    "factor": 4.0
  }
}

YaRN даёт наиболее аккуратный баланс: модель не теряет качество на коротких фрагментах и при этом корректно обрабатывает длинные последовательности.

Что это даёт вам на практике?

Авторам Дзена и копирайтерам. Если вы загружаете в нейросеть длинный бриф или серию своих статей для анализа стиля, расширение контекста позволяет подать весь материал целиком, а не резать на куски и терять связность. Помните про эффект середины: ключевые требования к тексту ставьте в начало промпта.

Разработчикам и техническим специалистам. Понимание разницы между PI, NTK и YaRN помогает осознанно выбирать метод под задачу. Для RAG-пайплайнов (retrieval-augmented generation, генерация с подгрузкой внешних данных) с длинными извлечёнными фрагментами YaRN сейчас выглядит наиболее сбалансированным вариантом.

Предпринимателям в РФ и СНГ. Все описанные методы работают с открытыми моделями (Llama, Mistral, Qwen), которые можно запускать локально, без зависимости от зарубежных API. Из российских инструментов для работы с длинным контекстом доступны YandexGPT и GigaChat, но там параметры RoPE пользователю не открыты: расширение контекста определяет сам провайдер.

Понимание механики RoPE превращает расширение контекста нейросети из магии в инженерную задачу с предсказуемым результатом. Выберите метод под свою задачу, начните с YaRN и factor 4, проверьте качество на реальном документе и только потом увеличивайте.