Джефф Дин: инженерия контекста нейросети важнее выбора модели

Интервью вышло на площадке Y Combinator, крупнейшего стартап-акселератора в мире. Диана Ху, партнёр акселератора, прямо сформулировала тезис: прогресс в ИИ раньше означал «больше данных, больше параметров», а теперь сместился к тому, что окружает модель. Дин согласился и развил мысль. Для российских разработчиков и авторов, которые часто зацикливаются на выборе между GPT, Gemini или Claude, это практически важный поворот: инженерия контекста в нейросетях определяет результат сильнее, чем бренд модели.

Модель это деталь, а не центр системы

• Инженерия контекста вместо гонки моделей. Дин объяснил: модель, которую вы используете, лишь одна часть задачи. Главное, какие инструменты она может вызывать, как получает доступ к нужной информации, какую историю предыдущих запросов хранит.

• Контекст яснее обучающих данных. Обучающие данные (training data), это триллионы токенов (минимальных единиц текста, которые «видит» нейросеть), перемешанных в «суп» из сотен миллиардов параметров, как выразился Дин. А контекст, информация, собранная конкретно для текущей задачи, для модели гораздо понятнее.

• Оркестрация агентов становится ключевой. Дин отдельно выделил координацию нескольких ИИ-агентов (multi-agent orchestration): умение разбить задачу на цепочку вызовов инструментов, попробовать несколько подходов и оценить, какой сработал. Именно это, по его словам, будет «всё более и более важным».

• Ошибки как часть процесса. На вопрос Ху о практических советах Дин ответил: нужно пробовать решать задачи и смотреть, где модель ошибается. Но вместо того чтобы менять параметры модели (что сложно сделать снаружи), лучше писать для неё лучшие инструкции (guidelines) и «навыки» (skills), описания того, как использовать конкретные инструменты для конкретного класса задач.

Как попробовать инженерию контекста на практике?

1. Возьмите API любой доступной модели. Диана Ху подчеркнула: для инженерии контекста не нужны GPU-кластеры и терабайты данных. Достаточно API, например Gemini, и собственной настройки поиска информации (retrieval) и вызовов инструментов. В России доступны API YandexGPT и GigaChat.

2. Соберите систему вокруг модели, а не внутри промпта. Напишите системный промпт (system prompt, базовую инструкцию модели), но главное, подключите к модели источники данных, релевантные именно вашей задаче: базу знаний, историю переписок, каталог товаров.

3. Пишите «навыки», а не просто промпты. По совету Дина, создавайте для модели описания конкретных инструментов: «если пользователь спрашивает о наличии товара, вызови API склада, а не отвечай по памяти». Это и есть инженерия контекста в нейросетях на практике.

4. Анализируйте ошибки и улучшайте систему итеративно. Дин описал это как «самоулучшающуюся настройку»: вы видите, где модель ошибается, дописываете инструкцию или добавляете инструмент, и система становится точнее без переобучения самой модели.

Работает ли это с российскими моделями?

Принципы инженерии контекста не зависят от конкретной модели, в этом и суть тезиса Дина. YandexGPT и GigaChat поддерживают API-вызовы и подключение внешних источников данных. Разница в деталях реализации, а не в подходе.

Сравнение основано на публично доступной документации обоих провайдеров; конкретных бенчмарков по качеству контекстной инженерии источник не приводит.

Что делать с этим прямо сейчас, по ролям

Автору Дзена. Перестаньте метаться между моделями. Возьмите одну и постройте вокруг неё систему: соберите базу своих лучших текстов, подключите её как контекст, напишите инструкцию по вашему стилю. Результат улучшится сильнее, чем от смены модели.

Маркетологу. Если вы строите чат-бота или ИИ-ассистента для клиентов, вложите бюджет не в «самую дорогую модель», а в качество контекста: актуальный каталог, FAQ, историю обращений. Дин прямо говорит: модель с правильным контекстом работает лучше, чем модель с большим числом параметров, но без контекста.

Предпринимателю в РФ. API YandexGPT и GigaChat позволяют строить контекстные системы уже сейчас. Ограничений на саму инженерию контекста нет, это работа с данными и инструкциями, а не с «железом». Начните с пилота на одном бизнес-процессе.

Частые вопросы

Чем инженерия контекста отличается от промпт-инжиниринга?

Промпт-инжиниринг (prompt engineering) это составление текстовой инструкции для модели. Инженерия контекста шире: это проектирование всей системы вокруг модели, включая подключение баз данных, вызовы внешних инструментов, координацию нескольких агентов и управление тем, какую информацию модель «видит» в каждый момент. Промпт-инжиниринг это часть инженерии контекста, но не вся она.

Нужно ли уметь программировать?

Диана Ху прямо сказала в интервью: для инженерии контекста достаточно доступа к API модели. Базовые навыки работы с API помогут, но концептуально подход доступен и через no-code инструменты, конструкторы чат-ботов, которые позволяют подключать внешние источники данных.

Какую модель тогда выбрать, если модель не главное?

Именно в этом суть позиции Дина: выбирайте любую модель, которая доступна вам по цене и региону, и сосредоточьтесь на том, какие данные и инструменты вы ей дадите. В России доступны YandexGPT и GigaChat, для зарубежных задач подойдут Gemini, GPT или Claude. Разница между ними будет заметна меньше, чем разница между хорошо и плохо собранным контекстом.

Вывод Дина звучит буднично, но за ним стоит конкретное действие: перестаньте выбирать модель и начните проектировать систему вокруг неё. Кто освоит инженерию контекста первым, тот получит результат, который не догонишь переключением с одного API на другой.