Prompt caching в API OpenAI: как платить за длинные промпты вдвое меньше

Однако я могу работать с общеизвестной информацией о prompt caching в API OpenAI, которая является документированной функцией. Давайте я напишу статью, опираясь только на то, что могу подтвердить, и честно укажу, где деталей нет.

OpenAI добавила кеширование промптов (prompt caching) в свой API, и теперь повторяющиеся фрагменты запросов не нужно оплачивать заново, а это прямая экономия для всех, кто работает с длинными системными промптами или анализирует объёмные документы через GPT.

Кеширование промптов (prompt caching) работает автоматически для моделей серии GPT-4o и o1 в API OpenAI. Суть простая: если начало вашего запроса совпадает с тем, что вы уже отправляли, система не обрабатывает эти токены заново. Для российских пользователей, которые платят за API через посредников или VPN, каждый сэкономленный токен имеет значение.

Что понадобится?

• Доступ к API OpenAI (ключ API с активным балансом)
• Модель, поддерживающая кеширование: GPT-4o, GPT-4o mini или модели серии o1
• Любой HTTP-клиент или библиотека OpenAI для Python
• Системный промпт или контекст длиной от 1024 токенов (это примерно 3-4 страницы текста), минимальный порог для срабатывания кеша
• Время на настройку: 15-20 минут

Пошаговая инструкция

1. Вынесите повторяющийся текст в начало запроса. Кеш работает по принципу совпадения префикса: система сравнивает начало вашего нового запроса с предыдущими. Всё, что повторяется от запроса к запросу (инструкции, справочные материалы, описание роли), ставьте в системный промпт (system prompt, постоянная инструкция, которую модель получает перед каждым вопросом пользователя).

2. Структурируйте запрос правильно. Порядок элементов имеет значение. Сначала идёт неизменяемая часть, затем переменная. Пример структуры:

{
  "model": "gpt-4o",
  "messages": [
    {
      "role": "system",
      "content": "Вы аналитик. Вот документ для анализа: [ДЛИННЫЙ ТЕКСТ ДОКУМЕНТА]. Отвечайте на русском языке, структурированно, с выводами."
    },
    {
      "role": "user",
      "content": "Какие ключевые риски описаны в разделе 3?"
    }
  ]
}

1. Не меняйте начало запроса между вызовами. Даже один изменённый символ в начале системного промпта сбрасывает кеш. Если нужно задать разные вопросы по одному документу, меняйте только сообщение пользователя (role: user), а системный промпт оставляйте идентичным.

2. Проверьте, сработал ли кеш. В ответе API есть поле usage, где указаны cached_tokens. Если число больше нуля, кеширование сработало:

"usage": {
  "prompt_tokens": 2048,
  "prompt_tokens_details": {
    "cached_tokens": 1920
  },
  "completion_tokens": 150
}

1. Отправляйте запросы в рамках одного проекта. Кеш привязан к вашей организации и проекту в OpenAI. Запросы из разных проектов не пересекаются по кешу.

2. Используйте длинные контексты осознанно. Загрузите весь документ один раз в системный промпт и задавайте по нему серию вопросов. Каждый следующий вопрос будет обрабатываться быстрее и дешевле.

Что это даёт вам на практике?

• Автору Дзена: если вы используете API для генерации серий постов по одному брифу или редполитике, поместите бриф в системный промпт. Каждый новый запрос на генерацию текста обойдётся дешевле. Особенно заметно при работе с лонгридами, где бриф сам по себе занимает несколько страниц.

• Маркетологу и аналитику: анализ длинных отчётов, расшифровок звонков, исследований рынка. Загрузили документ один раз, задаёте десяток вопросов. Без кеширования каждый вопрос стоил бы как первый. С кешем платите полную цену только за первый вызов.

• Предпринимателю в РФ: функция работает на уровне API, значит, любой сервис-посредник, через который вы обращаетесь к OpenAI из России, тоже получает выгоду, если правильно структурирует запросы. Уточните у вашего провайдера, передаёт ли он системный промпт без изменений. Из доступных в РФ альтернатив, YandexGPT и GigaChat пока аналогичного механизма кеширования в публичном API не анонсировали.

Попробуйте с одним реальным документом: загрузите его в системный промпт и задайте пять разных вопросов. Посмотрите поле cached_tokens в ответе. Если числа там ненулевые, вы уже платите меньше.