Стоимость LLM: из чего складывается цена каждого запроса к нейросети

Эта инструкция основана на подробном разборе экономики инференса (процесса генерации ответа моделью) из серии статей «Как работают LLM». Автор серии использует открытые модели Llama от Meta и DeepSeek, у которых опубликованы и размер, и архитектура, чтобы показать математику, которую каждый может перепроверить. Затем логика переносится на закрытые модели вроде Claude и GPT, где архитектуру не раскрывают, но принципы ценообразования те же.

Что понадобится

• Подписка на любой чат с LLM (Claude, ChatGPT, Gemini) или доступ к API
• Понимание, что такое токен: часть слова или слово целиком, в которых модель считает и тарифицирует текст
• 15 минут на чтение и один тестовый запрос для проверки
• Калькулятор или таблица, чтобы прикинуть стоимость своих типичных сессий

Как разобраться, из чего складывается стоимость LLM?

1. Запомните формулу стоимости одного запроса. Она выглядит так:

стоимость запроса ≈ (2N × токены + attention(контекст) + KV-cache) × нагрузка

Здесь N означает количество параметров модели, attention описывает вычисления внимания к контексту, а KV-cache (кэш ключей и значений, область памяти, где модель хранит уже обработанный контекст) отвечает за хранение промежуточных данных. Каждая переменная означает отдельный кусок GPU-времени и GPU-памяти.

1. Разберитесь, что входит в input-токены. Это не только ваше сообщение. Сюда складываются системный промпт (системный промпт, скрытая инструкция, которую разработчик задаёт модели до вашего вопроса), подключённые инструменты, память чата и само ваше новое сообщение. Чем длиннее контекст, тем больше входных токенов вы оплачиваете.

2. Поймите, почему output-токены дороже. Каждый выходной токен генерируется последовательно: модель пересчитывает все свои веса заново для каждого следующего слова. На вход можно подать тысячу токенов параллельно, а на выходе каждый токен ждёт предыдущего.

3. Учтите скрытые reasoning-токены. Когда вы включаете режим Thinking в Claude или GPT, модель генерирует внутреннее рассуждение до видимого ответа. Эти reasoning-токены (токены рассуждения, внутренняя цепочка мыслей модели до финального ответа) не отображаются в чате, но оплачиваются как output. Они могут в разы увеличить стоимость LLM для одного запроса.

4. Оцените размер модели через параметры. Открытые модели с открытыми весами (open weights, модели, чьи обученные числовые значения опубликованы и доступны для скачивания) дают конкретные ориентиры:

5. Llama 3.1 8B (8 миллиардов параметров) запускается на игровом ноутбуке, требует примерно 16 ГБ видеопамяти

6. Llama 3.1 70B требует сервера с несколькими видеокартами, примерно 140 ГБ видеопамяти

7. Llama 3.1 405B требует кластера из примерно 16 карт NVIDIA H100, это сотни тысяч долларов железа и примерно 1280 ГБ видеопамяти

8. Разберитесь с архитектурой MoE. MoE (Mixture of Experts, смесь экспертов, архитектура, при которой на каждый запрос работает не вся модель, а только часть «экспертов») позволяет держать огромное общее число параметров, но активировать на каждый токен лишь малую долю. Поэтому total не равно active: у модели может быть 600 миллиардов параметров, а на один запрос активируются, скажем, 37 миллиардов. Это снижает стоимость инференса при сохранении качества.

9. Проверьте, сколько контекста вы реально используете. KV-cache растёт квадратично по мере увеличения контекстного окна. Длинный разговор на 100 000 токенов требует в разы больше видеопамяти, чем короткий на 4 000. Провайдеры перекладывают эту стоимость на вас через лимиты или цену за токен.

10. Посчитайте стоимость своей типичной сессии. Возьмите количество input-токенов (ваш промпт плюс системный контекст) и output-токенов (ответ модели плюс скрытые рассуждения). Умножьте на цену за токен из прайса вашего провайдера. Результат покажет, почему пятичасовой лимит заканчивается быстрее, когда вы используете длинные промпты с включённым Thinking.

Почему VRAM, а не обычная память?

Модель обязана целиком помещаться в VRAM (быстрая память видеокарты). Причина проста: разница в скорости. SSD даёт примерно 5 ГБ/с, оперативная память примерно 50 ГБ/с, а VRAM у NVIDIA H100 даёт примерно 3000 ГБ/с. VRAM быстрее SSD примерно в 600 раз.

На каждый токен GPU перечитывает все веса модели заново. Подкачка с диска убила бы скорость в тысячи раз. Когда говорят «нужно 140 ГБ памяти», это всегда про VRAM.

Арифметика: каждый параметр в формате FP16 (16-битная точность, стандартный формат хранения весов) занимает 2 байта. 8 миллиардов параметров дают примерно 16 ГБ, 70 миллиардов дают примерно 140 ГБ, 405 миллиардов дают примерно 810 ГБ плюс накладные расходы.

Что с этого вам прямо сейчас?

Авторам Дзена. Если вы генерируете тексты через Claude или ChatGPT, каждый длинный системный промпт с инструкциями сжигает входные токены ещё до того, как модель прочитала ваш вопрос. Сократите системный промпт до необходимого минимума, и лимит будет хватать на большее число запросов.

Маркетологам. Режим Thinking удваивает или утраивает расход токенов из-за скрытых рассуждений. Для рутинных задач (рерайт, таблицы, короткие ответы) выключайте его. Включайте только для сложной аналитики.

Предпринимателям из РФ и СНГ. Из доступных в России аналогов можно рассмотреть YandexGPT и GigaChat. Они тоже тарифицируют по токенам, и логика стоимости та же: больше параметров и длиннее контекст означает выше цену. При выборе API-провайдера сравнивайте не только цену за миллион токенов, но и соотношение input к output, оно покажет реальную стоимость LLM для ваших задач.

Пятичасовой лимит Claude не маркетинговый трюк, а прямое отражение того, сколько GPU-времени и видеопамяти потратил датацентр на ваши запросы. Короткий промпт, выключенный Thinking для простых задач и модель подходящего размера, три конкретных действия, которые прямо сегодня позволят вам получать от нейросетей больше, не доплачивая ни рубля.