Сколько видеопамяти нужно LLM: один диалог 128K съедает 40 ГиБ, как сама 70B в INT4
Автор технического разбора свёл расчёт видеопамяти под языковые модели к двум формулам и показал, что сервис чаще упирается не в веса, а в KV-кэш при десятке пользователей с длинным контекстом.

Совет «возьмите карту побольше» теперь можно заменить расчётом на салфетке. Покупка железа под свою нейросеть перестаёт быть лотереей для любого, кто готов открыть файл с настройками модели.
Вопрос, сколько видеопамяти нужно LLM (большой языковой модели вроде той, что стоит за чат-ботом), обычно сводят к размеру самой модели. Разбор, который лёг в основу этой заметки, добавляет второе слагаемое, кэш диалогов, и запас на одновременных пользователей. Все цифры автор взял из опубликованных конфигураций моделей и называет их оценкой снизу.
| Показатель | Значение из разбора |
|---|---|
| Llama 3.1 70B, кэш на один токен | 320 КиБ |
| Один диалог 128K на 70B | 40 ГиБ кэша |
| Llama 3.1 70B в INT4, веса | около 40 ГБ |
| Llama 3.1 8B в FP16, веса | 16 ГБ |
| Доля памяти, которую vLLM забирает по умолчанию | 90% |
Две формулы вместо «возьмите побольше»
Первая формула про веса: число параметров умножить на байты на параметр. В обычной точности FP16 это 2 байта. При квантовании INT4 (сжатии весов до 4 бит, как сжатие фото в JPEG ценой мелких деталей) автор берёт 0,56 байта, потому что часть слоёв остаётся в 16 битах.
Отсюда первый вывод разбора: модель на 70 миллиардов параметров в FP16 не помещается даже в одну H100 на 80 ГБ, а в INT4 входит в карту на 48 ГБ. Но это только веса.
Вторая формула про KV-кэш, черновик, где модель хранит «ключи» и «значения» внимания для каждого уже прочитанного токена (кусочка слова). На один токен это 2 × число слоёв × число KV-голов × размер головы × байт на элемент.
Главный множитель здесь число KV-голов. Современные модели используют групповое внимание (grouped-query attention, GQA): голов для ключей и значений мало, обычно 8, и кэш получается в разы меньше. Показательная деталь: у старой Llama 2 7B без GQA кэш на токен вчетверо больше, чем у Llama 3.1 8B, хотя сама модель меньше.
Кэш съедает столько же, сколько модель
Контекст (объём текста, который модель держит в голове за диалог) умножает кэш линейно. Один пользователь с контекстом 128K на 70B занимает 40 ГиБ, ровно столько, сколько сама модель в INT4. Итоговая формула: веса плюс кэш на токен × контекст × число одновременных запросов плюс накладные расходы движка.
На практике память чаще кончается не из-за весов, а из-за KV-кэша, когда к сервису приходит десяток пользователей с длинным контекстом. : Автор разбора
Три сценария из разбора:
- Внутренний ассистент на Llama 3.1 8B, 50 пользователей по 8K. Веса 16 ГБ, кэш 50 ГиБ, итого около 66 ГБ: справится карта на 80 ГБ. Оговорка автора: 50 человек в чате не равны 50 одновременным генерациям, а vLLM (программа для запуска моделей на сервере) с постраничным кэшем PagedAttention выделяет память по факту.
- Llama 3.1 70B в INT4, 20 запросов по 8K. Около 40 ГБ весов и 50 ГиБ кэша, в одну H100 не входит. Кэш в FP8 (ещё более сжатый формат чисел) делит его пополам: 65 ГБ помещаются в 80 ГБ.
- Llama 3.1 70B, документы по 128K. Только один запрос требует 40 ГиБ кэша. Для нескольких нужны от 2 до 4 карт по 80 ГБ, FP8-кэш или поиск по фрагментам документа (RAG, когда модель читает только нужные куски, а не всю книгу).
Почему рынку железа это важно?
Каждая экономия имеет цену. INT4 снимает около 70% памяти под веса, но качество проседает, сильнее на малых моделях и в задачах с точными фактами и кодом. Тензорный параллелизм (деление модели между картами) упирается в обмен данными: со скоростной связью NVLink это почти бесплатно, через обычную шину PCIe на больших моделях ощутимо.
С железом тоже есть подвох. Аппаратная поддержка FP8 есть у поколений Ada Lovelace и Hopper, а Tesla V100 не умеет ни BF16, ни FP8. Для домашних запусков через llama.cpp кэш можно сжать отдельно от весов параметрами --cache-type-k и --cache-type-v, но поддержка зависит от сборки, а влияние на ответы нужно проверять на своих запросах.
Самый дешёвый рычаг автор называет прямо: урезать контекст. Если 95% запросов укладываются в 8K, лимит 128K ради редких случаев обходится дорого.
Что делать с этим прямо сейчас, по ролям?
Автору Дзена. Своя модель на домашней карте подходит для черновиков и рерайта коротких текстов. Для небольших моделей и коротких диалогов разбор называет достаточной одну карту на 24 или 48 ГБ.
Маркетологу. Если агентство хочет внутреннего ассистента на всю команду, считайте не число сотрудников, а число одновременных запросов и длину текстов. Это разница между одной картой и двумя.
Предпринимателю РФ и СНГ. Перед покупкой возьмите файл config.json модели, найдите число слоёв и KV-голов и посчитайте кэш по формуле. Запустите vLLM: движок сам печатает при старте размер кэша и сколько диалогов войдёт. Если своё железо не окупается, остаются доступные в РФ YandexGPT и GigaChat, где о видеопамяти думает провайдер.
Цифры разбора дают оценку снизу. Реальные движки добавляют накладные расходы: сотни мегабайт на карту под служебный контекст CUDA, промежуточные вычисления, буферы. Проверяйте под нагрузкой через nvidia-smi.
На мой взгляд, это самый полезный расчёт для тех, кто думает о своей нейросети вместо подписки. Я не раз видел, как модель «влезла» на тесте и встала колом, когда к ней пришли пять коллег сразу. Формула из разбора объясняет именно этот провал.
Мой совет простой: сначала посчитайте, какой контекст вам реально нужен. Чаще всего хватает 8K, и тогда карта на 48 ГБ закрывает задачи небольшой редакции.
Считайте кэш до покупки железа, а не после: это дешевле любой видеокарты.

Основатель dzen.guru. Эксперт по монетизации и продвижению на Дзен. Автор курса «Старт на Дзен 2026».
Читайте также

Аренда GPU RTX 5090 по часам: 4 часа за 348 ₽ вместо 1 730 ₽ за сутки
Автор, который хочет вечером прогнать нейросеть на видеокарте RTX 5090, рискует заплатить за сутки вместо четырёх часов: по российским витринам на ноябрь 2026…

Защита LLM промптом оказалась иллюзией: phi3 выдала ключ, и автор собрал LLM Secure Gateway
Разработчик собрал на Python и Docker защитный шлюз для локальной модели phi3, после того как она в ролевой игре про забывчивого дедушку выдала секретный ключ…

Нейросети в робототехнике: ИИ-агент text-to-cad строит 3D-детали по описанию словами
Разработчик Джейк Фицджеральд на Ubuntu Summit разобрал открытый проект text-to-cad, где ИИ-агент пишет код и сам строит 3D-модель детали, и проект уже набрал…
Комментарии