Букмарклет для llama.cpp считает реальную скорость GGUF-моделей прямо на Hugging Face

Один из пользователей Habr опубликовал инструмент, который решает эту проблему иначе: букмарклет (скрипт, который вы сохраняете как обычную закладку в браузере), считывающий метаданные прямо с карточки модели на Hugging Face и подставляющий их в формулу с поправками на реальные параметры вашей видеокарты. Ниже разбираем, как это настроить и использовать.

Что понадобится?

• Видеокарта NVIDIA с известной пропускной способностью видеопамяти (например, RTX 3070 с 448 Гб/с)
• Установленный llama.cpp на вашем компьютере
• Браузер с доступом к Hugging Face
• Примерно 15 минут на первичную настройку и замеры

Пошаговая инструкция

1. Замерьте реальные параметры своей видеокарты. Запустите в llama.cpp несколько моделей разного размера. Зафиксируйте скорость генерации токенов в секунду (tok/s, токены в секунду) и максимальный контекст, при котором программа не вылетает с ошибкой нехватки памяти.

2. Определите свой оверхед. Оверхед (overhead) означает фиксированную задержку на каждый токен, которая не зависит от размера модели. По замерам автора инструмента, на RTX 3070 она составила 5 мс. Эту цифру вы получите, сопоставив реальную скорость генерации с теоретической (вес модели, делённый на пропускную способность видеопамяти). Разница и есть ваш оверхед.

3. Подставьте свои константы в букмарклет. В начале скрипта заданы переменные, которые нужно поправить под вашу конфигурацию:

BW = 448      // пропускная способность видеопамяти, Гб/с
OV = 5        // оверхед, мс на токен
V  = 8        // объём видеопамяти, Гб
R  = 1.2      // резерв: сколько видеопамяти занимает система
KB = 2        // байт на элемент KV-кеша

1. Создайте закладку с букмарклетом. Скопируйте код скрипта целиком. В браузере создайте новую закладку, в поле адреса вставьте скопированный код. Назовите закладку, например, «GGUF Speed Calc».

2. Откройте карточку модели на Hugging Face и нажмите на закладку. Скрипт автоматически найдёт первый файл формата GGUF (формат хранения квантованных моделей для llama.cpp) в репозитории, скачает первые 400 Кб файла через Range-запрос (то есть не весь файл, а только заголовок с метаданными) и извлечёт нужные параметры:

3. block_count (число слоёв)
4. head_count_kv (число голов внимания для KV-кеша)
5. key_length (размерность ключа)
6. context_length (длина контекста)
7. full_attention_interval (интервал полного внимания для гибридных архитектур, где часть слоёв использует локальное внимание, а часть полное)

8. num_loops (число проходов по весам, как у модели Nanbeige4.2-3B, которая прогоняет данные дважды)

9. Прочитайте результат. Рядом с каждым квантом GGUF на странице появятся расчётные цифры: скорость генерации в токенах в секунду и примерный максимальный контекст для вашей карты.

Что делать с этим прямо сейчас?

• Автору Дзена, который использует локальные модели для генерации черновиков: калькулятор покажет, какой максимальный квант модели влезет в вашу карту и сколько контекста останется. Это позволяет заранее понять, хватит ли памяти на длинный промпт (запрос к модели) с системными инструкциями и текстом статьи.

• Энтузиасту локального ИИ в России: не верьте, когда ChatGPT или другой ассистент говорит, что 8 Гб видеопамяти хватит только на модели до 7 млрд параметров. MoE-архитектуры меняют арифметику. Букмарклет покажет реальную картину.

• Предпринимателю, который выбирает модель для внутреннего сервиса: прежде чем покупать дорогую карту, проверьте букмарклетом, что нужная модель в нужном кванте работает на имеющемся оборудовании. Экономия может составить стоимость целого GPU.

Букмарклет бесплатный, не требует установки и работает за секунду. Если вы запускаете модели локально через llama.cpp, замерьте свой оверхед один раз, подставьте константы, и дальше выбор модели на Hugging Face станет предметным, а не гаданием на форумах.