Автор Хабра расшифровал параметры llama.cpp на русском: штатная справка даёт лишь строку

Справочник выходит серией статей на Хабре. Автор прошёл по всем аргументам, которые выдают команды «llama-cli --help» и «llama-server --help», и сохранил тот же порядок. Частей ориентировочно четыре, «но может получиться больше». Первая уже опубликована, остальные в работе.

Пара слов о самом инструменте. llama.cpp автор называет дистрибутивом, которым пользуется «очень часто». Его основные утилиты служат для инференса, то есть для запуска готовой языковой модели, чтобы она генерировала ответы.

Что нового в справочнике?

• Двойное описание каждого параметра. Сначала название, шаблон и краткая строка из штатной справки. Затем комментарий автора своими словами.
• Честные пометки. Если автор не уверен в описании, рядом стоит строка «[Ремарка: описание работы параметра может быть не точным]».
• Четыре категории. Это общие параметры (Common Params), параметры сэмплирования (Sampling Params), спекулятивного декодирования (Speculative Params) и параметры, специфичные для конкретной утилиты (Example-Specific Params).
• Две версии на GitHub. Там будет русская и английская страница, и на каждой весь справочник целиком. GitHub — это площадка для хранения кода и документов, где любой может предложить правку.
• Английский перевод проверен вручную. Автор переводил с помощью ИИ, но вычитывал каждое слово.

Сэмплирование отвечает за то, как модель выбирает следующее слово из нескольких вариантов. Его настраивают температурой, параметрами top-p, top-k, min-p и другими. Автор признаётся, что сам был «сильно удивлён» возможностями этого блока.

Спекулятивное декодирование работает так. Маленькая быстрая черновая модель (draft-модель) угадывает несколько следующих токенов, а основная модель их проверяет. Токены — это кусочки слов, которыми оперирует нейросеть. Если догадка верна, основная модель принимает токены сразу и не считает их по одному, поэтому текст генерируется быстрее.

Ещё одна деталь из оригинала: большую часть параметров автор разбирал вместе с ИИ, но не копировал ответы. Он добивался понимания и в непонятных случаях смотрел исходный код. Из четырёх ссылок в оглавлении пока рабочая одна, у остальных стоит «материал в работе».

Как попробовать справочник?

1. Откройте первую часть, про общие параметры: habr.com/ru/articles/1108044.
2. Запустите у себя «llama-cli --help» и читайте справочник параллельно. Порядок параметров совпадает.
3. Параметры с ремаркой о неточности проверяйте на практике, прежде чем на них полагаться.
4. Нашли ошибку? Напишите в комментариях к статье, внесите правку на GitHub или свяжитесь с автором по почте или в Telegram. Контакты есть в его профиле на Хабре.

Чем это отличается от YandexGPT и GigaChat?

Из доступных в РФ аналогов чаще всего называют YandexGPT и GigaChat. Но это готовые сервисы. llama.cpp, судя по описанию автора, представляет собой набор утилит для инференса, который настраивают вручную через параметры командной строки. Поэтому справочник пригодится тем, кто хочет запускать модели сам, а не через чужой сервис.

Что делать с этим прямо сейчас, по ролям

Автору Дзена. Если вы уже пробовали запускать модели через llama.cpp и терялись в настройках, сохраните первую часть в закладки. Особенно полезна категория сэмплирования, когда она выйдет: именно эти параметры влияют на то, насколько «творчески» модель пишет текст.

Маркетологу. Посмотрите на справочник как на пример формата. Это длинный экспертный текст, разбитый на серию, с открытой просьбой о правках. Такой формат собирает вокруг автора сообщество.

Предпринимателю. Справочник написан на русском и опубликован на Хабре. Если команда думает запускать модели на своём оборудовании, дайте ссылку тому, кто будет их настраивать.

Что спрашивают о справочнике чаще всего?

Подойдёт ли он тем, кто работает через llama cpp python?

Источник об этом не говорит. Справочник описывает параметры трёх утилит: llama-cli, llama-completion и llama-server. Отдельно про llama cpp python в материале ничего нет.

Где следить за выходом следующих частей?

Первая статья служит одновременно оглавлением и будет обновляться ссылками на новые части. Справочник также будет пополняться на GitHub, а новости автор обещает публиковать в своём Telegram-канале.

Можно ли помочь автору?

Да, и он прямо об этом просит. Больше всего его интересует обратная связь от тех, кто знает llama.cpp на практике. Если вы из их числа, ваша правка сделает русский справочник точнее для всех, кто придёт после вас.