Hermes Desktop запускает локальные модели нейросети в один клик: настройка не нужна

Nous Research, компания-разработчик серии открытых моделей Hermes, выпустила обновление своего десктопного приложения Hermes Desktop. Суть релиза узкая и конкретная: функция автоматической настройки локальных моделей нейросети в один клик. Приложение распространяется бесплатно под лицензией MIT, работает на macOS 12 и новее, Windows 10 и 11, любых дистрибутивах Linux и не требует регистрации для работы с локальными моделями.

Что именно делает программа?

Hermes Desktop при первом запуске сканирует ваш компьютер: объём видеопамяти, тип видеокарты, доступную оперативную память. На основе этих данных приложение само выбирает модель из каталога, скачивает её и настраивает движок инференса (вычислительный процесс, который запускает модель и генерирует ответы).

Под капотом Hermes скачивает и обновляет сборку llama.cpp, открытого движка для запуска языковых моделей, подобранную под конкретное железо. Размер движка составляет несколько сотен мегабайт. Пользователю не нужно выбирать ни количество слоёв на видеокарте, ни размер контекстного окна, ни степень сжатия модели.

Повторно вызвать настройку можно через меню: «Настройки», затем «Провайдеры», затем «Локальные модели».

Как программа решает, какая модель вам подходит?

Каждая модель в каталоге проверяется на совместимость с конкретным компьютером ещё до скачивания. Результат показан цветовой меткой:

• Зелёная означает, что модель целиком помещается в видеопамять и будет работать быстро.
• Жёлтая означает, что часть модели уйдёт в оперативную память, скорость ответов снизится.
• Красная означает, что машина не потянет эту модель.

Программа выбирает самую качественную сборку, которая полностью помещается в видеопамять. На слабых машинах предлагается более компактная сборка той же модели. Ниже 4-битной квантизации Nous Research не опускается: разработчики считают, что потеря качества при более сильном сжатии слишком велика. Модели, которые не помещаются даже в 4-битном варианте, остаются видны в каталоге с пояснением, почему запуск невозможен и сколько видеопамяти не хватает.

Как работает память при генерации?

Управление памятью полностью автоматическое, пользователь не видит ни одного ползунка. Модель стартует с контекстным окном, которое целиком умещается в видеопамять, и увеличивает его по мере роста диалога до максимума, заявленного разработчиком модели.

Когда модель перестаёт помещаться в видеопамять, Hermes выгружает в оперативную память сначала так называемые экспертные веса, а кэш внимания (attention cache, часть модели, отвечающая за связность длинного разговора) остаётся на видеокарте всегда. Это осознанный компромисс: скорость генерации падает, но качество длинных диалогов сохраняется.

Сжатие контекста (автоматическое сокращение истории разговора) включается только когда окно достигло максимума. Если модель не используется 15 минут, она выгружается из памяти и загружается снова при следующем сообщении.

Что это даёт вам прямо сейчас?

Автору на Дзене. Если вы хотели попробовать локальные модели нейросети для черновиков, рерайта или генерации идей, но останавливала техническая сложность, Hermes Desktop снимает этот барьер. Установка сводится к скачиванию программы и одному клику. Данные не уходят на сторонний сервер, что важно для тех, кто работает с клиентскими текстами.

Маркетологу. Локальный инференс означает нулевую стоимость за запрос после скачивания модели. Для рутинных задач (переписывание описаний товаров, генерация вариантов заголовков) это может заметно сократить расходы на API.

Предпринимателю в РФ и СНГ. Hermes Desktop не требует VPN и регистрации. Приложение скачивает модели с открытыми весами, которые не блокируются по региону. Из российских альтернатив для локального запуска существуют YandexGPT (через API, не локально) и GigaChat (также облачный), но именно бесплатного десктопного инструмента с автоподбором модели в российских экосистемах пока нет.

Если у вас видеокарта с 8 и более гигабайтами видеопамяти, попробуйте установить Hermes Desktop и посмотрите, какую зелёную метку покажет каталог, это покажет реальный потолок вашего железа точнее любого калькулятора.

По данным Hermes Desktop (документация Local Models и страница загрузки)