ИИ-агенты для локальной установки: LFM2.5 работает без GPU и выдаёт 113 токенов в секунду

До сих пор агентные модели, то есть модели, которые сами вызывают инструменты и выполняют цепочки действий, требовали либо мощной видеокарты, либо облачного API с помесячной оплатой. Liquid AI заявляет, что LFM2.5-2.6B конкурирует с моделями в четыре раза крупнее на задачах вызова инструментов, следования инструкциям и многошаговых агентных сценариев. Источник: блог Liquid AI.

Что умеет LFM2.5-2.6B?

• Работает на процессоре, а не на видеокарте. 220 токенов (минимальных единиц текста, которые модель генерирует) в секунду на Apple M5 Max, 113 токенов в секунду на AMD Ryzen AI Max+ 395. По данным Liquid AI, даже на смартфоне модель выдаёт около 30 токенов в секунду.
• Длинный контекст. Окно контекста (объём текста, который модель «помнит» за один сеанс) расширено до 128 000 токенов. Это примерно 200 страниц текста.
• Агентное обучение с подкреплением (Agentic RL, метод, при котором модель учится действовать внутри реальных программных сред, получая награду за верные шаги). По данным разработчика, модель тренировалась прямо внутри популярных агентных «обвязок» (harnesses), чтобы лучше совмещаться с ними без доработок.
• Лидер в следовании инструкциям. Liquid AI сообщает, что LFM2.5-2.6B заняла первое место во всех тестах на следование инструкциям и во всех тестах на вызов инструментов, кроме BFCLv4, где её обошла модель Qwen размером 9,7 млрд параметров.
• Слабое место: код. Разработчик честно указывает, что в задачах на генерацию кода более крупные модели сохраняют заметное преимущество.

Как работает обучение?

Модель прошла четыре стадии после базового обучения на примерно 34 триллионах токенов:

1. Два раунда дообучения (fine-tuning, обучение модели на ваших примерах под узкую задачу) с акцентом на агентные данные: вызов инструментов, веб-поиск, траектории действий.
2. Для каждой области (математика, код, инструменты) обучили отдельного «учителя».
3. Знания всех учителей сжали в одну модель-«ученика» методом дистилляции.
4. Финальный этап: модель работала внутри реальных агентных сред, получала награду за верные цепочки действий и обновляла свои веса.

Результат: компактная модель, которая в ряде тестов не уступает моделям с 9-10 млрд параметров. При этом весь процесс инференса (генерации ответа) идёт локально, без обращения к серверу.

Как скачать и запустить ИИ-агента локально?

Чтобы скачать и установить ИИ-агента LFM2.5 на свой компьютер, достаточно четырёх шагов:

1. Установите Python и библиотеку transformers версии 5.0.0 или новее. В терминале выполните команду: pip install -U transformers.
2. Скачайте веса модели с Hugging Face: страница LiquidAI/LFM2.5-2.6B. Там же лежит базовая версия LFM2.5-2.6B-Base.
3. Запустите модель кодом из документации Liquid AI (пример на Python занимает 15 строк и не требует GPU).
4. Попробуйте без установки: на сайте Liquid AI есть браузерная демо-версия на WebGPU, которая работает прямо в браузере без настройки.

Liquid AI также поддерживает запуск через llama.cpp, MLX, vLLM, SGLang и ONNX, то есть модель встраивается почти в любой существующий стек.

Сравнение с российскими аналогами

Для авторов и предпринимателей из РФ главное отличие: YandexGPT и GigaChat хорошо работают на русском языке, но требуют подключения к облаку. LFM2.5-2.6B запускается без интернета и бесплатна, однако качество работы на русском языке в источнике не обсуждается.

Что делать с этим прямо сейчас, по ролям?

Автору Дзена. Если вы собираете фактуру из нескольких источников, локальный ИИ-агент может автоматизировать поиск и сведение данных без риска утечки черновиков на чужой сервер.

Маркетологу. Модель бесплатна и работает офлайн. Это значит, что можно тестировать агентные сценарии (автоматическая обработка заявок, парсинг отзывов) без бюджета на API.

Предпринимателю в РФ. Модель запускается на процессорах AMD Ryzen, которые продаются в России. Видеокарта не нужна, 2,5 ГБ оперативной памяти найдётся даже на бюджетном ноутбуке. Но учтите: качество ответов на русском пока не подтверждено разработчиком.

Частые вопросы

Нужна ли мощная видеокарта для запуска LFM2.5-2.6B?

Нет. Модель работает на обычном процессоре (CPU). По данным Liquid AI, на AMD Ryzen AI Max+ 395 скорость составляет 113 токенов в секунду, а на смартфоне порядка 30 токенов в секунду. Видеокарта ускоряет работу, но не обязательна.

Можно ли запустить модель без интернета?

Да. После скачивания весов (менее 2,5 ГБ) модель работает полностью офлайн. Все данные остаются на вашем устройстве.

Подходит ли модель для работы на русском языке?

Liquid AI не сообщает о специальной поддержке русского языка. Модель может генерировать текст на русском, но качество нужно проверять самостоятельно. Для задач, где критичен русский, пока надёжнее использовать YandexGPT или GigaChat, а LFM2.5-2.6B держать для агентных сценариев, где язык вторичен (вызов инструментов, обработка данных, поиск).

Если вы давно хотели попробовать ИИ-агентов, но не хотели платить за облако или отправлять данные на чужой сервер, LFM2.5-2.6B убирает оба барьера: скачиваете, запускаете, проверяете на своих задачах.