Что такое ИИ-агент в работе: блог на Laya и Gemma 4 сам отбирает и публикует новости

Если вы давно хотели понять, что такое ИИ-агент в работе, эта схема подойдёт как учебный образец. Сервис принимает новость, решает, нужна ли она блогу, и доводит подходящую до публикации.

LangGraph и CrewAI, высокоуровневые агентные фреймворки (наборы готовых заготовок, которые связывают модель с инструментами), автор сознательно не использовал. Алексей Яковенко, разработчик на Python с многолетним стажем, написал всю логику взаимодействия моделей и инструментов сам. Поводом для разбора стала модель JEV, которую местами называют очередным «убийцей всех LLM».

Чем JEV отличается от привычной языковой модели?

JEV выпустила компания TypeSafe AI. Это нейросеть для быстрых решений внутри программ. Вести диалог, писать код или произвольный текст она не умеет, и это не её задача.

Обычная LLM (большая языковая модель, нейросеть, которая пишет текст) даже короткий ответ собирает последовательно, токен за токеном. Токен здесь означает кусочек слова, из которых модель складывает ответ. Яковенко задаёт прямой вопрос: зачем генеративная модель там, где нужно лишь выбрать вариант из известного списка?

TypeSafe AI называет JEV первой публичной моделью класса System One Models. Название отсылает к двум системам мышления, которые популяризировал психолог и нобелевский лауреат Даниэль Канеман: быстрой интуитивной и медленной, требующей усилий. JEV берёт на себя работу первой.

У модели три особенности:

• типизированный ответ: вы заранее задаёте форму ответа, это выбор из вариантов, оценка по шкале или вероятность того, что утверждение истинно;
• параллельная обработка: несколько независимых вопросов к одному тексту модель оценивает одновременно;
• числовая уверенность: вместо фразы «я практически уверен» модель возвращает вероятность.

Для практики автор берёт Laya, один из открытых аналогов JEV. Открытая модель (open-source) означает, что её можно скачать и запустить на своём сервере.

Что понадобится для сборки?

• собственный сервер для обеих моделей;
• Laya для сортировки новостей по темам;
• LLM семейства Gemma 4 для анализа и написания статей;
• Python и FastAPI, набор инструментов для создания веб-сервисов на Python;
• база данных и фоновый обработчик задач, который забирает новости из очереди;
• доступ к вашему блогу для публикации.

Требования к железу и время на сборку в разобранной части материала не названы, поэтому закладывайте запас.

Пошаговая инструкция: от входящей новости до статьи в блоге

1. Разверните Laya на сервере. Её задача: определить тематику новости и отсеять неинтересное.
2. Рядом разверните модель семейства Gemma 4. Она получит только те новости, которые прошли фильтр.
3. Сформулируйте для Laya типизированный вопрос, например вероятность того, что новость относится к теме вашего блога.
4. В коде на Python задайте правило: что делать с полученной вероятностью. Новость можно взять в работу, отправить другой модели или запросить дополнительные данные. Порог вы выбираете сами.
5. Дайте большой модели инструменты для анализа информации, подготовки статьи и публикации. Набор правил для неё задаётся в системном промпте, постоянной инструкции, которую модель читает перед каждой задачей.
6. Соберите всё в сервис на FastAPI с базой данных, фоновым обработчиком и собственной обвязкой агента (Agent Harness), то есть кодом, который передаёт задачи между моделью и инструментами.
7. Добавьте небольшой веб-интерфейс, чтобы видеть процесс от классификации новости до готовой статьи на сайте.

Набросок системного промпта для шага 5, это мой шаблон, а не код автора:

Ты редактор новостного блога. Тебе передают новость, которая прошла фильтр по теме.
Проверь факты по доступным инструментам, напиши статью на русском без выдуманных цифр
и опубликуй её через инструмент публикации. Если данных не хватает, не публикуй.

Схема разделяет дешёвое решение и дорогую генерацию. Laya отсекает лишнее, а Gemma 4 тратит ресурсы только на то, что прошло отбор.

Что делать с этим прямо сейчас, по ролям

Автору Дзена. Заберите идею фильтра: отделите отбор тем от написания текста. Даже без своего сервера можно сначала спрашивать нейросеть «подходит ли новость под мою тему, да или нет», а писать только по отобранному.

Маркетологу. Схема показывает, где экономить: дешёвая модель сортирует поток, дорогая работает только с отобранным. Это стоит учесть, когда считаете бюджет на ИИ для мониторинга новостей.

Предпринимателю в РФ и СНГ. Laya и Gemma 4 разворачиваются на собственном сервере, поэтому данные не уходят в зарубежное облако. Если свой сервер не по силам, из доступных в РФ аналогов для роли большой модели подойдут YandexGPT и GigaChat.

Агент, который пишет за вас, полезен ровно настолько, насколько строг его фильтр. Начните с фильтра, а писать доверите потом.