Как мы внедряли LLM в модерацию Авито: 20 млн объявлений в сутки без утечки данных

Авито автоматизировало более 95% проверок объявлений, но оставшийся поток составляет сотни тысяч единиц контента в день. С ними работают несколько сотен модераторов. Новому сотруднику нужно около полугода, чтобы выйти на стабильное качество: регламент занимает до 200 страниц. Команда Руслана Сакаева описала, как LLM заменяет часть этой работы и какие компоненты пришлось выстроить вокруг модели, чтобы решение держалось в продакшене. Ниже собраны конкретные шаги, которые можно адаптировать под свою задачу.

Что понадобится?

• Собственная GPU-инфраструктура или выделенные серверы для инференса (инференс, это момент, когда модель обрабатывает запрос и выдаёт ответ). Внешние API не подходят, если в объявлениях есть персональные данные
• Открытая модель с нужным размером. Авито использует Qwen3.5-35B-A3B как базовую и дообученную Avision-8B для сложных случаев. Открытые веса (open weights, когда параметры модели доступны для скачивания и запуска на своём оборудовании) позволяют работать внутри контура
• Регламент модерации в текстовом виде, до 200 страниц
• Набор размеченных примеров для оценки качества и, при необходимости, для дообучения (fine-tuning, обучение модели на ваших примерах под узкую задачу)
• Инструмент автоподбора промптов (prompt), например GEPA или аналог
• Время: по данным команды Авито, первая рабочая версия появляется быстро, но итерации по качеству промптов занимают четыре и более циклов

Пошаговая инструкция

1. Определите, какие проверки переводить на LLM первыми. Начните с тех, где регламент описан подробно, а классическая модель (обычный классификатор на основе ключевых слов или признаков) работает нестабильно. Авито выбрало задачи, в которых LLM выигрывает за счёт понимания контекста и нюансов формулировок

2. Замкните контур данных. Если в объявлениях есть персональные данные, внешние LLM-сервисы (ChatGPT API, Claude API и подобные) использовать нельзя. Разверните модель на собственных GPU. Авито называет это «замкнутым контуром»: данные не покидают инфраструктуру компании

3. Выберите базовую модель без дообучения. Авито протестировало модели разных размеров. Результаты по метрике F1 (доля правильно найденных нарушений с поправкой на ложные срабатывания):

4. Qwen3.5-35B-A3B: высокое качество при наименьшем количестве активных параметров, берётся «из коробки»

5. Дообученная Avision-8B: F1 76%, лучше базовой 35B-модели и даже 397B-модели, но требует качественной разметки

6. Модель Jev: по F1 на уровне Qwen3.5-35B-A3B, команда продолжает наблюдать за ней

7. Превратите регламент в промпт, а не подавайте целиком. Команда рассмотрела три варианта:

8. RAG (retrieval-augmented generation, когда модель ищет нужный кусок документа перед ответом): дешевле на запрос, но появляются промахи поиска и нужен отдельный инженерный контур

9. Регламент целиком в контекст: просто, но дорого, медленно, у модели проседает внимание на больших текстах
10. Промпт, собранный на основе регламента: дешёво, быстро, стабильно. Минус: риск потерять смысл при сжатии

Авито выбрало третий вариант. Структура промпта:

Задача: Определить, есть ли нарушение правил в объявлении
         по тексту (заголовок и описание) и фото.
Формат входа: описание объявления с полями: Заголовок,
              Описание, Фото.
Формат ответа: строго одна строка: True или False.
               Без пояснений и форматирования.
Правила проверки: <сжатый регламент>

1. Итерируйте промпт в четыре этапа. Авито прошло пять итераций:

2. Нулевая: регламент «как есть», без изменений

3. Первая: люди, работающие с регламентом ежедневно, переписали его в компактную инструкцию
4. Вторая: LLM переписывает регламент в промпт, результат проверяется вручную
5. Третья: промпт считается гиперпараметром модели и оптимизируется алгоритмически. Авито использовало адаптированный вариант GEPA (алгоритм автоматического подбора промптов через эволюционный поиск)

6. Четвёртая: набор MCP-серверов (серверов, предоставляющих ИИ-агенту инструменты: разбор ошибок, запуск оптимизации, обучение адаптеров). Агенты оптимизируют метрики, а команда проверяет и принимает результат

7. Дообучайте компактную модель только там, где базовая не справляется. Авито дообучает 8B-модель на нарушениях, где 35B-модель «из коробки» проседает по качеству. Для дообучения нужна качественная разметка, поэтому этот шаг применяется точечно, а не ко всем проверкам

8. Замеряйте F1 на каждом изменении промпта и модели. Без замеров невозможно понять, улучшило ли очередное изменение регламента или промпта реальное качество модерации

Что делать с этим прямо сейчас, по ролям?

Авторам Дзена и контент-менеджерам. Этот кейс показывает, как работает модерация изнутри. Если ваше объявление или публикация отклоняется, за решением может стоять не человек, а языковая модель, которая буквально читает регламент. Понимание этого помогает точнее формулировать заголовки и описания, чтобы не попадать под ложные срабатывания.

Маркетологам и продакт-менеджерам. Подход Авито применим к любой платформе с пользовательским контентом: отзывы, комментарии, карточки товаров. Ключевая экономика: LLM заменяет ручной труд сотен модераторов, при этом новые правила внедряются за итерацию промпта, а не за полгода обучения людей.

Предпринимателям и техническим руководителям в РФ. Замкнутый контур (модель на своих серверах) решает проблему персональных данных без зависимости от зарубежных API. Из открытых моделей, доступных для развёртывания в России: Qwen (открытые веса, китайская разработка), а также отечественные разработки YandexGPT и GigaChat, хотя Авито в своём кейсе использует именно Qwen и собственную дообученную модель.

Кейс Авито доказывает конкретную вещь: в 2025 году можно взять открытую модель на 35 миллиардов параметров, обернуть её грамотным промптом и получить качество, сопоставимое с моделью в десять раз большего размера. Главное условие для российских компаний: замкнутый контур, данные не выходят наружу, модель живёт на ваших серверах.