Бот в Open WebUI игнорировал живые цены: HOSTKEY заменил штатные настройки пайпом на Python

Open WebUI, это веб-интерфейс для работы с моделями, где можно собрать собственного бота. Александр Казанцев, руководитель отдела документации и контента HOSTKEY, описал, почему одних настроек модели для бота поддержки не хватило. Разберём, как пайп решает эту задачу и что получится на выходе: бот, который сначала собирает данные и только потом отвечает.

Что понадобится?

• Развёрнутый Open WebUI с доступом к админ-панели.
• Модель через Ollama (программа для запуска моделей на своём сервере). У HOSTKEY это gemma4:26b-a4b-it-qat.
• База знаний для RAG. Это поиск по вашим документам: модель сначала находит нужный фрагмент, потом отвечает по нему.
• Инструменты через MCP, общий стандарт подключения внешних сервисов к модели. У HOSTKEY это status_ru_mcp и docs_url_ru.
• Базовое знание Python: пайп пишется кодом.

Пошаговая инструкция: от настроек модели к своему пайпу

1. Проверьте, работают ли инструменты на штатных настройках. Задайте вопрос, под который у модели есть инструмент. HOSTKEY спрашивал про дешёвый VPS (виртуальный сервер в аренду) в Германии, на этот вопрос должен отвечать get_vps_list.
2. Посмотрите, откуда взялся ответ. У HOSTKEY модель не пошла в Invapi, API хостинга, то есть канал, через который программы запрашивают данные у системы. Ответ был собран только по документации.
3. Разберитесь с режимом вызова функций. В режиме Legacy Open WebUI подмешивает данные всех инструментов в системный промпт, и модель может сформировать неверный JSON (формат обмена данными) или пропустить инструмент. В режиме Native модель получает список инструментов отдельным параметром и вызывает их сама, но с Gemma 4 этот режим требует отдельной работы.
4. Создайте пайп. Пайпы создаются в разделе Admin Panel, Function. Это Python-класс с методом pipe: он получает тело запроса и возвращает строку, JSON или поток.
5. Задайте порядок шагов в коде. Внутри пайпа можно сколько угодно раз обращаться к модели, вызывать MCP-инструменты, менять промпт и включать или выключать RAG. HOSTKEY нужен был такой порядок: поиск по ключевым словам, проверка доступности сервера и запрос в Invapi, затем ответ с RAG.
6. Подключите пайп вместо модели. В Open WebUI пайп виден как отдельная модель. Для внешних клиентов достаточно заменить в вызове кастомную модель на модель пайпа.

Схематичный каркас по описанию HOSTKEY выглядит так. Точную сигнатуру сверяйте с документацией Open WebUI.

class Pipe:
    class Valves(BaseModel):
        # настраиваемые параметры: ключи, адреса, пороги
        pass

    def pipe(self, body):
        # 1. поиск по ключевым словам
        # 2. проверка статуса и запрос в Invapi
        # 3. ответ с RAG
        return "ответ"

Valves, это настройки пайпа, которые хранятся в базе данных и меняются из админ-панели без правки кода. HOSTKEY от них отказался: команде проще держать промпты и параметры прямо в коде.

Замеры из того же материала объясняют выбор модели. Gemma 4 с отключённым режимом рассуждений отвечает за время от 5 до 7 секунд на двух видеокартах A4000 по 16 ГБ, Qwen 3 думает от 30 до 40 секунд. По признанию автора, качество ответа у Gemma «чуть-чуть похуже».

Что делать с этим прямо сейчас, по ролям

Автору Дзена. Если вы собираете бота для ответов читателям, не доверяйте ему цифры, пока не проверили источник каждой. Задайте пять вопросов с известными ответами и сверьте результат.

Маркетологу. Бот, который пересказывает прайс из документации, может назвать устаревшую цену. Для вопросов о тарифах нужен вызов живой системы, а не база знаний.

Предпринимателю. Open WebUI и открытые модели можно развернуть на своём сервере, кейс HOSTKEY собран на российских данных о тарифах и локациях. Из облачных альтернатив в РФ доступны YandexGPT и GigaChat.