Защита данных нейросети без селф-хоста: PII-фильтр экономит до 90% на токенах

Автор оригинального разбора за два месяца протестировал карты от RTX 4090 до H200, купил RTX 5070 Ti и V100, прогнал бенчмарки и пришёл к выводу: полный селф-хост нейросети не оправдывает себя ни по деньгам, ни по качеству ответов. Локальные модели Gemma 4 и Qwen 3.8 пока уступают лучшим облачным. Выход нашёлся в промежуточном звене: опенсорсный фильтр «guardrails-llm-filter» от Cloud.ru (лицензия Apache-2.0) работает как прокси, маскирует персональные данные до отправки в облако и возвращает читаемый ответ обратно.

Что понадобится?

• Любой Linux-сервер или контейнер (LXC, Docker), на котором можно запустить Go-приложение.
• Открытая модель «guardrails-llm-filter» от Cloud.ru (GitHub, лицензия Apache-2.0).
• Доступ к облачному провайдеру LLM (API-ключ OpenAI, Anthropic, Google и т.д.).
• Инструмент автоматизации: Ansible или аналог для управления конфигурацией.
• Система мониторинга: OneUptime или любой сервис с heartbeat-проверками.
• Время: первоначальная настройка занимает вечер, отладка режимов и мониторинга ещё один-два дня.

Как настроить защиту данных при работе с облачной нейросетью?

1. Установите «guardrails-llm-filter». Клонируйте репозиторий, соберите бинарник через go build. Важно: системный пользователь процесса должен иметь доступную на запись домашнюю директорию, иначе кэш Go-модулей не создастся и сборка упадёт. Переменные HOME и каталог кэша явно укажите на папку, которой владеет пользователь фильтра.

2. Настройте фильтр в режиме enforce. У фильтра два режима: enforce (маскирование, система заменяет персональные данные плейсхолдерами вроде [EMAIL_01]) и detect (только запись в журнал, данные уходят в облако как есть). Убедитесь, что enforce стоит и в стартовом значении конфигурации, и в применённых настройках.

# Пример: Ansible-задача для проверки режима
- name: Ensure enforce mode on start and in applied config
  assert:
    that:
      - filter_config.start_mode == "enforce"
      - filter_config.applied_mode == "enforce"
    fail_msg: "Filter is NOT in enforce mode — blocking deploy"

1. Направьте трафик через прокси. Перенастройте клиентское приложение так, чтобы все запросы к облачной модели и все ответы от неё шли через адрес фильтра. Фильтр работает в обе стороны: маскирует данные на выходе и восстанавливает подстановки на входе.

2. Выберите типы данных для маскирования. Фильтр поддерживает набор категорий: email, телефон, имя, адрес и другие. Автор оригинала использует шесть типов. Добавляйте типы постепенно, проверяя, не ломается ли контекст запроса.

3. После любого изменения перечитывайте конфигурацию целиком. API фильтра использует метод PUT, который заменяет объект полностью, а не дополняет его. Если отправить частичное обновление, остальные поля сбросятся. Проверяйте статус, набор типов данных и режим после каждого вызова.

4. Добавьте два монитора. Первый, heartbeat: раз в пять минут push-проверка подтверждает, что процесс жив и находится в режиме enforce. Отсутствие сигнала автоматически становится инцидентом. Второй, метрики: считает за пять минут ошибки маскирования, неподдерживаемый формат тела запроса и пропущенные без маскирования вызовы. В метрики записывайте только счётчики и задержки, не текст запросов, это снижает вектор атаки.

5. Определитесь со стратегией fail-open. Когда процесс не может разобрать или замаскировать конкретный запрос, он пропускает его как есть и увеличивает счётчик на +1. Это компромисс: работа не останавливается, но возможна единичная неотфильтрованная отправка. Без монитора из шага 6 такой подход опасен, с монитором пропуск сразу превращается в инцидент уровня Major.

6. Локальные модели переведите в режим stand-by. Gemma 4, Qwen 3.8 или другие открытые модели оставьте на локальном железе как запасной вариант на случай, когда облако недоступно или задача не требует топовой модели. GPU при этом свободна для других задач.

Что делать прямо сейчас, по ролям?

Автору Дзена. Если вы используете API облачных моделей для генерации контента и подставляете в промпты реальные имена клиентов, email-адреса или телефоны, PII-фильтр решает задачу защиты данных без покупки дорогого железа. Настройка занимает вечер.

Маркетологу. Экономия на кэшировании токенов меняет экономику: чем больше похожих запросов вы отправляете (серийная генерация объявлений, карточек товаров), тем заметнее разница в счёте. Пересборка запроса через LiteLLM убивает эту экономию, фильтр от Cloud.ru её сохраняет.

Предпринимателю в РФ. Решение опенсорсное, ставится на свой сервер, данные не покидают ваш контур. Из российских облачных провайдеров, которые предоставляют LLM через API, доступны YandexGPT и GigaChat, фильтр можно поставить и перед ними, хотя автор оригинала тестировал на зарубежных моделях.

Главный вывод простой: полный селф-хост большой языковой модели в 2025 году стоит неоправданно дорого, а отправлять данные в облако открытым текстом рискованно. Прокси-фильтр между вами и провайдером решает обе проблемы, и занимает один вечер вместо месяца настройки собственного сервера.