Tuna внедрила AIOps-агента в шесть кластеров: гипотеза сбоя за 4 минуты и несколько рублей

HolmesGPT создан в Robusta.dev, развивается при участии Microsoft и с октября 2025 года входит в CNCF Sandbox (каталог проектов Cloud Native Computing Foundation, ключевой организации облачного мира). На GitHub у проекта около 3 500 звёзд, релизы выходят каждые одну-две недели. Команда Tuna протестировала агента на собственном кластере и на пяти клиентских, а затем описала весь путь внедрения. Для российских DevOps-команд это редкий случай: есть готовый опенсорс-инструмент, проверенный на реальном трафике, причём часть кластеров работает в отечественном облаке.

Концепция AIOps (применение ИИ к эксплуатации ИТ-систем) активно обсуждается аналитиками, и AIOps in the Gartner Hype Cycle уже несколько лет фигурирует как зрелеющее направление. HolmesGPT показывает, как эта концепция выглядит не в отчёте аналитика, а в дежурном чате инженера.

Что умеет агент и чего ему не дали?

• Только чтение, без автопочинки. Агент ходит в Kubernetes, метрики и логи, но прав на запись у него нет. Ответ помечен как гипотеза, а не диагноз. Команда Tuna сознательно отключила режим автоматического исправления, хотя HolmesGPT его поддерживает.

• Готовая гипотеза за минуты. От срабатывания алерта до разбора в чате проходит около четырёх минут по медиане. На один алерт агент делает два-три десятка вызовов инструментов, в сложных случаях до сотни.

• Оценка точности: 90-95 процентов по ощущениям дежурных. Tuna честно оговаривает: это не результат систематического замера, а субъективная оценка команды. Формальную сверку с реальными причинами инцидентов пока не проводили.

• Алерт стоит денег, и это полезно. Когда у повторяющегося оповещения появляется строчка расходов, его хочется починить системно, а не игнорировать в сотый раз.

• Любая языковая модель через litellm. Поддерживаются Anthropic, OpenAI, Azure, Gemini, Ollama, OpenRouter и любой OpenAI-совместимый API. Tuna использует DeepSeek v4.1 Flash через OpenRouter.

• Собственный мост holmes-alert-bridge. В открытой версии HolmesGPT нет штатной push-интеграции с Alertmanager (системой рассылки оповещений в Prometheus). Tuna написала и открыла код моста, который принимает алерт, отсеивает лишнее и передаёт агенту вместе с контекстом.

Как попробовать?

1. Установите HolmesGPT в свой Kubernetes-кластер. Основной способ: Helm-чарт с отдельной инсталляцией на каждый кластер. Агент работает под ServiceAccount с правами только на чтение. Минимальный values.yaml описан в публикации Tuna.

2. Подключите holmes-alert-bridge. Код открыт. Мост связывает Alertmanager и HolmesGPT: принимает оповещение, фильтрует и отправляет агенту. Без него push-сценарий в открытой версии не работает.

3. Выберите языковую модель и проверьте безопасность логов. Перед запуском убедитесь, что в логах нет паролей, токенов (ключей доступа) и персональных данных: всё, что прочитает агент, уйдёт провайдеру модели. Tuna включила режим ZDR (zero data retention, запрет на хранение данных провайдером) в настройках OpenRouter.

4. Напишите Skills для своего проекта. Skills (раньше назывались runbooks) описываются в файлах SKILL.md. Агент видит только описания, а полный текст подгружает по необходимости. Здесь хранятся знания о специфике вашей инфраструктуры.

Есть ли аналоги в России?

Прямого российского аналога HolmesGPT с открытым кодом на рынке нет. Для AIOps-задач в отечественных облаках используют мониторинг Yandex Cloud и собственные скрипты. YandexGPT и GigaChat можно подключить к HolmesGPT через OpenAI-совместимый API (если провайдер его предоставляет), но Tuna в публикации использует DeepSeek через OpenRouter. Для читателей из РФ главная практическая ценность этого внедрения в том, что часть кластеров Tuna работает в российском облаке, а код моста открыт и доступен для развёртывания без привязки к зарубежной инфраструктуре.

Частые вопросы

Может ли HolmesGPT сам починить сбой?

Технически да, у агента есть такой режим. Но команда Tuna сознательно его отключила и рекомендует так же: агент работает только на чтение, а его ответ это гипотеза, которую проверяет человек.

Какие данные уходят провайдеру модели?

Всё, что агент прочитает в логах, метриках и ресурсах Kubernetes, отправляется в API языковой модели. Перед внедрением проверьте логи на пароли, токены и персональные данные. Tuna использует режим ZDR (zero data retention) у OpenRouter, который запрещает провайдеру хранить переданные данные.

Сколько стоит один разбор алерта?

По данным Tuna, несколько рублей при использовании дешёвых моделей или 10-30 центов на более дорогих. Конкретная сумма зависит от выбранной модели и сложности инцидента: на простой алерт уходит два-три десятка вызовов инструментов, на запутанный до сотни.