Купил GPU раньше требований: 7 решений, чтобы не переделывать ИИ-инфраструктуру после пилота

Обычный сценарий описывает Никита Векессер, он отвечает за развитие ИИ-продуктов в Orion soft. ИТ-отдел подбирает серверы с GPU (графическими ускорителями, на которых работают нейросети), бизнес смотрит облачные модели, разработчики собирают прототип. Через полгода модель не помещается в видеопамять, облако не укладывается в бюджет, а купленные ускорители не справляются с реальной нагрузкой.

Проблема не всегда связана с оборудованием или самой моделью, а чаще всего с последовательностью принятия решений. : Никита Векессер, руководитель направления ИИ-продуктов Orion soft

Мой комментарий к источнику: Orion soft часто подключается к проекту, когда модель уже выбрана, а железо уже стоит в стойке. Поэтому компания видит ошибки старта в момент, когда их дороже всего исправлять.

Что понадобится до первой закупки?

• Одна бизнес-задача, сформулированная в одну строку.
• Измеримая метрика, на которую должен повлиять ИИ.
• Владелец будущего сервиса, то есть конкретный человек, который за него отвечает.
• Список данных и систем, с которыми сервис должен работать.
• Требования безопасности от вашей службы ИБ.
• Оценка числа пользователей: один сотрудник или сотни.
• Время на нагрузочную проверку до оплаты оборудования.

Семь решений, которые принимают до покупки GPU

1. Определите, зачем вам ИИ. В материале Orion soft названы три типичных мотива: требования регулятора и стратегии, давление конкурентов, инициатива сотрудников. От мотива зависит, что вы будете считать результатом.
2. Отделите формальный показатель от реального эффекта. Для госорганизаций внедрение ИИ часто входит в целевые показатели цифровой трансформации. Ориентиры здесь задала Национальная стратегия развития искусственного интеллекта, утверждённая в 2019 году. Выполнить показатель и ускорить процесс получается не всегда одновременно, поэтому решите заранее, какую из двух целей вы преследуете.
3. Зафиксируйте метрику. Без неё даже удачное внедрение так и останется экспериментом, ценность которого трудно доказать. В Orion soft признают, что выделить эффект именно от ИИ сложно: на те же показатели одновременно влияют автоматизация и смена процессов.
4. Назначьте владельца и опишите окружение. Перечислите требования к данным, интеграциям, инфраструктуре и безопасности.
5. Оцените масштаб. Решение, которое работает у одного сотрудника с платной подпиской на облачную модель, часто нельзя без переделок раздать сотням пользователей.
6. Только теперь выбирайте модель и размещение. Сначала проверьте, поместится ли модель в доступную видеопамять. Затем сравните стоимость облака и своих серверов.
7. Проверьте конфигурацию под реальной нагрузкой. Orion soft тестирует ИИ-сервисы на собственной RAG-системе. RAG это схема, при которой нейросеть сначала находит нужное в ваших документах и только потом отвечает. Компания обещает поделиться результатами испытаний нескольких конфигураций GPU.

Шаги 1–5 удобно оформить карточкой требований:

Задача: ...
Метрика и текущее значение: ...
Владелец сервиса: ...
Данные и системы: ...
Требования безопасности: ...
Пользователей на старте / через год: ...

Что делать с этим прямо сейчас, по ролям

Автору Дзена. Если вы пишете для бизнес-аудитории, карточка требований подойдёт как основа для практичного поста. Если вы сами работаете с ИИ по подписке, помните: личный успех не доказывает, что то же решение сработает в масштабе компании.

Маркетологу. Прежде чем просить бюджет на ИИ, назовите метрику: скорость подготовки материалов, качество клиентского сервиса, издержки. Без неё руководство увидит в проекте только расходы.

Предпринимателю в РФ и СНГ. Начните с вопроса, нужен ли вам свой сервер вообще. Для первых проверок можно взять доступные в России облачные модели, например YandexGPT или GigaChat. Серверы с GPU стоит закупать только после того, как карточка требований заполнена.

Купил GPU, но ещё не проиграл: если задача, метрика и масштаб описаны раньше закупки, после пилота переделывать почти ничего не придётся.