Эвотор выбрал Vosk вместо Whisper: 7 проблем голосового приёма заказов в EvoPoint

EvoPoint, это пинпад (устройство, в которое покупатель прикладывает карту), научившийся принимать заказы голосом. Опытом поделился Владимир Графсков, техлид интеграционных проектов Эвотора, в материале на Хабре. По его словам, сначала казалось, что достаточно добавить в терминал распознавание речи, но готовой библиотекой дело не ограничилось.

Команда перечисляет задачи, которые пришлось решать:

• борьба за каждый мегабайт оперативной памяти;
• шум профессиональной кофемашины;
• собственная оркестрация платёжных сценариев, то есть порядок, в котором части системы передают друг другу работу;
• компромисс между «умным» и «холодным» железом;
• спокойствие кассира-бариста.

Подробно в доступной части текста разобраны первые две проблемы, на них и строим инструкцию.

Что понадобится

• Терминал или другое устройство, на котором будет работать распознавание, и понимание его лимитов по процессору и памяти.
• Несколько моделей распознавания речи для сравнения. Эвотор тестировал Vosk, T-1, Whisper, включая версию Tiny, и ещё пару менее популярных моделей.
• Меню или список товаров, под который нужно адаптировать словарь.
• Доступ в реальное шумное помещение для испытаний, а не только в тихий офис.
• Локальная база для журнала событий.

Пошаговая инструкция

1. Сформулируйте требования до выбора модели. У Эвотора их четыре: работа локально, распознавание в реальном времени, стабильность без захвата всей памяти и предсказуемый SLA (гарантированное время ответа при заданной длине фразы и нагрузке).
2. Откажитесь от облака, если связь ненадёжна. Отправлять каждый аудиопоток на сервер, по словам команды, долго, дорого и требует идеального Wi-Fi, которого в малом бизнесе часто нет. Терминал должен принимать заказы даже в подвале без LTE.
3. Устройте собственное сравнение моделей на своём железе. Смотрите не только на точность, но и на нагрузку на процессор и время инференса (работы уже обученной модели над вашей фразой).
4. Проверьте, можно ли подстроить модель под ваш ассортимент. Vosk позволяет подкладывать графовые файлы прямо во время работы, адаптируя словарь под конкретное меню кофейни.
5. Разделите систему на независимые контуры. В EvoPoint это распознавание голоса, экран покупателя, оркестратор, который сопоставляет слова с меню и решает, когда переходить к оплате, и изолированный платёжный слой.
6. Пишите в журнал каждый шаг с номером операции. У Эвотора каждое событие привязано к идентификатору oper_uid и попадает в локальную базу:

oper_uid: номер операции
событие: VOICE_MATCHED
событие: PAYMENT_STARTED

1. Тестируйте в боевых условиях как можно раньше. Лаборатория, как выяснила команда, всех проблем не показывает.

Отдельный вывод касается выбора модели. Whisper от OpenAI показал на синтетических тестах любопытную точность, но даже версия Tiny превысила допустимую нагрузку на процессор и не уложилась в лимиты по времени. T-1 порадовала качеством в кассовых сценариях, однако плохо уживалась с ограничениями терминала, плюс команда опасалась сложностей с дообучением (обучением модели на своих примерах под узкую задачу).

В итоге выбрали Vosk: он сразу вписался в жёсткие лимиты по памяти и процессору и умеет подстраивать словарь под ассортимент. Сами авторы сравнили ситуацию с мемом про отличника, который работает у троечника: одного качества распознавания для выбора оказалось мало.

Что делать с этим прямо сейчас, по ролям

Автору Дзена: это сильный сюжет для канала про бизнес и технологии. Российский кейс с конкретными моделями и честными провалами читатель ценит выше пересказа зарубежных анонсов.

Маркетологу: голосовой заказ на кассе упирается не в нейросеть, а в шум зала и терпение бариста. Обещая клиенту «ИИ на кассе», закладывайте время на испытания в реальном помещении.

Предпринимателю в РФ и СНГ: локальное распознавание без облака снимает зависимость от связи и зарубежных сервисов. Vosk из этого кейса работает на устройстве, но словарь под ваше меню придётся настраивать самим.

История «как мы строили EvoPoint: 7 проблем голосового приёма заказов» показывает: побеждает не самая умная модель, а та, что выживает рядом с капучинатором на слабом процессоре. Если внедряете голос у себя, начните с недели испытаний в настоящем зале.