«Эвотор» встроила нейросети в платежный терминал: заказ голосом даже в шумной кофейне

«Эвотор», российский производитель кассового оборудования, описал архитектуру голосового интерфейса EvoPoint на Хабре. Задача, которую решала команда, не из простых: распознать речь покупателя не в тихой лаборатории, а в реальном кафе, где одновременно работают кофемашина, вытяжка, играет музыка и разговаривают люди. До сих пор голосовые функции в торговом оборудовании упирались именно в фоновый шум.

Что понадобится

• Платёжный терминал (пинпад) EvoPoint от «Эвотора» с поддержкой голосового сценария
• POS-касса, совместимая с EvoPoint, связь между ними идёт по UART (последовательный проводной канал передачи данных между устройствами)
• Меню заведения, загруженное в кассовую систему (терминал сопоставляет распознанную речь с позициями из этого списка)
• Стабильное подключение для передачи логов (терминал отправляет их пакетно через WorkManager)
• Время на настройку и тестирование: первый запуск можно провести за рабочую смену, но калибровка под конкретное меню и уровень шума займёт несколько дней

Как устроен голосовой сценарий шаг за шагом?

1. Клиент подходит к терминалу и произносит заказ. Например: «Большой латте с корицей без сахара». Терминал активно слушает первую фразу.

2. Локальная STT-модель (Speech-to-Text, преобразование речи в текст) на самом пинпаде переводит звуковую волну в текстовую гипотезу. Нейросети в платежах здесь решают ключевую задачу: модель работает прямо на устройстве, а не на удалённом сервере, что критично для скорости отклика.

3. Сервис Voice Recognition разбирает текст на сущности и интенты (намерения). Система выделяет три компонента:

4. действие: добавить, заменить, удалить, вернуть
5. объект: «латте», «круассан шоколадный»

6. модификатор: «большой», «с корицей», «без сахара»

7. Оркестратор передаёт результат между приложениями. Оркестратор (orchestrator) в этой архитектуре не распознаёт речь и не проводит оплату. Это служба-посредник на Android, которая связывает локальные приложения на пинпаде с кассой. Локальные приложения подключаются через AIDL (интерфейс межпроцессного взаимодействия в Android), обмен с кассой идёт по UART.

8. Экран подтверждения (customer screen) показывает клиенту, что система поняла. Если в меню три вида латте, терминал не гадает, а выводит экран уточнения: «Вы имели в виду классический, безлактозный или ванильный?»

9. Если терминал не расслышал, запускается сценарий повторного слушания. Сначала переспрашивает и снова слушает. Если и вторая попытка не дала результата, показывает экран «Я вас не расслышал» и возвращается на стартовый экран.

10. После формирования заказа оркестратор запускает переход к оплате. Клиент выбирает способ: NFC (бесконтактная оплата картой или телефоном), QR через СБП (Систему быстрых платежей) или классический чип. Команда «Эвотора» также работает над интеграцией сервиса «Вжух», оплаты по биометрии ладони.

Что это даёт вам прямо сейчас, по ролям?

Владельцу кофейни или точки общепита. EvoPoint позволяет сократить время обслуживания: бариста начинает готовить напиток, пока клиент ещё не оплатил. Для небольшого заведения с одним сотрудником это способ обслужить больше людей в час пик без найма второго человека.

Автору Дзена, который пишет про технологии или бизнес. Кейс «Эвотора» показывает, как объяснять сложную архитектуру простыми словами: оркестратор, STT, интент. Это готовая структура для разбора любого технического продукта в контенте.

Маркетологу в ритейле или HoReCa. Голосовой интерфейс на терминале меняет точку контакта с покупателем. Вместо очереди к кассиру клиент сам формирует заказ, а значит, можно перераспределить персонал и перестроить воронку обслуживания.

Предпринимателю из регионов. Оборудование «Эвотора» доступно в России, интеграция с СБП работает, «Вжух» по биометрии ладони находится в разработке. Следить за появлением EvoPoint с голосовым сценарием стоит в каталоге «Эвотора».

Тот факт, что российская команда запустила локальную STT-модель на платёжном терминале и проверила её в реальном шуме фестиваля, говорит о практическом уровне, который уже можно тестировать в своём заведении, а не только читать о нём в пресс-релизах.