Устройство и программирование автономных роботов: проект на Python и Raspberry Pi без облака

Автор проекта «Лягушка» уже описывал, как робот на Raspberry Pi научился находить человека в кадре и поворачивать голову. Во второй части задача сложнее: камера должна не просто видеть лицо, а понимать, что ей показывают, фотографировать по голосовой команде, печатать снимок и вести осмысленный разговор. Всё это укладывается в тему устройства и программирования автономных роботов проектов на Python и Raspberry Pi, причём без покупки нового оборудования.

Что понадобится?

• Raspberry Pi (автор использует уже установленную плату, свободного места в корпусе почти нет)
• Камера, закреплённая на корпусе робота (в проекте сидит в центре банта)
• Микрофон и колонка (динамик находится примерно в 30 см от микрофона)
• Принтер, подключённый к системе
• Python и библиотеки для работы с камерой и распознаванием речи
• Vosk (офлайн-распознаватель русской речи) и Whisper tiny (мультиязычный распознаватель от OpenAI, работающий локально)
• Vision-модель, способная описывать содержимое снимка
• Время: каждый этап требует отладки, автор устранял баги итерациями

Как подружить камеру с голосовым ИИ: пошаговая инструкция

1. Отделите «визуальные» команды от обычного разговора. Программа должна различать просьбы вроде «сфоткай» и «посмотри на задачу» от обычных вопросов. При визуальной команде робот делает снимок и передаёт его vision-модели. При обычном разговоре камера не задействуется.

2. Добавьте предпросмотр вместо отправки первого попавшегося кадра. Автофокус камеры не мгновенный: ребёнок двинул рукой, и модель получает размазанное пятно. Робот просит подержать предмет ровно, при необходимости советует отодвинуть его или добавить света. Пользователь видит снимок и подтверждает голосом или кнопкой.

3. Реализуйте сбор нескольких кадров. Одного снимка не всегда хватает: например, условие задачи на одной странице, а пример на другой. Автор добавил команду «Ещё фото», которая позволяет собрать до четырёх снимков, пересмотреть их по миниатюрам и отправить с одним вопросом. Пересъёмка заменяет только выбранный кадр.

4. Сократите голосовые подсказки. Робот поначалу вслух перечислял все команды интерфейса. Решение: оставить короткую подсказку только о следующем действии, а полную справку держать на экране.

5. Настройте обработку перебивания. Пока робот говорит громко, микрофон не может разобрать голос человека на фоне динамика. Автор снизил громкость колонки для обычного разговора и поменял приоритет: робот сначала слушает, и только если человек молчит, произносит приветствие.

6. Добавьте переключение распознавателя речи. Русский Vosk хорошо работает с русской речью, но не справляется с английскими словами. Whisper tiny разбирает несколько языков. Переключение ручное, через настройки. Автоматического переключения пока нет.

7. Реализуйте печать снимка голосом. Цепочка: команда «сфоткай», обрезка кадра на экране, первое «печатай» открывает предпросмотр листа, второе «печатай» отправляет в принтер. В меню добавлен выбор цвета и размера картинки на странице.

Почему голосовой интерфейс ломается при первом же тесте?

Характерная деталь проекта: робот сам предлагал сказать «печатай», а затем игнорировал эту команду. Кнопка работала, голос нет. Проблема была в обработке команд: программа не ожидала голосового ввода в нужный момент. Автор разобрал порядок выдачи подсказки и ожидания ответа, после чего и кнопка, и голос заработали.

Ещё один неочевидный баг: робот замечал человека перед камерой и сразу начинал здороваться. Пока вежливо приветствовал, вопрос пользователя улетал мимо. Решение: приоритет отдан слушанию, приветствие только после паузы.

Что делать с этим прямо сейчас, по ролям

Если вы автор на Дзене, тема устройства и программирования автономных роботов проектов на Python и Raspberry Pi собирает вовлечённую аудиторию. Формат «собрал, сломалось, починил» даёт живой контент с конфликтом, который работает лучше абстрактных обзоров.

Если вы разработчик или предприниматель, проект показывает реальную стоимость интеграции vision-моделей в локальные системы: не в деньгах (железо бюджетное), а во времени отладки. Каждый шаг, от предпросмотра до перебивания, это отдельный баг, который обнаруживается только при живом тестировании с пользователем.

Если вы в РФ и хотите повторить, всё оборудование доступно: Raspberry Pi продаётся, Vosk работает офлайн с русской моделью, Whisper tiny можно запустить локально. Облачные ключи не нужны.

Главный урок проекта прост: камера на роботе без продуманной программной обвязки, это очки без глаз. И если вы планируете свою сборку, начинайте не с железа, а с того, как программа узнает, что ей показали, и когда ей нужно замолчать и послушать.