Робот с LLM, который меня подстрелил, часть 3: проверка зрения модели до кода и железа

Результат гайда: вы получите схему проверки идеи до того, как вкладывать время в код и железо. Сначала выясняете, понимает ли модель картинку и даёт ли пригодную команду, и только потом строите проект.

Это третья статья цикла. Первая была про эксперименты с большой языковой моделью (LLM, нейросеть, которая понимает и пишет текст) в реальном мире, вторая про робота из того, что нашлось в кладовке. Автор признаётся, что подступался к третьей части три месяца и несколько раз бросал. Статья обзорная: по его словам, подробный разбор каждой темы потянул бы на книгу или учебный курс.

Робот сводится к двум умениям: видеть и действовать

Автор формулирует задачу просто. Роботу нужно воспринимать мир и влиять на мир. Если модель понимает, что на фото, и может превратить увиденное в команду поворота, остаётся замкнуть цикл «восприятие, действие».

Первый тест был бытовым: автор снял комнату на телефон и спросил ChatGPT, что на фото и есть ли там радиатор отопления. Модель ответила правильно. Автор счёл это недостаточным и перешёл к системной проверке на платформе Langfuse.

Langfuse описан в источнике как открытая платформа для LLMOps (инженерной работы с приложениями на нейросетях): трассировка (запись каждого шага запроса), управление промптами, оценка качества, ведение сессий. Своими словами автора: она показывает, какие промпты как работают с разными моделями, и считает качество прогона автоматически.

Что понадобится для первого опыта?

• Фото с телефона или кадр с камеры робота.
• Доступ к модели, которая принимает изображения. Автор упоминает ChatGPT, Opus и Gemini.
• Langfuse, развёрнутый из докер-образа (готовой «коробки» с программой, которую запускают одной командой).
• Базовое знание Python: по словам автора, Langfuse скорее библиотека с интерфейсом, чем веб-сервис.
• Сетка, нанесённая поверх изображения, для теста на углы поворота.

Пошаговая инструкция: от фото до команды поворота

1. Проверьте восприятие вручную. Загрузите фото в чат и задайте два вопроса: что на снимке и есть ли там конкретный предмет.
2. Установите Langfuse из докер-образа.
3. Соберите элементы проверки (items): запрос из текста и фото плюс ожидаемый ответ.
4. Объедините элементы в набор данных (dataset).
5. Запустите эксперимент (experiment): массовый прогон набора на разных моделях с учётом расхода токенов (единиц текста, за которые платят) и денег.
6. Проверьте понимание направления. Нанесите на кадр сетку и спросите, на сколько градусов повернуть, чтобы объект оказался в центре.
7. Выберите способ превратить ответ в действие. Вариантов три: разобрать текст вроде «вправо 20 градусов»; запросить структурированный ответ в JSON (строгий машинный формат) по заданной схеме; дать модели вызов инструмента (tool calling), когда она сама «нажимает кнопку» нужной функции.

Пример промпта для шага 6:

На изображение нанесена сетка с отметками градусов.
На сколько градусов и в какую сторону нужно повернуть камеру,
чтобы фигурка оказалась в центре кадра?
Ответь только направлением и числом градусов.

Что делать с этим прямо сейчас, по ролям

Автору Дзена: приём «проверь идею на наборе примеров» годится для любых тестов нейросетей. Соберите 10 своих фото или задач с правильными ответами, и статья-сравнение моделей получится доказательной, а не на впечатлениях.

Маркетологу: структурированный ответ по схеме подходит не только роботам. В источнике тот же механизм показан на Gemini, которая достаёт сумму из платёжного документа. Так же можно разбирать чеки, заявки и карточки товаров.

Предпринимателю в РФ и СНГ: источник не говорит о доступности упомянутых моделей в России. Langfuse ставится на собственный компьютер. Из доступных в РФ аналогов для тестов есть YandexGPT и GigaChat, но заранее проверьте, принимает ли выбранная версия изображения.

Автор подводит к простой мысли: если хочется ИИ-проект с реальной отдачей и есть свободное время, делайте робота. Придётся разобраться и в машинном зрении, и в памяти моделей, и в RAG (подключении к нейросети своей базы знаний), и в психологии. Начните с фото радиатора и одного честного вопроса к модели.