Яндекс показал, как нейросеть трансформер каждые 100 мс строит путь беспилотника

Максим, руководитель службы поведения и предсказания движения в подразделении «Автономный транспорт» Яндекса, описал полный путь от первых экспериментов с машинным обучением до регулярных испытаний на реальных машинах. Ниже разберём ключевые принципы этой системы так, чтобы даже без инженерного бэкграунда стало понятно, почему одни подходы к автопилоту надёжнее других.

Что понадобится для понимания

• Базовое представление о нейросетях: достаточно знать, что нейросеть трансформер обрабатывает входные данные и выдаёт результат, «взвешивая» важность разных фрагментов информации
• 15 минут на чтение
• Никаких специальных программ или доступов: статья объясняет архитектуру, а не требует её воспроизвести

Как устроена система: пошаговый разбор

1. Собрать данные о мире вокруг. Камеры, лидары (лазерные сканеры, строящие 3D-карту окружения) и радары автомобиля передают «сырой» поток. К нему добавляется HD-карта с разметкой, границами полос, ограничениями скорости и маршрут с точкой назначения.

2. Разделить восприятие и планирование. Яндекс использует классический подход: сначала модуль perception (восприятие) превращает сырые сенсорные данные в структурированное описание сцены, а затем отдельный планировщик Motion Planner строит траекторию. Так же работают Waymo, Zoox и Aurora. Альтернатива, end-to-end подход (когда модель сразу из сырых данных выдаёт команды руля и педалей, как у Tesla), по оценке команды Яндекса, пока слишком хрупка для реального города: качество таких моделей сложно измерить до выезда на дорогу, потому что достаточно реалистичные симуляторы сенсорных данных ещё остаются предметом исследований.

3. Подать на вход модели «сцену». Сцена состоит из элементов разной природы:

4. Агенты (всё, что движется: машины, пешеходы, велокурьеры) представлены как временные последовательности состояний. Каждое состояние включает позицию, скорость, ускорение, ориентацию, габариты. Модель видит историю на несколько секунд назад.
5. Эго (сам беспилотник) подаётся так же, как обычный агент, но с более точными измерениями.

6. Карта подаётся как пространственный вход, не зависящий от времени: границы дорог, разметка, топология, приоритеты.

7. Получить на выходе траекторию. Нейросеть трансформер предсказывает будущие положения, скорость и ориентацию беспилотника на ближайшие несколько секунд. Это и есть краткосрочный план движения.

8. Добавить вспомогательную задачу. Во время обучения модель предсказывает будущие состояния не только беспилотника, но и всех агентов вокруг. Эти дополнительные предсказания не используются напрямую при вождении, но дают дополнительный обучающий сигнал и заметно улучшают качество основной траектории.

9. Проверить в три этапа. Любая модель проходит цепочку: сначала ML-метрики (математические замеры точности), затем симуляция и только потом тесты на реальном автомобиле под контролем водителей-испытателей.

Почему разделение на восприятие и планирование надёжнее?

Команда Яндекса выбрала классический подход с разделением perception и planning по конкретной причине: каждый модуль можно тестировать отдельно на большом количестве сценариев. Если восприятие ошиблось, ошибку видно в логах восприятия. Если планировщик построил плохую траекторию при верном восприятии, это отдельная задача.

В end-to-end подходе, где модель получает сырые данные с камер и сразу выдаёт команду рулю, диагностировать причину ошибки значительно сложнее. Как отмечает Максим, качество таких моделей трудно оценить до реального выезда, потому что для этого нужна реалистичная симуляция самих сенсорных данных, а такие симуляторы пока не вышли из стадии исследований.

Здесь заложен принцип, знакомый любому инженеру: чем прозрачнее система, тем проще найти и устранить сбой. Для автономного транспорта, где цена ошибки измеряется не в плохом тексте, а в безопасности людей, это не академическое предпочтение, а требование.

Что делать с этим прямо сейчас?

Авторам Дзена и копирайтерам. Когда пишете про беспилотники или ИИ в транспорте, разделяйте два подхода: классический (восприятие отдельно, планирование отдельно) и end-to-end. Это не одно и то же, и читатели, следящие за темой, заметят путаницу. Материал Яндекса даёт конкретную терминологию и структуру для грамотного объяснения.

Маркетологам. Кейс Яндекса показывает, как объяснять сложную техническую архитектуру без упрощения до бессмысленности. Формат «вход, обработка, выход, проверка» работает для любого продуктового лонгрида.

Предпринимателям РФ. Беспилотные такси Яндекса уже ездят по Москве в тестовом режиме. Это российская разработка, доступная для наблюдения и потенциального партнёрства, в отличие от Waymo или Tesla, которые работают только на американском рынке.

Автономное вождение на трансформерах в Яндексе уже не эксперимент, а инженерная практика с тестами на реальных дорогах, и именно разделение восприятия и планирования делает эту практику достаточно предсказуемой, чтобы выпустить машину в город.