Vision модель ИИ с 1,1 млрд параметров обошла конкурентов с 7 млрд: Ant Group выложила код бесплатно

До сих пор большинство vision-моделей ИИ учились отвечать на вопрос «что на картинке?», отбрасывая тонкую пространственную структуру: где именно проходит граница объекта, как меняется глубина, где один предмет кончается и начинается другой. Для робота или беспилотника это критично. Robbyant, подразделение Ant Group, специализирующееся на «воплощённом ИИ» (embodied AI, то есть ИИ для физических устройств), заявляет, что LingBot-Vision решает именно эту задачу. Источник публикации: технический отчёт и репозиторий Robbyant на Hugging Face.

Четыре размера модели и одна идея

• Четыре варианта весов. ViT-giant (1,1 млрд параметров), ViT-large (300 млн), ViT-base (86 млн), ViT-small. Младшие модели получены дистилляцией (сжатием знаний) из старшей, а не обучены с нуля.
• Обучение без разметки людьми. Модель обучена методом самоконтролируемого обучения (self-supervised) на отобранном корпусе из примерно 161 млн изображений. Людям не пришлось размечать ни одну картинку: вместо этого используется новый метод «маскированного моделирования границ» (masked boundary modeling).
• Экономия ресурсов. По данным технического отчёта Robbyant, обучающий корпус на порядок меньше, чем у DINOv3 (конкурирующей модели от Meta), а количество обработанных примеров составляет менее трети от DINOv3.
• Границы объектов как главный сигнал. Вместо случайного маскирования участков изображения модель целенаправленно «прячет» именно те фрагменты, где проходят границы объектов, и учится их восстанавливать. Это позволяет одновременно усваивать и смысловое содержание, и геометрию сцены.

Результаты на тестах: 1 млрд параметров против 7 млрд

Все результаты получены на «замороженных» признаках (frozen features), то есть поверх модели ставится один линейный слой без дообучения (обучения модели на дополнительных примерах под задачу). Это значит, что цифры отражают качество самой модели, а не декодера.

• Глубина (NYU-Depth v2). RMSE 0,296 у LingBot-Vision против 0,309 у DINOv3 с 7 млрд параметров и 0,307 у V-JEPA 2.1 с 2 млрд параметров.
• Сегментация видео (DAVIS-2017). 70,0 J&F, на уровне DINOv3 ViT-H+ (71,1) и DINOv3-7B (71,1), при том что LingBot-Vision в разы компактнее.
• Младшая модель ViT-L (300 млн параметров) сопоставима с DINOv3-7B по глубине на NYUv2 (0,310 против 0,309), имея примерно в 23 раза меньше параметров.

Компромисс: на задаче классификации изображений (ImageNet-1K) LingBot-Vision уступает DINOv3-7B, которая тратит свою ёмкость на распознавание содержания, а не геометрии.

Как попробовать?

1. Перейти на страницу Robbyant на Hugging Face, где опубликованы веса всех четырёх размеров, инференс-код (код для запуска модели) и технический отчёт.
2. Выбрать размер модели под ваше оборудование: ViT-small и ViT-base запустятся на обычной видеокарте, ViT-giant потребует серьёзных ресурсов.
3. Загрузить веса и запустить инференс по инструкции из репозитория: модель выдаёт плотные признаки (dense patch-token features), которые можно подключить к своей задаче одним линейным слоем.

Есть ли аналоги в России?

Прямого российского аналога, открытой vision-модели ИИ для пространственного восприятия роботов, на момент публикации нет. YandexGPT и GigaChat работают с текстом и частично с изображениями, но не решают задачи плотного пространственного анализа для робототехники.

Для разработчиков робототехники и компьютерного зрения в России LingBot-Vision интересна именно компактностью: модель с 1 млрд параметров конкурирует с моделями в 7 раз крупнее, а значит, запускается на оборудовании, которое реально купить при ограниченных бюджетах.

Частые вопросы

Можно ли использовать LingBot-Vision в коммерческом проекте?

Да. Веса опубликованы под лицензией Apache-2.0, которая разрешает коммерческое использование, модификацию и распространение без роялти.

Нужна ли мощная видеокарта для запуска?

Зависит от размера. ViT-small и ViT-base (86 млн параметров) запустятся на потребительском GPU. Флагманский ViT-giant (1,1 млрд параметров) потребует серверного оборудования или облачного GPU.

Подходит ли модель для генерации текста или чат-ботов?

Нет. LingBot-Vision решает задачи компьютерного зрения: оценку глубины, сегментацию, отслеживание объектов в видео. Для текстовых задач нужны языковые модели.

Компактные vision-модели ИИ, которые работают не хуже гигантов, перестают быть исключением. Для российских команд с ограниченным железом и бюджетом каждый такой релиз расширяет реальный набор инструментов, а не просто список новостей.