Meta открыла 18 тыс. стереосцен для ИИ, но 3D-реконструкцию Брестской крепости они не дадут

Датасет (набор данных, на котором учат нейросеть) собран не из реальных съёмок, а в виртуальных окружениях. Его делали под конкретную задачу: научить модель по видео с двух камер восстанавливать объёмную сцену и показывать её с новых точек обзора. Опубликовали его на Hugging Face, площадке, где исследователи выкладывают модели и наборы данных в открытый доступ.

Что измеряли?

Стереовидео снимают двумя камерами, стоящими рядом, как два глаза человека. Из разницы между левым и правым кадром модель может понять, что ближе, а что дальше. Эту разницу описывает карта диспаратности: она показывает, насколько каждый пиксель смещается между двумя ракурсами.

В каждой последовательности XRStereo камеры движутся по неподвижной сцене. Кроме пары изображений, в наборе есть положение камер в пространстве, расстояние между ними и готовые карты диспаратности. По сути, это «правильные ответы», по которым модель сверяет свои догадки во время обучения.

Главный потребитель датасета, метод StereoSplat. Его разработали инженеры Meta* вместе со специалистами Амстердамского университета. Метод строит трёхмерную модель сцены через Gaussian Splatting (способ описать сцену множеством мелких полупрозрачных объёмных пятен), а затем генерирует картинку с новой точки обзора: как выглядела бы сцена, если бы камеру сдвинули.

Что обнаружили?

Источник описывает не итоговые замеры точности, а сам набор данных и то, что выложено вместе с ним. Вот ключевые параметры:

• Масштаб. Почти 18 тыс. последовательностей, в каждой по пять стереопар, каждое изображение 1024 × 1024 пикселя.
• Разнообразие сцен. 13 виртуальных окружений: девять интерьеров и четыре уличные сцены.
• Разные «глаза». Угол обзора менялся от 50° до 130°, расстояние между камерами от 4 до 12 см. Так набор подходит для обучения систем под разные стереокамеры VR-гарнитур (очков виртуальной реальности) и роботов.
• Объём. Почти 373 ГБ, разбитые на 72 архива.
• Полный комплект. Вместе с датасетом опубликованы код StereoSplat и веса готовых моделей, то есть уже обученные «знания» нейросети, которые можно запустить без обучения с нуля.

Разброс углов и расстояний между камерами говорит о том, что авторы целились не в одно устройство, а сразу в целый класс гарнитур и роботов. При этом датасет создавали в первую очередь под StereoSplat, а не как универсальный набор на все случаи.

Что это значит для вас?

Сразу о том, чего ждать не стоит. Если вы ищете готовый инструмент для темы вроде «3d реконструкция брестской крепости», XRStereo его не даст: это сырьё для обучения моделей, а не сервис, который превращает ваше видео в объёмную сцену.

Автору Дзена. Это хороший материал для объясняющего поста о том, как нейросети учатся «видеть» объём. Если у вас канал об истории или путешествиях, можно честно рассказать аудитории, какие технологии стоят за будущими виртуальными экскурсиями, не обещая их завтра.

Маркетологу. Открытые код и веса снижают порог входа для студий, которые делают VR-контент и 3D-визуализацию. Следите за подрядчиками: появление открытых методов обычно отражается на их предложениях.

Предпринимателю в России и СНГ. Датасет лежит в открытом доступе, но работа с ним требует инженерной команды. Учтите юридический момент: деятельность Meta* в России запрещена, поэтому перед использованием её разработок в коммерческом проекте стоит проконсультироваться с юристом.

* Meta Platforms, а также принадлежащие ей социальные сети Facebook и Instagram: компания признана экстремистской организацией, её деятельность в России запрещена; соцсети запрещены в России.

По данным Meta*, публикация XRStereo на Hugging Face