Meta* представила датасет для восстановления 3D-сцен по стереовидео

Meta* опубликовала ^[1] на Hugging Face XRStereo — синтетический датасет для обучения ^[2] моделей для восстановления 3D-сцен по стереовидео. В нём содержится почти 18 тыс. последовательностей по пять стереопар. Разрешение каждого изображения составляет 1024 × 1024 пикселя.

В каждой последовательности камеры движутся по неподвижной сцене. Помимо левого и правого изображения доступны данные о положении камер, расстоянии между ними и есть карты диспаратности — смещения пикселей между двумя ракурсами.

В датасете доступно 13 виртуальных окружений, включая девять интерьеров и четыре уличные сцены. Исследователи в процессе их создания меняли горизонтальный угол обзора от 50° до 130° и расстояние между камерами от 4 до 12 см. Это позволяет использовать датасет для обучения систем под разные стереокамеры VR-гарнитур и роботов.

Датасет создавали в первую очередь для метода StereoSplat, который инженеры Meta* разработали вместе со специалистами Амстердамского университета. Метод строит трёхмерные представления с помощью метода Gaussian Splatting ^[3], а после генерирует изображение с новых точек обзора, чтобы показать, как сцена выглядела бы при смещении камеры.

XRStereo занимает ^[1] почти 373 ГБ и разбит на 72 архива. Вместе с этим доступен ^[4] код метода StereoSplat и веса готовых моделей. 

<sub>Meta Platforms*, а также принадлежащие ей социальные сети Facebook** и Instagram**:
* — признана экстремистской организацией, её деятельность в России запрещена

** — запрещены в России</sub>