Meta* опубликовала на Hugging Face XRStereo — синтетический датасет для обучения моделей для восстановления 3D-сцен по стереовидео. В нём содержится почти 18 тыс. последовательностей по пять стереопар. Разрешение каждого изображения составляет 1024 × 1024 пикселя.
В каждой последовательности камеры движутся по неподвижной сцене. Помимо левого и правого изображения доступны данные о положении камер, расстоянии между ними и есть карты диспаратности — смещения пикселей между двумя ракурсами.
В датасете доступно 13 виртуальных окружений, включая девять интерьеров и четыре уличные сцены. Исследователи в процессе их создания меняли горизонтальный угол обзора от 50° до 130° и расстояние между камерами от 4 до 12 см. Это позволяет использовать датасет для обучения систем под разные стереокамеры VR-гарнитур и роботов.
Датасет создавали в первую очередь для метода StereoSplat, который инженеры Meta* разработали вместе со специалистами Амстердамского университета. Метод строит трёхмерные представления с помощью метода Gaussian Splatting, а после генерирует изображение с новых точек обзора, чтобы показать, как сцена выглядела бы при смещении камеры.
XRStereo занимает почти 373 ГБ и разбит на 72 архива. Вместе с этим доступен код метода StereoSplat и веса готовых моделей.
Meta Platforms*, а также принадлежащие ей социальные сети Facebook** и Instagram**:
* — признана экстремистской организацией, её деятельность в России запрещена
** — запрещены в России
Автор: daniilshat
