Apple разработали технологию, которая позволяет значительно повысить эффективность отрисовки трёхмерных пространств. Она не требует существенного роста вычислительных ресурсов при повышении разрешения.
Технология получила название LGTM (Less Gaussians, Texture More) — помимо исследователей Apple, в её разработке участвовали учёные Гонконгского университета. Существующие методы отрисовки трёхмерных сцен по фотографии или любому другому плоскому изображению дают резкий рост вычислительных затрат по мере увеличения разрешения. В конце минувшего года компания представила технологию, основанную на выстраивании виртуального пространства из трёхмерных представлений функции Гаусса, и этой технологии также свойственен этот недостаток
Проблему решает система LGTM — отделение геометрической сложности от разрешения рендеринга. Проще говоря, учёные отделили структуру сцены от её визуальных деталей: геометрия пространства остаётся максимально простой, а детали высокого разрешения добавляются на этапе наложения текстур.
При обучении модель формирует каркас сцены на изображениях низкого разрешения, после чего результат сверяют с исходными картинками высокого разрешения — в результате она начинает выстраивать геометрию пространства, при которой результат оказывается точным даже при отрисовке в разрешениях 2K и 4K без пробелов и артефактов. Если первая нейросеть отвечает за построение геометрии, то вторая изучает картинку высокого разрешения и на её основе создаёт детализированные текстуры, которые накладываются поверх простого каркаса, созданного первой.
В результате технология LGTM позволяет воссоздавать детализированные трёхмерные сцены в разрешении 4K без квадратичного роста ресурсов, свойственного традиционным системам. На практике это решение поможет, например, в работе систем виртуальной и расширенной реальности — суммарное разрешение дисплеев Apple Vision Pro составляет 23 мегапикселя, и это требует колоссальных вычислительных ресурсов.
Делегируйте часть рутинных задач вместе с BotHub! Для доступа к сервису не требуется VPN и можно использовать российскую карту. По ссылке вы можете получить 300 000 бесплатных токенов для первых задач и приступить к работе с нейросетями прямо сейчас!
Автор: MrRjxrby
