В Apple нашли способ быстро и эффективно строить 3D-сцены с помощью ИИ

Apple разработали технологию ^[1], которая позволяет значительно повысить эффективность отрисовки трёхмерных пространств. Она не требует существенного роста вычислительных ресурсов при повышении разрешения.

Технология получила название LGTM (Less Gaussians, Texture More) — помимо исследователей Apple, в её разработке участвовали учёные Гонконгского университета. Существующие методы отрисовки трёхмерных сцен по фотографии или любому другому плоскому изображению дают резкий рост вычислительных затрат по мере увеличения разрешения. В конце минувшего года компания представила технологию ^[2], основанную на выстраивании виртуального пространства из трёхмерных представлений функции Гаусса, и этой технологии также свойственен этот недостаток

Проблему решает система LGTM — отделение геометрической сложности от разрешения рендеринга. Проще говоря, учёные отделили структуру сцены от её визуальных деталей: геометрия пространства остаётся максимально простой, а детали высокого разрешения добавляются на этапе наложения текстур.

При обучении ^[3] модель формирует каркас сцены на изображениях низкого разрешения, после чего результат сверяют с исходными картинками высокого разрешения — в результате она начинает выстраивать геометрию пространства, при которой результат оказывается точным даже при отрисовке в разрешениях 2K и 4K без пробелов и артефактов. Если первая нейросеть отвечает за построение геометрии, то вторая изучает картинку высокого разрешения и на её основе создаёт детализированные текстуры, которые накладываются поверх простого каркаса, созданного первой.

В результате технология LGTM ^[4] позволяет воссоздавать детализированные трёхмерные сцены в разрешении 4K без квадратичного роста ресурсов, свойственного традиционным системам. На практике это решение поможет, например, в работе систем виртуальной и расширенной реальности — суммарное разрешение дисплеев Apple Vision Pro составляет 23 мегапикселя, и это требует колоссальных вычислительных ресурсов.

Делегируйте часть рутинных задач вместе с BotHub! ^[5] Для доступа к сервису не требуется VPN и можно использовать российскую карту. По ссылке ^[6] вы можете получить 300 000 бесплатных токенов для первых задач и приступить к работе с нейросетями прямо сейчас!

Источник ^[7]