Apple раскрыли метод быстрого и эффективного создания 3‑дневных сцен при помощи искусственного интеллекта

Apple + Гонконгский университет представили технологию LGTM – более эффективную отрисовку 3‑D сцен

Учёные из Apple в сотрудничестве с исследователями Гонконгского университета разработали систему под названием LGTM (Less Gaussians, Texture More). Она позволяет существенно повысить качество рендеринга трёхмерных пространств высокого разрешения без необходимости увеличивать вычислительные ресурсы.

Как работает LGTM

1. Разделение сложности
Традиционные методы отрисовки 3‑D сцен, основанные на функциях Гаусса или других подходах, требуют квадратичного роста затрат при повышении разрешения. LGTM «отделяет» геометрическую структуру сцены от её визуальных деталей.

2. Два этапа обучения
* Первый шаг – модель строит простую геометрию (каркас) на изображениях низкого разрешения.
* Второй шаг – она сравнивает каркас с оригинальными высококачественными картинками, а затем обучается создавать детализированные текстуры, которые накладываются поверх простого каркаса.

3. Результат
При рендеринге в разрешениях 2 K и 4 К получаем точный результат без артефактов и «пустых» участков, но при этом ресурсы не растут квадратично.

Практическое значение

* VR/AR – технология особенно полезна для систем виртуальной и расширенной реальности.
* Apple Vision Pro имеет суммарное разрешение дисплеев в 23 мегапикселя, что обычно требует огромных вычислительных мощностей. LGTM позволяет воспроизводить детализированные сцены в 4K без такого роста ресурсов, делая возможным более плавную и качественную работу.

Таким образом, LGTM представляет собой значительный шаг вперёд в рендеринге высококачественных 3‑D сцен, сохраняя при этом эффективность вычислений.