НVIDIA раскрыла, как DLSS 5 «додумывает» картинку, опираясь только на 2D‑кадр и векторы движения.

Как работает DLSS 5: объяснение сотрудника Nvidia

В недавнем интервью Джейкоб Фридман (Jacob Freeman) из Nvidia разъяснил принцип работы новой технологии масштабирования изображений — DLSS 5, использующей искусственный интеллект.

Что подается в систему

* 2‑D кадр – обычное отрисованное изображение.
* Векторы движения – информация о том, как объекты перемещаются между кадрами.

Никаких трёхмерных данных не используется: модель не читает геометрию сцены, глубину, материалы или карты нормалей. Это значит, что DLSS 5 полностью опирается на 2‑D информацию и движение.

Как «понимает» сцену

* Семантика – ИИ распознаёт объекты типа волосы, ткань, кожа и условия освещения.
* Для этого достаточно только одного кадра; модель не учитывает металличность, шероховатость или другие свойства материалов.

Поэтому иногда результаты могут казаться «непредсказуемыми»:
- у персонажа появляются волосы там, где их нет;
- меняются черты лица.

Никаких изменений в базовой геометрии не происходит – это просто визуальная интерпретация AI.

Ограничения и возможности для разработчиков

* Разработчики могут регулировать интенсивность эффекта, цветокоррекцию, контраст, насыщенность, гамму.
* Можно использовать маски, чтобы исключить определённые объекты из обработки.
* Однако они не могут напрямую изменить коррекцию черт лица или убрать эффект «макияжа» — единственный способ – уменьшить интенсивность, наложить маску или полностью отключить алгоритм.

В итоге лицо генерируется ИИ, но его внешний вид можно лишь косвенно корректировать.