Oculus va a usar IA para reescalar liberando un 40% de GPU Enviado por la comunidad

De forma similar al método de NVIDIA pero sin usar hardware exclusivo, investigan cómo bajar la resolución nativa de toda la imagen y reescalar en la zona central, haciendo tanto un aumento de resolución como un antialiasing sin ghosting. Para ello se
Utiliza el hardware DSP, decodificador de la GPU, cuando el fotograma está terminado. Al actuar solo en la zona central también supondrá un foveated rendering.

UploadVR habla de que aumentará la latencia en vez de considerar que el tiempo que necesita se descontará del 40% liberado, lo que seguirá dando un buen empujón. En esta imagen se contempla su uso con reproyección:

Ejemplo de uso:

Que salga gratis el MSAA x4, tener resolución del 75% en la periferia y 150% en el 50% central, todo a la vez. Con lo liberado del MSAA, meter oclusión ambiental o FPS más estables o mejor autonomía. En este supuesto, la IA no usaría más del 15% del tiempo del fotograma:

Lo sorprendente del documento técnico es que está planteado como una forma de alternar fotogramas del juego con machine learning entrenándose en tiempo real, es decir, en vez de ejecutando un modelo ya entrenado como en el DLSS. Usándolo de ese modo, la reproyección sería obligatoria y añadiría la latencia que menciona UploadVR.

También mencionan lo mucho que mejora la latencia con eye tracking + foveated dinámico con este sistema de machine learning y reescalado después de localizar el ojo, y habla de reducción de casi un fotograma de lag percibido. Para usuarios finales, lo más eficiente serían modelos de IA ya entrenados por los desarrolladores en cada juego, como hacen con el DLSS. Así no requeriría tanto tiempo como para quedarse un fotograma de cada dos y se evitaría la reproyección obligatoria.

Podemos ver una demostración de calidad en el siguiente vídeo (fue generado usando una rápida red de súper resolución aplicada a un contenido con una resolución 2 veces inferior, siendo la imagen derecha un renderizado normal a resolución completa):

Fuente: uploadvr.com