Meta Reality Labs ha creado un chip para poder generar avatares fotorrealistas

5 MAY 2022  9:23

Redacción

16

Meta ha mostrado sus avances en su proyecto Codec Avatars, con la presentación de un prototipo de visor de realidad virtual standalone capaz de generar avatares fotorrealistas gracias a integrar un chip acelerador creado específicamente por Reality Labs para esa función.

 

 

El chip, cuyo tamaño es de 1,6 mm² y se podría añadir a visores tipo Quest 2, se ha fabricado en un nodo de 7nm, cuenta con un acelerador de redes neuronales compuesto por una matriz de 1024 multiplicaciones y acumulaciones (MAC), 2 MB de SRAM y una CPU RISC-V de 32 bits.

 

Este silicio es capaz decodificar los datos obtenidos por los sensores del visor (seguimiento ocular, facial) y mediante un procedimiento de IA, el sistema anima un avatar detallado del usuario de forma realista y en tiempo real. El Snapdragon XR2 también está implicado en el proceso, siendo el encargado de la descodificación y la representación de las imágenes reales del avatar.

 

 

Al rediseñar el modelo de extracción de la mirada basado en la red neuronal convolucional y adaptarlo al hardware, todo el modelo cabe en el chip para mitigar el coste energético y de latencia en el sistema de los accesos a la memoria fuera del chip. Al acelerar eficazmente la operación en este circuito, el prototipo presentado alcanza un rendimiento de 30 fotogramas por segundo con un bajo consumo de energía" dicen los investigadores de Reality Labs

 

La primera vez que escuchamos hablar del proyecto Codec Avatars fue hace 3 años y a través de Michael Abrash. En aquel entonces, para conseguir avatares realistas se usaban vídeos y fotografías de los usuarios, que eran utilizadas para entrenar a los sistemas de IA. Todo este proceso sería sustituido y mejorado por el chip desarrollado por Reality Labs.

Hardware Meta Quest