ControllerPose: captura del cuerpo completo con cámaras en los mandos

Un grupo de investigadores de la Universidad de Carnegie Mellon (Pittsburgh) ha presentado un trabajo sobre el uso de cámaras en los mandos de visores VR con seguimiento inside-out para la captura de cuerpo completo. El equipo que forma Future Interfaces Group han llamado a este método ControllerPose, acoplando para ello unas cámaras en la parte superior e inferior de los Touch del visor Quest 2.

Conseguir incorporar todo el cuerpo a nuestras experiencias en realidad virtual sin necesidad de trackers o sensores exteriores era el objetivo de este experimento, y eso solo con las cámaras que llevan los visores tipo Quest o Pico no es posible, así que una posible solución pasa por la incorporación de cámaras en los controladores. Una tecnología similar será la que incorporen Project Cambria y Magic Leap 2.

El resultado de sus investigaciones fue un prototipo, ControllerPose, que utiliza dos cámaras de ojo de pez en cada mando, una en la parte de arriba y otra abajo, que enfocan al usuario. Mediante un software específico se une el campo de visión de ambas y se integra en uno solo, más amplio, capaz de ver la mayor parte del cuerpo. Con este sistema se puede seguir la postura de todo el cuerpo con un error medio de las articulaciones en 3D de 6,98 cm.

Future Interfaces Group es el mismo grupo de investigadores que ha diseñado un accesorio experimental para que podamos tener sensaciones hápticas en la zona de la boca y los labios, como mostramos en el programa de La Hora Virtual del domingo 1 de mayo. Los resultados de sus investigaciones, tanto para sentir besos en VR como sobre seguimiento de cuerpo completo, están disponibles en su página web.