Entrevista de Oculus con Luca Mefisto con motivo del lanzamiento de su demo Pirates! en App Lab

5 ABR 2021  13:15

Redacción

9

El ingeniero de software AR/VR Luca Mefisto es un especialista en exprimir las posibilidades del seguimiento de manos, cuya herramienta Hand Posing es capaz de conseguir que la forma de la nuestras manos virtuales se adapte a la de los objetos que agarramos con ellas. A finales de enero presentó una demo técnica llamada Hand Posing Tool: Pirates! que ahora ha llegado a App Lab y podéis descargar de manera gratuita.

 

Esta aplicación llamó tanto la atención de Facebook como para solicitar la colaboración de Luca Mefisto en la mejora del uso del hand tracking en los visores Oculus Quest, y se acaba de publicar una entrevista con él en el blog de desarrolladores de Oculus, de la que os ofrecemos un resumen a continuación.

 

 

Luca Mefisto explica en la entrevista que cuando salió el Oculus DK1 decidió abandonar su trabajo para centrarse en el desarrollo de software para realidad virtual, colaborando en todos los proyectos que podía, tanto orientados al negocio como experimentales o solidarios. Uno de estos fue crear una herramienta de neuro-rehabilitación para personas con lesiones cerebrales adquiridas, y de la necesidad de facilitar la accesibilidad a esos pacientes surgió su interés por conseguir una aplicación de seguimiento de manos.

 

No tener que sujetar y entender los gatillos del mando fue un gran avance en la accesibilidad. Además, la mayor sensación de inmersión hizo que se centraran más en los ejercicios, ya que daban las manos "por sentado". También mejoró la seguridad de la experiencia, ya que sus manos estaban libres si perdían el equilibrio", dice Luca Mefisto

 

 

Pero algunas lesiones cerebrales hacían que los pacientes se tomaran el mundo virtual de una manera demasiado real, y ver como una mano desaparecía, agarraba algo de forma poco natural o temblaba mucho por errores con el seguimiento suponía un problema cuya resolución terminó siendo la herramienta Hand Posing, usada ahora en forma de juego en la demo Pirates!, publicada en App Lab, y que es de código abierto para que pueda ser usada y mejorada por otros desarrolladores. Su código puede descargarse desde GitHub.

 

En la creación de este pequeño juego que nos sitúa a bordo de un juego pirata ha colaborado con un equipo de desarrolladores de Oculus. Podemos manejar el timón del barco, cargar y disparar un cañón encendiendo la espoleta, coger un libro, abrir una botella y sacar el mensaje que está adentro, encontrar la llave que abre el cofre del tesoro y realizar muchas más acciones, algunas con sorpresa, viendo como nuestras manos virtuales son firmes y adoptan posturas muy naturales, adaptándose al contorno de aquello que sujetan.

 

La principal característica de la herramienta es la posibilidad de crear poses de agarre de alta calidad y de ajustarse a ellas. Utilizando el handtracking como herramienta de desarrollo, y no solamente de interacción, se pueden generar las poses de un objeto en cuestión de segundos. También admite superficies de ajuste, reflejo, inversión y muchas más características, por lo que únicamente es necesario "imitar" la pose de agarre una vez, y reutilizarla tanto como se quiera", explica Mefisto en la entrevista

 

 

La razón para abrir su código a otros desarrolladores es que aunque al principio pensó que su aportación parecía la definitiva, el estándar de cómo agarrar objetos virtuales, pronto se dio cuenta de que era simplemente una herramienta que abría muchas ramas de decisión en el diseño de los juegos y aplicaciones, un punto de partida, ya que no existe una solución única.

 

No quería imponer un flujo de trabajo a otros desarrolladores, sino aprovechar el que ya tienen, para que puedan añadir las poses y seguir utilizando sus prefabricados de manos, animaciones o grabbers. Por supuesto, también proporcionamos una buena implementación para estas cosas para que no tengan que empezar desde cero. La demo de Pirates! es un gran ejemplo de lo que se puede conseguir con todo el código proporcionado.

 

Luca Mefisto, cuyo sueño es ver juegos en la Oculus Store implementados con su herramienta, trabaja ahora en perfeccionarla, en conseguir mantener la estabilidad de las manos en escenarios con poco seguimiento y otras mejoras. El siguiente paso será lograr técnicas de locomoción mediante el seguimiento de las manos y los gestos, que se añadirían a Hand Posing Tool: Pirates!.

Juegos Aplicaciones Meta Quest