Los desarrolladores ya tienen acceso a la API del Passthrough de Meta Quest

Meta no ha esperado a esta semana para dar acceso a la API del Passthrough de Meta Quest, pues ha estado disponible desde este fin de semana. Algunos desarrolladores ya han empezado a experimentar con la posibilidad de obtener los datos de las transmisiones de las cámaras sin procesar, lo que abre la puerta a funciones como muestreo del entorno en tiempo real, superposiciones en AR, detección de objetos, lectura de códigos QR, etc.

Las limitaciones de ese acceso son de dos tipos. Por un lado, las inherentes a las capacidades del hardware de Meta Quest 3/S. Por ejemplo, la resolución llega hasta 1280 × 960 por cámara a 30 FPS, con una latencia de 40 a 60 milisegundos.

Por otro, los modelos de visión artificial en tiempo real, el que puede ejecutar el chipset XR2 Gen 2 o los alojados en la nube. Esto significa que será difícil lograr un seguimiento de objetos del mundo real si estos se mueven muy rápido, distinguir detalles muy precisos o leer textos escritos con tipos de letra muy pequeños.

Se están ya publicando tutoriales y ejemplos de uso. La propia Meta ha colgado en Github varias posibilidades de uso con Unity (CameraViewer, CameraToWorld, BrightnessEstimation, MultiObjectDectection y ShaderSample). Todavía no hay ningún juego o aplicación para Quest en el que se haya implementado esta API, pero seguramente no tardarán en llegar.

Fuente: developers.meta.com