PICO mejora su SDK y apuesta por la realidad mixta
28 AGO 2023 10:30
El SDK de PICO, el conjunto de herramientas necesario para desarrollar software para los visores de la compañía, se ha actualizado a la versión 2.3.0, y supone toda una apuesta firme por la realidad mixta. A partir de ahora, PICO SDK incluye una rama separada llamada Sense Pack dedicada específicamente a proporcionar soluciones integradas para la creación de contenidos combinados de realidad virtual y realidad aumentada.
Sense Pack, principales novedades: Anclajes Espaciales y Calibración Espacial:
- Calibración Espacial: Con esta herramienta se miden los objetos del mundo real en el espacio físico para una interacción fluida con objetos virtuales. La aplicación Room Capture es la encargada, a nivel de sistema de PICO, de calibrar las paredes, puertas, ventanas, mesas, sofás y otros elementos de nuestro entorno, información que los desarrolladores pueden utilizar en sus propias creaciones para lograr una interacción precisa con objetos virtuales.
- Anclajes Espaciales: para alinear posiciones entre un entorno virtual y el mundo real se utilizan Spatial Anchors, que fijan de manera permanente lo virtual en ubicaciones reales. Una vez anclados, los usuarios pueden ver los objetos virtuales en las mismas posiciones de anclaje cuando vuelven a entrar en el mismo espacio varias veces o cuando diferentes usuarios entran en el mismo espacio.
A partir de esta versión del SDK los desarrolladores pueden utilizar los motores Unity y Unreal para empezar a crear oficialmente sus propias aplicaciones de realidad mixta, un campo con un vasto potencial para compañías como PICO, Meta (Quest 3) o Apple (Vision Pro).
Más novedades del PICO SDK 2.3.0
Además, la última actualización del SDK trae mejoras al renderizado foveado mediante seguimiento ocular (disponible en los visores PICO Neo 3 Pro Eye, PICO 4 Pro y PICO 4 Enterprise), al seguimiento corporal completo con la función Full Body Tracking, para lo que se requiere tener el accesorio PICO Motion Tracker (próximamente a la venta también fuera de China) y al seguimiento facial con el modo Hybrid Blendshapes (Pico 4 Pro incorpora cámaras para ello).
También es mejor a partir de ahora el seguimiento de manos, cuyo algoritmo se ha perfeccionado e incorpora herramientas como HandPoseGenerator, un generador de poses de manos automático capaz de adaptar la posición de los dedos de nuestras manos virtuales a la forma de los objetos que agarramos.
Y hay más novedades, como el servicio Highlights, que graba (foto/vídeo) los momentos más emocionantes de las partidas de los jugadores para que puedan compartirlo, por ejemplo, cuando logramos un trofeo, algo similar a lo que existe en PlayStation.
PICO también ha optimizado la capacidad de reconocimiento de habla (ASR), y ahora sus visores pueden convertir audio de voz, en chino o inglés, de hasta 60 segundos a texto en tiempo real, algo que facilitará la generación de subtítulos automáticos.
Usuario eliminado (121961)
Visores
#11 » Respuesta a mes_nit #9 29 AGO 2023 14:03
Vale..., haz eso mismo pero con unos gráficos inmersivos calidad PC. Hasta entonces paso.
mes_nit
Visores
#12 » Respuesta a Usuario eliminado (121961) #11 29 AGO 2023 16:22
Imagino que la industria-software se va a volcar para quest 3 y los xr2. Tambien imagino que Andoid versión inmersiva va por ahí. La mayoria de software de pc (si es que sale) van a ser ports de todo eso.
Brad Lynch a veces esta trasteando con sus index, la realidad mixta y su tracking con bases.
Veo que hay visores como varjo xr3 o el próximo somnium, a ver cual es la apuesta de Valve con el futuro visor, si es un Valve deckARD (augmented reality device) all in one, y apuesta por la realidad mixta debería incorporar funciones mejoradas de las que ya tienen las index, y funcionar tambien con el pc.
Salvo apps puntuales hace falta que los fabricantes paguen algo para que se "motiven" a desarrollar para la realidad mixta, como Meta, que dice que saldran almenos 40 apps/juegos.
Dudo que los de software se vuelquen en juegos para aprovechar las gpus de pc, aunque si que molaria. El grueso de apps yo lo veo mas como una evolución de android/ios, que poco a poco ira sacando pijadas. Lo divertido para cuando vengan visitas sin duda seran los juegos como el del vídeo que he puesto.
A ver si entre todos juntamos un buen recopilatorio de realidad mixta, tarde o temprano creo que se va a merecer una sección propia.
albertopina1
Visores
#13 29 AGO 2023 17:00
La realidad mixta puede tener unas experiencias acojonantes, me imagino toda una pared de mi habitación que es un cristal que me separa del agua de un acuario, que venga un tiburon blanco y golpee el cristal, lo vaya rajando y entrando chorros de agua en mi habitación, el suelo se va llenando de agua, y yo tengo que manejar unas poleas, manivelas, volantes, para lograr abrir la compuerta para salga el tiburon hacia el mar....
_C__
Visores
#14 » Respuesta a Usuario eliminado (121961) #11 30 AGO 2023 0:53
Para mí no pasa de una mera curiosidad todo esto de la realidad mixta ahora mismo en general y no digamos ya para juegos
mes_nit
Visores
#15 30 AGO 2023 7:21
Mirando notas de parche, el rts táctico espacial Eternal Starlight trae comandos de voz, algo así como "green 1 attack red 5", incluso uso de los sistemas de armas. Como flipan estos avances de handtracking + control de voz...
Creo que tambien lo tiene wh40k battle sister para los poderes.albertopina1
Visores
#16 30 AGO 2023 9:56
Lo del anclaje también está cojonudo, por ejemplo en Puzzling Places, en RA, que los puzzles se monten sobre el suelo, y vayas tú rodeándolo andando como si fuera real, y ya de paso que se pueda elegir el tamaño de los puzles, que son demasiado pequeños.
cercata
Visores
#17 » Respuesta a mes_nit #15 30 AGO 2023 13:45
Lo del hand tracking si que es bastante novedoso, pero lo del contro por voz, joer, Voice attack tiene mazo de años, y te puedes configurar tu los comandos que quieras ...