Google reproduce las caras en realidad mixta
22 FEB 2017 12:35
Mediante escaneo facial y seguimiento ocular logran hacer transparente el visor para una experiencia más humana en realidad mixta.
Daydream Labs y Google Research han hecho equipo para tratar de hacer más humanas las experiencias de realidad mixta, evitando el aislamiento que conlleva el ponernos un visor en nuestra cara. Gracias a una combinación de técnicas avanzadas el equipo de Google es capaz de "quitar" el visor de nuestra cara, haciéndolo transparente para que los espectadores de la realidad mixta puedan ver en todo momento la cara del protagonista. Incluyendo donde miran sus ojos e incluso sus parpadeos. La realidad mixta es una mezcla en 2D de lo que ocurre en el mundo virtual combinado con el mundo real, es decir, poder ver a la persona real interactuar con lo virtual, y gracias a esta tecnología ahora le podremos ver la cara y no el HMD como venía ocurriendo hasta ahora.
El primer paso de la técnica es construir un modelo 3D dinámico de la cara del usuario, capturando sus variaciones faciales mientras parpadea y mira en diferentes direcciones. Lo siguiente es utilizar un HTC Vive modificado, con seguimiento ocular de SMI, para capturar la mirada del usuario desde dentro del visor. A partir de ahí, se crea la ilusión utilizando los datos del seguimiento ocular para alinear el modelo 3D de manera acorde a lo que está ocurriendo y superponerlo en la imagen 2D que obtenemos en realidad mixta.
Esta técnica es algo que se podría aplicar también en las aplicaciones y juegos para logar una mayor inmersión a la hora de interactuar con otras personas en experiencias sociales. De hecho, Google habla de ello, por lo que es posible que para cuando se extienda la tecnología de seguimiento ocular, entonces ya sea una posibilidad. Podéis encontrar más información sobre cómo replicar la técnica en el blog de Google, y ver en este vídeo cómo realizan la captura facial.
Cdaked
Visores
#1 22 FEB 2017 10:42
cowboyvirtual
Visores
#2 22 FEB 2017 20:43
Pues ya tenemos otro "add-on" para nuestros cascos (visto en Vive, pero por lo que se ve también se podrá adptar para Oculus) que permitirá hacer el tan necesario "foveated rendering" y bajar los requerimientos de tarjeta gráfica (o aumentar la complejidad de los escenarios), esto es lo que permite el SMI, con una pequeña (?) modificación en la carcasa del Vive:https://uploadvr.com/smi-releases-eye-tracking-dev-kit-htc-vive/
Habrá que ver si esto, junto con el adaptador inhalambrico sale aún a un precio competitivo respecto a los nuevos cascos que se avecinan,con tecnologías "inside-out", untethereds,etc.....o van a pasar a la historia como "viejas" reliquias de la nueva RV...
MaximVR
Visores
#3 27 FEB 2017 11:09
Es el siguiente paso para los Youtubers que se precien que quieran tener vídeos en su canal de como usan la realidad virtual. Supongo que montarse una habitación con una tela de color para hacer "Chroma Key" no es nada descabellado. En AliXpress las venden por menos de 20 euros lo que es la tela. Un par de caballetes o se monta en un estor y listo para tener tu propio estudio para efectos especiales. Si se quiere forrar tres paredes y el suelo y que quede profersional ya sube un poco el presupuesto, pero tampoco parece que sea muy caro.
Ahora solo falta que se comercialicen los kits para modificar los HMD y darles seguimiento ocular o que se comercialicen HMD que tengan seguimiento ocular de serie.
Aunque cuando tengamos la posibilidad de renderizar nuestro propio avatar gracias al tracking de cuerpo entero supongo que lo que se popularizará será retransmitir imagen sintética pura, ya sea con una cámara en primera persona o en tercera persona, dependerá de la aplicación y lo que se quiera mostrar.
En menos de 3 años creo que esto será una práctica habitual.
Cdaked
Visores
#4 » Respuesta a MaximVR #3 27 FEB 2017 11:17
Está bien el vídeo, lo han hecho muy didáctico.
jesteban
#5 27 FEB 2017 12:04
llegan tarde....