Tobii. Por qué el tracking ocular lo cambiará todo

Por qué es importante saber dónde estás mirando (y dónde no)

En el interior de una partícula subatómica, en el mismo corazón de las máquinas más evolucionadas, incluso en esa poesía que nos convierte en humanos, vive e interactúa uno de los conceptos más importantes que nos ha dado la ciencia: El umbral, el “Threshold”, el límite a partir del cual las cosas empiezan a suceder. El agua hierve cuando supera los 100º. Las alas de los aviones se parten cuando su tensión de rotura supera el valor máximo. La paciencia que tengo con mi hijo se termina cuando el chaval supera el umbral de cansino. Así también lo hacen los mundos virtuales. Un render >90Hz (11ms) y una reacción motion-to-photon >20ms arruinará la experiencia. Un tracking penoso hará que tire el juego por el retrete. Todo a nuestro alrededor, absolutamente todo, parece moverse a pulsos binarios: lo que ocurre antes del límite y lo que puede ocurrir después.

Visto así, la historia de la ciencia se podría contar cuantificando las veces que hemos atravesado el “umbral” y hemos conseguido un resultado estable. Si hace solo unos años los cohetes se quemaban en la reentrada porque no sabíamos cómo hacerlos regresar a casa sanos y salvos, hoy en día Elon Musk los aterriza en el océano con el mismo estilo que las naves de Bradbury lo hacían en Marte . Así nace la historia, empujando el límite hasta donde antes no era posible. Y después lo dejarnos allí, esperando que con los años alguien llegue y consiga moverlo otro centímetro. Y otro. Y otro. Y así hasta el infinito. 

Link al vídeo.

Como tecnología, la realidad virtual se apoya en sus propios límites. Año tras año hemos ido viendo cómo lo imposible se iba convirtiendo en “virtual”. Quién nos iba a decir que tras las DK1 llegarían las DK2, las Vive, las CV1, tracking room scale, que Microsoft comercializaría sus propios visores o que Apple se pondría a jugar con la realidad aumentada. 

La RV de nuestros límites la conocemos muy bien. Algunos la disfrutamos y alucinamos con ella como si realmente viviésemos en el futuro. Otros, muchos, la desdeñan porque sus “umbrales” son mucho más exigentes. Como sea, unos y otros suspiramos por ver la llegada de la segunda generación. ¿Qué adelantos traerá? ¿Tracking a escala ilimitada? ¿Pixels más densos que una molécula de Osmio? ¿HDR y un gamut de colores estratosférico? Tras probar la tecnología de Tobii en la Gamescom del 2017, estoy seguro que es -y será- una de esas cosas que expandirá los límites de la realidad virtual y la llevará a otro nuevo nivel. 

El seguimiento ocular lleva ya tiempo sonando por nuestro mundillo. Ya en 1800 comenzaron algunos estudios serios sobre el movimiento de nuestros ojos. Se ha escrito mucho de él y se han hecho mil intentos por implementarlo en tecnologías diferentes. ¿Qué tiene esta ciencia de especial para la realidad virtual? Seguramente, si no lo has probado nunca, te quedarás en lo que yo mismo pensaba hace unos meses: la solución “más elegante” para la evidente falta de potencia de cálculo de la que disponemos. A estas alturas todos sufrimos de esa falta de aliento computacional. Los mundos virtuales se han presentado como auténticos agujeros negros que se tragan sin remordimientos nuestros ciclos de reloj, nuestros cores y nuestros bolsillos. Para más infortunio, las mismas GPUs que valen varios sueldos mínimos -uno encima de otro-, se quedan muy cortas cuando nos venimos arriba. 

Conviene recordar ahora el mensaje que John Carmack pregona por Twitter cada dos o tres semanas: “chicos, tenemos que ser más eficientes”. Hay que optimizar. ¿Que no tienes la potencia que quieres? Échale imaginación. Cuando Carmack desarrolló Wolfstein, llegó a dos conclusiones: si quería que su juego se moviera a la velocidad que él quería en un 386, tenía que hacer concesiones. Primero, le quitó las texturas a los techos y a los suelos. Luego, creo una rutina para dibujar en pantalla solamente lo que jugador podía ver. Pero la época del spectrum pasó y optimizar ya no está de moda (y ese quizás sea uno de los mayores problemas de la informática moderna). En la Realidad Virtual, optimizar vale tanto para software como hardware. Igual que Carmack dibujaba solo los pixels que quedaban frente al jugador para ganar velocidad (y así exigir menos al procesador), ¿por qué no renderizar en nuestros visores solamente los píxeles a los que nuestros ojos se dirigen?

La velocidad de nuestra mirada, aunque pensemos que es instantánea, en realidad no lo es tanto cuando lo traducimos a escala técnica. Los movimientos sacádicos, esos pequeños saltos que dan nuestros ojillos cuando los movemos de un lado a otro, fluctúan en un rango que va desde 10ms hasta los 150ms, con una media de 70ms-90ms. La fijación de nuestra mirada suele estar en 200ms y el cerebro tarda otros tantos milisegundos en preparar el siguiente movimiento. Estos tiempos, a nivel computacional, hoy en día están muy superados y nuestra ciencia puede realizar un seguimiento ocular de manera fiable sin ningún tipo de problema.

Si el sistema sabe dónde miras, el sistema también sabe dónde no estás mirando, que es igual de importante. Ya hemos hablado otras veces de cómo funciona un render selectivo: se trata de darle más detalle al punto de fijación e ir rebajando la resolución a los contornos según la imagen se aleja del punto central. En las pruebas reales de Tobii, las que vimos en unas Vive en la Gamescom, el efecto es casi perfecto. Solamente si te fijabas y sabías dónde y cuándo mirar, podrías notar un cierto “halo” borroso alrededor de tu visión que te seguía a todas partes. Para el día a día, para cualquier juego o aplicación, el efecto funcionaba perfectamente. Según los datos de la telemetría, los frames por segundo que se ganaban al renderizar al máximo solo el punto de fijación de nuestros ojos eran muy evidentes.

Sin embargo, el tracking ocular aporta mucho más. Y existen aspectos que desconocíamos. Para empezar, es importante calibrar bien el sistema. El tracking, como tal, solo mide los cambios de dirección. Como si de un joystick se tratara, el sistema debe de conocer los límites físicos de nuestros propios ojos para luego cuadrar la posición dentro de ellos. Una vez adquiridos los datos, empieza lo bueno. ¿Para qué podría servir conocer dónde estamos mirando además del render anteriormente citado? Para que el software sea capaz de anticiparse a nuestras acciones. Este aspecto, desde mi punto de vista (nunca mejor dicho) supone el mayor salto cualitativo en la RV desde el primer mando gestual.

Todos tenemos la experiencia diaria de agarrar algo en el plano virtual. Acercas el interface al objeto y mediante un gesto, o mediante un botón, das la orden de agarrarlo. Pero el sistema no es perfecto y suele andar algo obtuso. A veces no puedes. A veces lo atraviesas. A veces lo coges pero se te cae. Es un sistema un tanto chapuza de prueba y error que la mayoría de las veces produce una sensación frustrante. El tracking ocular lo corrige de un plumazo: el sistema sabe lo que quieres y sabe cuándo lo quieres. Gracias a este nuevo ecosistema de información actualizada, acercas tu mano al objeto y lo agarrarás de una manera que nunca antes habrás sentido dentro de un mundo virtual. Casi de una manera real, sin fallos, sin dudas. Y aunque en el video no se vea, la sonrisa en mi cara reflejaba los pelos de punta que tenía. La inmersión me había golpeado como nunca antes. 

Igual me ocurrió con los menús. O los carteles. O con cualquier cosa susceptible de ser manipulada. La eficacia en el movimiento, la manera en que ocurría la acción, superaba con mucho ese "umbral" cognitivo y lo hacía tan natural que en un segundo ya lo di por hecho. Al lanzar esos mismos objetos también ocurrió la magia. Había un enlace extraño entre la acción y la reacción. Porque el sistema, de pronto, entiende lo que está ocurriendo más allá del seguimiento del mando o del objeto. Gracias a la velocidad del seguimiento ocular, el sistema siempre parecerá ir un paso antes de ti.

La tercera vía es quizás la más obvia si no sabías nada de tracking y ojos hasta ahora. Renderizar un avatar y dotarle de gestos sincronizados genera una empatía instantánea para quien esté junto a él. Gracias al seguimiento de tus ojos, ya no verás un rostro de cera, sino algo mucho más humano. Aunque en la aplicación de Tobii el efecto se magnificaba con toda la intención del mundo, el resultado de contemplarse a uno mismo frente a un espejo y verse moviendo los ojos, volvía a generar ese espíritu de afinidad con el mundo virtual que muchas veces nos ha faltado. Gracias a esto, en breve el término "conciencia social" lo encontraremos hasta en la sopa.

Y aquí es donde aparece la última reflexión. Echando mano a esa mítica frase que decía: "nuestros científicos han estado más ocupados pensado cómo se podía hacer que en sí se debería hacer". ¿Qué más usos se le podría dar a esa información? El sistema sabe a dónde miramos. Cuánto tiempo miramos. A dónde miramos después. Las reacciones de nuestras retinas también le dirán lo que sentimos ante uno u otro estímulo. ¿Es lícito? ¿es moral? ¿es legal? Cada vez que superamos el "umbral", cada vez que llevamos la tecnología un poco más allá, también perdemos algo por el camino. Quizás estemos tan acostumbrados (facebook, cookies, webcams...) que ya no nos importa. Pero dentro de poco los sistemas sabrán de nosotros más que nosotros mismos. Y los sistemas se venden a empresas. Y las empresas venden sus datos a... en fin. Tracking ocular. Bendita sea la siguiente generación.