La evolución de los avatares de realidad virtual de Facebook & Oculus

De los inicios hasta 2018

La figura del avatar como representación gráfica de un usuario en el metaverso, ha evolucionado a lo largo de los años desde su primera aparición en los juegos de rol, haciéndose cada vez más definido y corpóreo en plataformas como la realidad virtual. La inclusión de estos avatares en mundos sociales donde intercambiar y comunicarse con otros usuarios, ha hecho necesaria su personalización, pues en mundos sociales regidos por las mismas reglas de las redes sociales, los usuarios buscan poder expresar su personalidad en los avatares que encarnan, pues suponen en sí una extensión digital de nosotros mismos.

Como os comentaba en este artículo sobre redes sociales en realidad virtual, diferentes empresas como AltspaceVR, Sansar, o VRChat se han aventurado en la creación de estas plataformas, y cada una de ellas tiene avatares diferentes. En este artículo veremos en concreto la evolución de los avatares de Oculus y Facebook, que en su objetivo de crear la próxima gran red social, han tenido interesantes reflexiones y avances que recopilamos aquí.

Facebook, Oculus y sus avatares para las redes sociales de realidad virtual

Facebook está preparando su ecosistema de realidad virtual para que sea la próxima gran red o plataforma social. Sin embargo, ha pecado desde el inicio de un enfoque algo fragmentado, y ha llegado a tener hasta cuatro aplicaciones sociales de realidad virtual diferentes, que no estaban disponibles en todas las plataformas, siendo la interacción entre los usuarios de los diferentes dispositivos de Oculus (Go, Rift y Quest) imposible.

La noticia de la actualización de Venues (anterior Oculus Venues) con imágenes de avatares perfectamente adjudicables a Facebook Horizon, trae quizás la promesa de unificar estos diferentes avatares de la compañía. Pero empecemos por el principio, viajamos atrás en el tiempo, a cuando estos avatares empezaron a crearse.

2015 / 2016 - El inicio de Oculus Avatars y primeros experimentos de VR social de Facebook

En el año 2015, Oculus creó Toybox, una de las primeras experiencias desarrolladas para demostrar la capacidad de rastreo de ambas manos además del posicional de las gafas de realidad virtual. Este proyecto, centrado en permitir a las personas agarrar objetos y, lo que es más importante, interactuar entre sí en realidad virtual, evolucionó hacia Oculus Avatars.

De este primer experimento se descubrieron algunas curiosidades, como que no se necesita más representación que una caja como cabeza y un par de cubos como manos para poder "reconocer" a una persona conocida en realidad virtual.

A medida que avanzaban en la demo con una cabeza y manos simplificadas, el equipo de Facebook Reality Labs aprendió también que algo tan simple como la dirección del puente de la nariz podía comunicar de manera clara hacia dónde enfoca alguien su atención. El reto era conseguir que estos avatares parecieran humanos, quizás no tanto en su forma final, pero sí en su forma de moverse y comportarse, ya que en aquel momento no tenían la tecnología o presupuesto necesarios para enfrentarse a intentar reproducir un avatar fotorrealista.

Para el lanzamiento de Oculus Avatars en 2016, comenzaron con una representación humana volumétrica de proporciones precisas, y usaron una textura monocromática a propósito para evitar cualquier parecido con la piel humana. Tampoco se centraron en los ojos, poniendo el foco en el movimiento de la cabeza y en las manos.

Por otra parte, en abril de 2016, Facebook reveló el prototipo de un espacio de realidad virtual social durante su conferencia de desarrolladores F8, presentado en vivo en el escenario por el CTO de Facebook Mike Schroepfer y por el gerente de producto de realidad virtual social Michael Booth. Podéis ver más en este vídeo a partir del minuto 19.

El lanzamiento de Oculus Avatars, que nos permitía personalizar la identidad de nuestro avatar de Oculus en realidad virtual con miles de combinaciones disponibles para Rift con el lanzamiento de Touch, vino acompañado de la funcionalidad Oculus Parties y Rooms, que nos permitía conectar mediante llamadas de voz con hasta ocho personas. En Oculus Rooms podíamos reunirnos y ver películas o iniciar la misma aplicación simultáneamente, y los avatares permitían ya una serie de interacciones, aunque estaban limitados. Por ejemplo, la voz activaba una luz en nuestras bocas virtuales para dar a entender que estábamos hablando, pero no se movían.

En octubre de 2016, Mark Zuckerberg, CEO de Facebook, subió al escenario en la Oculus Connect 3 (la de 2016) para mostrar el último prototipo de realidad virtual social de Facebook. Este prototipo presentaba unos avatares más realistas con expresiones faciales activadas por audio y gestos con las manos usando Touch. Permitía a los avatares introducirse en entornos de vídeo o foto 360, pintar, jugar al ajedrez, a las cartas o con espadas, e incluso realizar videollamadas entre el mundo virtual y el real a través de Messenger.

Este prototipo terminó por estrenarse en 2017 bajo el nombre de Facebook Spaces para los usuarios de Oculus Rift. Y sí, sé lo que estáis pensando: mismo año, y dos estilos de avatares super diferentes presentados en la misma Oculus Connect. Mark nos presentó un prototipo de realidad virtual social con unos avatares muy diferentes de los que podíamos personalizar en Oculus Avatars. Una más de las incongruencias y rarezas de esta extraña relación entre Facebook y Oculus, que, al menos hasta ahora, han ido cada uno por su cuenta.

De hecho, Michael Booth, uno de los que presentaba el vídeo del prototipo o experimento social con Zuckerberg que os he dejado más arriba, estuvo entre el equipo que desarrolló el diseño del avatar de realidad virtual social, y más tarde ese mismo día, enseñó una serie de experimentos que la compañía había realizado en un intento de encontrar la forma más creíble de representar a los usuarios en un espacio social de realidad virtual.

Booth mostró que la empresa había decidido deliberadamente mantenerse al margen de avatares "realistas" por la conocida como sensación de uncanny valley, que nos hace rechazar aquello que parece humano pero que claramente no lo es. Sin embargo, interactuar en realidad virtual con representaciones estilizadas de humanos podría resultar igualmente incómodo, por lo que Facebook optó por la "identificación auténtica" (usando tu nombre real y fotos de ti mismo) y la limitación del diseño de sus avatares hacia algo que las personas pudieran identificar como humano.

El punto clave para la presencia social estaba en poder disfrutar de la realidad virtual con amigos y tener la sensación de que realmente estaban juntos, y eran reconocibles como ellos. Así optaron por avatares que pudieran ser realistas sin llegar a ser extraños o inquietantes, pasando por más de una docena de diseños, como algunos que podemos ver aquí.

Esta decisión venía de gran cantidad de tests y experimentos que demostraron que un avatar más realista ayudaba a las personas a conectarse entre sí de una manera más cercana a interactuar con amigos en persona, y que también hacía que esa persona se sintiera más cómoda con su piel virtual y quisiera compartir con otras personas dentro de la realidad virtual.

Un punto interesante de estas investigaciones fue el resumen de lo que la compañía había aprendido hasta el momento sobre lo que hace creíble a un avatar en realidad virtual. Además de los diseños de cabeza, se le añadieron componentes que fortalecían la sensación de presencia, como brazos y cuerpo para poder amplificar la sensación de conexión, contacto visual, con ojos de un tamaño cercano a la realidad y añadiendo parpadeos, para aportar realismo, movimiento en la boca como indicador visual de que alguien nos está hablando y para que la conversación fluya de forma más natural, o expresiones predeterminadas para demostrar estados, como "sonriendo", "confundido", "escéptico" o "escuchando", y así hacer más fácil que las personas comunicasen cómo se sentían.

2017, Introducción a Facebook Spaces & Avances en Avatares Expresivos de Oculus

En abril de 2017 se lanzó la aplicación Facebook Spaces, con varias opciones de personalización de avatares con nuevos controles para ajustar el tamaño, la posición y el ángulo de las características del avatar y nuevas formas de cabeza, peinados y rasgos faciales para elegir. También se podía personalizar el tipo de cuerpo del avatar por primera vez, y en un principio admitía la interacción de hasta 4 usuarios y estaba disponible para Oculus Rift y HTC Vive. Empezaba con la selección de fotos de nuestro propio perfil de Facebook y mediante aprendizaje automático nos aconsejaba aquellos estilos que más se podían parecer a nosotros.

Por parte de Oculus, en la Oculus Connect 4 de 2017 anunciaron una actualización de los estilos de los avatares junto con una demostración en vídeo de los primeros trabajos en avatares expresivos.

Su trabajo se centró básicamente en lo que denominaban representación escultórica y cómo esas representaciones realistas de los volúmenes humanos facilitaban la sensación de realismo.

Las texturas pasaron a ser su preocupación principal en la representación de estos avatares. Estas texturas, junto con los sombreados, ayudaban a que el nivel de realismo no resultara desagradable, y tras numerosas observaciones sobre personajes de videojuegos y películas, trabajaron en lograr fidelidad conductual más allá de la representación.

Su objetivo era crear algo que fuera lo suficientemente humano para que se pudiesen interpretar los rasgos fisiológicos y los comportamientos faciales, pero no tanto como para fijarnos en la manera en que la piel debería arrugarse y estirarse, o el comportamiento del cabello (que es increíblemente difícil de simular).

Otro de los factores decisivos fue la computación o capacidad de procesado, ya que en aquel momento con Oculus Go y Quest en el horizonte, necesitaban abrir una vía para enviar múltiples avatares expresivos a un chipset móvil, y fueron muy conscientes del coste de cada vértice que agregaban a la cara del avatar.

La inclusión del movimiento de la boca les obligó a esculpir de nuevo los avatares y centrarse en optimizar la fidelidad de zonas que sí se estiraban y arrugaban al hablar (las regiones que rodean la boca, los párpados y las cejas), reduciendo el peso de las áreas que no se moverían (dientes, globos oculares, orejas), y añadieron iluminaciones sutiles en los bordes para ayudar a acentuar la legibilidad de la cara. El resultado final fue la demostración en Oculus Connect 5 a finales del 2018.

2018 - Los Avatares Expresivos y Más Experimentación con IA

En la F8 de 2018, Facebook presentó los avances que habían realizado en los últimos años y cómo la inteligencia artificial había ayudado a crear avatares más realistas y a añadir la tecnología de sincronización de labios o lip sync. Estas tecnologías se probaron con diferentes personas y en diferentes idiomas.

También desvelaron los primeros experimentos para conseguir avatares fotorrealistas que pudieran animarse en tiempo real para la realidad virtual como podemos ver en el siguiente vídeo.

En la siguiente página podemos ver los avances de 2019 y 2020.