El extraño visor de la última patente de Facebook

Realidades artificiales

Las patentes. Ideas secuestradas del futuro que llegan al presente en forma de documento escaneado en blanco y negro y a baja resolución. Todas las empresas llevan décadas jugando a la carrera del oráculo con inventos estrambóticos que nunca serán. ¿Son las patentes realidades? ¿Son solo intenciones empresariales? ¿forman parte de esa metralla que se dispara al infinito y que raramente regresa en forma de objeto comercial? Según unos, las patentes rentabilizan y aseguran la inversión en desarrollo. Según otros, las patentes limitan la evolución natural de la tecnología. Sea como fuere, miles de patentes se solicitan diariamente y luego estas mismas son la base para denuncias multimillonarias.

Hace poco más de una semana Facebook consiguió la patente de otro de esos visores extraños que a veces hemos visto desfilar por las páginas de reddit y que por desgracia, cuando terminan por salir al mercado poco o nada se parecen a sus versiones patentadas. Dar veracidad a estos documentos es como contemplar el dibujo de un niño pequeño: resulta casi imposible separar lo que es ficción de lo que es verdad, y por eso, en Real o Virtual tenemos la costumbre de obviar estos detalles más allá de comentarlos en algún directo. Somos gente del presente. Disfrutamos lo que tenemos y fantaseamos con lo que viene, pero divulgamos sobre ciencia cierta porque nos gusta ejercer un periodismo serio. Sin embargo, y si nos lo permitís, hoy vamos a entrar en ese loop temporal de lo que puede venir y como todo producto de la imaginación, pongamos que esta patente esté basada en ciertos detalles cotidianos que pululan por ese laboratorio llamado Facebook Reality Labs. 

La Realidad Virtual y la Realidad Aumentada son dos conceptos completamente opuestos. Donde una ve oclusión y esconde el mundo exterior para inventárselo de otra manera, la otra se apoya en el real para mejorarlo, aumentarlo y completarlo. Una es sólida. La otra, todo lo transparente que puede. Hace años que ambos extremos llevan buscando la manera de encontrarse en una realidad mixta que lo permitiera todo. ¿Está Facebook detrás de conseguirlo?

La patente WO2020106665 de Facebook, fechada el año pasado pero aprobada hace solo unos días, es una algarabía de 50 páginas redundantes de supuestos, condicionales y obviedades. Sin embargo, al contrario que en otras patentes insustanciales y muy venidas arriba, en esta hemos detectado una toma de tierra real e interesante que obtiene valor por el contexto de desarrollo en el que vivimos. Permitirnos desgranar cómo es una patente en un viaje a través de sus párrafos y discutir aquellos puntos que hacen de esta propuesta algo digno de reflexión.

En el párrafo [002] oficial se dicen ya cosas extrañas que no habíamos visto en ninguna otra patente de cualquier otro fabricante conocido:

"De manera convencional, los HMDs como este suelen incluir una carcasa que, cuando uno se la pone, previene que la luz que rodea al usuario entre dentro de la carcasa y por tanto, en su campo de visión, algo que podría dificultar la interacción con objetos del mundo real (incluyendo objetos que son mostrados/aumentados por el visor en algún estilo de VR). 

Por ejemplo, un usuario sentado en su mesa y que llevara un HMD podría encontrar muy difícil operar un teclado de ordenador, un ratón, una pluma Stylus, o cualquier otra herramienta ya que el HMD (y, en particular, la carcasa asociada a la pantalla) bloquea la visión del usuario para esos objetos."

Es muy interesante leer en una patente de Facebook esta reflexión habida cuenta de los equipos que integran el catálogo virtual de Oculus: RiftS y Quest, ambos visores de VR oclusiva. Sabemos a través de Michael Abrash y Boz (primero el dios de la VR en Facebook y segundo el gran Director del todo el tinglado virtual de Zuckerberg), que están trabajando en un visor AR desde hace unos años y que esperan tenerlo listo en pocos años ya.

Pero seguimos con el párrafo [0003], el cual aporta ciertas pistas sobre esa extraña "carcasa" abierta:

"Como se describiremos en mayor detalle más adelante, el presente documento se dirige a un HMD configurado para proveer al usuario con un campo de visión No Obstruido del entorno real. En un ejemplo: un HMD podría incluir una unidad de pantalla configurada para mostrarle al usuario una imaginería generada por ordenador y una carcasa que retenga esa pantalla. El HMD podría ser montado en la cabeza del usuario y el display podría ser posicionado delante de la visión del usuario. La pantalla podría posicionarse para obstruir al menos una parte del campo de visión frontal del usuario, y la carcasa podría dimensionarse para proveer al usuario con una visión periférica No Obstructiva del entorno real del usuario."

Primer detalle significativo. Facebook le propone una libertad al usuario muy distinta a cualquier propuesta de otros fabricantes históricos en la VR. Una visión periférica libre implicaría que la luz natural del entorno entraría dentro de un espacio usualmente restrictivo. Hasta hoy, el contraste y el brillo de las imágenes dependen exclusivamente de la capacidad de la pantalla. Desde el comienzo de la VR se han intentado paliar las fugas de luz hacia el interior ya que estas causarían interferencias visuales en las lentes y exigiría más contraste en las pantallas. Si os parece, sigamos escarbando en el documento, que se pone interesante.

El párrafo [0004], aunque rebuscado, es muy recurrente y conocido. Alude a los mecanismos para apartar el visor de la vista directa del usuario de manera manual apartándose el visor de la cara hacia arriba:

"En el cuerpo (N.T. cuerpo significa conjunto), el HMD podría incorporar un mecanismo que emparejara mecánicamente la unidad del display con la carcasa y que ajustara la posición de la pantalla entre (1) al menos una posición de visionado en la cual la unidad de la pantalla se posicionara delante de la visión frontal del usuario, y (2), una posición de No Visionado en la cual la unidad de la pantalla se posicionara substancialmente fuera del la visión frontal del usuario".

Sin embargo, a partir de aquí y en los párrafos siguientes, empezamos a salirnos del guión. El párrafo [0005] ofrece una idea novedosa en Facebook:

"En otro tipo de cuerpo, el HMD podría incluir uno o más elementos ópticos en comunicación con la unidad de la pantalla. Los elementos ópticos podrían proveer una vista enfocada de la imaginería generada por ordenador. En ese cuerpo, el elemento óptico podría incluir un revestimiento anti-reflejos que suprimiera las luces directas provenientes del entorno del mundo real del usuario."

Primera mención a cómo solucionar ese problema de luz externa que afectaría a las lentes. Más tarde, Facebook sigue expandiendo el concepto de mirada libre periférica [0006]:

"En otro cuerpo, el HMD podría incluir una carcasa extraíble que se acoplara a la carcasa que bloquea la mirada periférica del entorno del mundo real del usuario. En este cuerpo, la carcasa extraíble podría incluir un cuerpo principal y un mecanismo de conexión, emparejado al cuerpo frontal y configurado para ser emparejado a su vez a la carcasa. Por ejemplo, el mecanismo de conexión podría incluir un accesorio de ajuste que se acoplara en las copas de los ojos dentro de la carcasa."

Es la primera vez que encontramos una propuesta similar en Facebook/Oculus: proporcionar al usuario una carcasa añadida tipo interface facial, que pudiéramos quitar y poner a nuestro antojo para liberar el campo visual periférico.

El párrafo [0007] va más allá, incorporando ahora un actuador (motor) lineal que ajustara el facial a la cara del usuario de manera mecánica:

"El HMD podría incluir un módulo de agarre en la nariz que ajustara y asegurara la carcasa a la cara del usuario. En este ejemplo, la carcasa podría incluir además un actuador lineal configurado con la carcasa para mover el módulo de agarre en la nariz desde y hacia la cara del usuario"

Las patentes, además de ser muy crípticas y rebuscadas a propósito, suelen describir varias veces el mismo concepto desviándose en un detalle mínimo a la vez para cubrir un elenco de posibilidades que den lugar a una matriz completa. No te dejes nada por poner, no vaya a ser que luego no puedas reclamar. Facebook divaga durante muchos párrafos más entre todas las posibilidades distintas de carcasas y su conexión con la cabeza del usuario, a veces mediante tiras elásticas y otras veces con formas igual de conocidas.

Así llegamos al párrafo [0041], donde Facebook regresa al concepto de la visión periférica dejando muy claro sus usos:

"La carcasa actual se dirige a un HMD configurado para proveer al usuario de un campo de visión periférico libre que permita ver el entorno del mundo real. Cuando se use, el HMD podría permitir que el usuario viera la imaginería generada por el ordenador vía la pantalla del HMD en frente de su visión, y a la vez, el entorno del mundo real. De esta manera se habilitaría que el usuario pudiera interactuar con objetos del mundo real situados en su periferia, como teclados, ratones, Stylus, contenidos para bebida, volantes, etc... mientras sigue participando de un entorno de realidad artificial. 

Ambas configuraciones de lentes, tradicional y compacta (ej: Fresnel y las llamadas Pancake), podrían ser empleadas para este fin. [...] El HMD podría llevar una sola pantalla o múltiples pantallas y podría estar configurado o no con ajustes mecánicos de IPD. También, el visor podría llevar una carcasa extraíble que permitiera al usuario la transición entre una experiencia inmersiva de realidad virtual completa (con la periferia bloqueada) y una experiencia de realidad mixta (con la vista de la periferia abierta)."

En cuanto a lentes y técnicas que llevamos años escuchando -pero que no terminan de aparecer en un visor comercial-, Facebook añade ciertos comentarios varias páginas más adelante:

[0066][..] Los sistemas de realidad artificial podrían proveer de varias pantallas que añadieran flexibilidad a los ajustes de sistemas varifocal o para corregir refractivas del usuario. Algunos sistemas podrían incluir también subsistemas ópticos con una o más lentes (ej: convencionales cóncavas o convexas, Fresnel, líquidas, etc...) a través de las cuales los usuarios podrían ver la pantalla.

[0069][...] Ejemplos de revestimientos ópticos que podrían usarse en las lentes del HMD son Anti-reflejos, refractive-index matching, single-layer interference, multilayer interference, absorbentes, polarizadores circulares, etc...   

Pudiera parecer que la primera idea que tiene Facebook con este visor fuera la de permitirle al usuario usar dispositivos externos (ratones, volantes, etc...) en conjunción con la VR. Queda por ver el tamaño total del FOV y su repercusión en la calidad de inmersión que se pudiera conseguir al limitar tanto la visión central vs. la visión periférica.

[0042] 

"Cuerpos como la presente carcasa podrían incluir o implementar el uso conjunto de varios tipos de realidad artificial. [...] como la realidad virtual, la realidad aumentada, la realidad mixta, una realidad híbrida o cualquier combinación derivada de ellas. El contenido de la realidad artificial podría incluir una realidad generada completamente por ordenador o una realidad combinada con la captura del mundo real.

[0044]

"El diagrama de bloques que presentamos es un ejemplo de un sistema HMD que podría presentar imágenes virtuales (ej: escenas capturadas, generadas artificialmente o una combinación de ambas) al usuario. HMD 100 podría operar en un entorno de Realidad Virtual, Mixta o cualquier combinación."

[0064][...] Algunos sistemas de realidad artificial podría, en vez de mezclar una realidad artificial con una realidad actual, reemplazar uno o más sentidos y percepciones del usuario reales con unos virtuales."

En cuanto a funciones, y como es gratis añadirlas solo en papel, Facebook parece haberse dejado ninguna esta vez:

[0047] El HMD [...] Añadiría un subsistema de detección de profundidad, una pantalla electrónica, un subsistema de captación de imagen que incluyera una o más cámaras, uno o más sensores de posición y/o una unidad inercial (IMU). [...] Otros sistemas opcionales podrían incluir una unidad de seguimiento de pupila configurada para determinar la posición pupilar del usuario. [...] También podrían llevar sistemas de cómputo de mapas de profundidad (basadas en la captura de luz, uno o más esquemas de visión por ordenador [...], procesador para una porción de las estructuras de patrones de luz, imagen Time of Flight (ToF), localizaciones simultáneas y mapping (SLAM), etc...) Adicionalmente o de manera alternativa, subsistemas que puedan transmitir estos datos a otro dispositivo como por ejemplo, otro subsistema de proceso que los reciba e implemente para generar un mapa de profundidad que pueda ser usado para generar un modelo del entorno del usuario."

Tampoco se quedan cortos en cuando a las tecnologías de pantalla a elegir:

[0049] "Una pantalla electrónica que pudiera mostrar imágenes en 2D o 3D, en sincronía con los datos recibidos del subsistema. En varios cuerpos, podría incluir una o más pantallas (ej: una para cada ojo). Ejemplos podrían incluir, pero sin limitarse a, LCD, OLED, ILED (inorganic light emitting diode display), AMOLED o TOLED (Transparent organic light-emiting diode). [...]

Hacen también referencia a las cámaras externas:

[0050] "El subsistema de captura de imágenes podría incluir uno o más sensores de imagen óptico que capturaran y recogieran imágenes del entorno local. [...] Podrían proveer de una vista estereoscópica que pudiera ser procesada para generar una imagen tridimensional del entorno local y/o la posición y la orientación del HMD. Por ejemplo, sistemas de captura con cámaras SLAM y cámaras con lentes de ángulo amplio que pudieran capturar vistas más amplias que el ojo humano."

Todos sabemos que el tema de la privacidad será una batalla continua cuando estas cámaras comiencen a procesar no solo los objetos de nuestro alrededor, sino también los colores, las formas y los lugares donde los colocamos. Como comentó Boz a Real o Virtual en nuestra entrevista durante la última Connect: "primero estamos investigando cómo hacerlo, luego veremos el tema legal"

[0051] "En algunas casos, un subsistema de proceso podría capturar imágenes y extraer aspectos sobre la apariencia del entorno local, que provea de información acerca de las características del mundo real del usuario, tales como el color, los patrones en las paredes, en el suelo, en el techo, cuadros, fotos o texturas de la habitación. Estos detalles serían codificadas y almacenadas en una base de datos. De esta manera, los objetos renderizados tendrían un aspecto similar al del entorno real más adelante."

Es curioso encontrar detalles en el texto que hagan referencia también a controladores aún no comercializados:

[0054] [...] Un ejemplo de controladores podrían ser -sin limitarse a- teclados, ratones, controladores que podrían incluir guantes o brazaletes..."

Por último, llegamos al tema tan controvertido del ángulo de visión en la VR (Field of View):

[0067] "El término "Campo de visión delantero", como se usa aquí, podría incluir varias porciones del campo visual central del usuario, incluyendo todas las porciones del campo macular de la visión (ej: un campo de visión que abarca 18º de diámetro, centrado alrededor de la mirada fija del usuario), la visión central del usuario de aproximadamente 5º de diámetro y la paracentral con 8º de diámetro. Similarmente, el término "campo de visión de la periferia" podría incluir varias porciones del campo visual no central del usuario, incluyendo todas las porciones de la periferia (ej: aproximadamente un ángulo que abarca 200º de diámetro), la visión medio-periférica (aproximadamente 120ª de diámetro) y la visión periférica-cercana (aproximadamente 60º de diámetro).

Como veis, el viaje por una patente está lleno de sorpresas, párrafos enrevesados y mucha jerga legal que pueda servir de prueba ante una denuncia posterior. En teoría, las patentes forman parte de la rutina en una empresa de cientos de millones de dólares y muchas veces -todos lo sabemos- estas cosas nunca llegan al mercado como se predijeron.

Nos parece muy interesante la visión general de un futuro visor Mixto, capaz de darle cierta libertad al usuario respecto a los objetos de interacción más comunes en el trabajo diario que quedan en un ángulo de visión de la periferia. ¿Eso sobre los volantes no os resulta algo extraño viniendo de Facebook? ¿Y los ángulos de visión? Por regla general, las patentes tan extensas generan muchas más preguntas que respuestas. Os iremos contando más cuando Facebook mueva ficha de nuevo.