TouchInsight: escribir sobre cualquier superficie podría llegar muy pronto a Meta Quest

Uno de los problemas para usar visores XR como herramientas de productividad que sustituyan a los ordenadores es cómo hacer para introducir texto de manera tan cómoda y eficaz. El uso de teclados flotantes virtuales o de ventanas a los teclados físicos son métodos lentos o imprecisos. La posibilidad de teclear en cualquier superficie podría ser la solución, y TouchInsight un gran paso adelante en esa dirección.

TouchInsight es un software desarrollado por un grupo de seis ingenieros de Reality Labs (Meta) y de la Escuela Politécnica Federal de Zúrich (ETH), del que se han sabido algunos detalles en el simposio UIST 2024 (User Interface Software and Technology (UIST) celebrado ayer en Pittsburgh.

En la ponencia sobre TouchInsight han explicado que, gracias a esta herramienta, las cámaras de los visores son capaces de detectar lo que el usuario teclea en cualquier superficie física, pudiendo escribir hasta 37 palabras por minuto con una de tasa de error de solo el 2,9 % de promedio.

Con TouchInsight se detectan en tiempo real los movimientos de los diez dedos, utilizando una red neuronal para predecir el momento de un evento táctil, sorteando así los problemas de la auto-oclusión de las manos y la incertidumbre de los movimientos rápidos de cabeza y dedos.

Este sistema podría estar disponible en la próxima versión del software de Horizon OS la v71, ya que algunos usuarios que han tenido acceso a su versión PTC del canal de pruebas han encontrado una nueva función llamada Keyboard Tracking con la que poder escribir en teclados no conectados por Bluetooth al visor Meta Quest.