Davies (ARM): "El seguimiento ocular y el renderizado foveated van a ser algo muy grande"

Entrevista

En nuestro paso por el stand de ARM, empresa dedicada al diseño de procesadores, pudimos probar por primera vez un dispositivo Gear VR que integraba la tecnología de seguimiento ocular de SMI y una demo compatible con renderizado foveated. Resulta bastante curioso probar esto por primera vez, ya que cuando fijábamos la atención en un punto determinado de la escena nos daba tiempo a verlo en mala calidad y de pronto cambiaba a alta calidad. Una vez ocurría esto, no notabas nada raro alrededor de tu visión periférica, lo cual es increíble puesto que en cuanto miras a otro sitio, te das cuenta de la falta de calidad que hay en el resto de la escena. Esta latencia en dibujar a alta calidad entendemos que era para ilustrar el funcionamiento, ya que debe ser inapreciable para que haga su magia.

Al lado de este dispositivo mostraban también un prototipo de plataforma de referencia de Samsung, llamado Exynos VR, pero que no se podía probar. Tras examinar estos dispositivos, tuvimos el placer de conocer a Jem Davies, vicepresidente de Media Processing Group en ARM. Esta es nuestra entrevista con Davies.

¿Cuándo y por qué empezó ARM a optimizar sus procesadores para la realidad virtual y aumentada?

Nos adentramos en el negocio de los procesadores gráficos en 2006 con la compra de la empresa noruega Falanx. El negocio de los gráficos siempre ha sido la base de la RV y RA, porque principalmente lo que la gente quiere ver en un visor es contenido que ha sido renderizado por una GPU. Por tanto, hemos estado desde siempre en este negocio. Por supuesto, en los últimos tres años la expectación generada alrededor de la RV y RA ha aumentado, y estamos ahora añadiendo más y más características específicas para darles soporte.

La RV y RA están impulsando el mercado de los procesadores gráficos, dado que requieren de mucha potencia. Una persona de Oculus nos dijo una vez: "Tu GPU es muy buena, quiero una 10 veces más potente para mañana".

¿Qué iniciativas o estrategias tiene ARM actualmente de cara a que avance la realidad virtual y aumentada?

El tener toda la electrónica de los visores muy cerca de la cabeza hace que el consumo de energía sea totalmente crítico, por lo que trabajamos muy duro para reducir el consumo de la GPU. Los fabricantes de visores y desarrolladores de contenidos solo quieren más y más rendimiento, pero para nosotros consiste en bajar el consumo y aumentar la eficiencia. Y luego investigamos en características adicionales como la habilidad de renderizar la imagen de cada ojo a la vez, lo que puede ahorrar mucha potencia y ser más eficiente.

¿Qué optimizaciones ofrecen los procesadores Cortex-A73 para RV y RA?

El A-73 es una CPU que mejora en rendimiento y eficiencia de consumo respecto a los anteriores. La GPU que integra, la Mali 71, que utiliza Samsung en su último procesador, incluye las optimizaciones que antes te mencionaba como el renderizado simultáneo de la imagen de cada ojo y renderizado foveated, entre otros.

¿Podrías comparar su potencia con la de hardware de PC?

Es un mercado muy diferente, en PC el consumo es mayor, tienen grandes ventiladores, etc.

¿Estáis desarrollando o tenéis optimizaciones para visión artificial de cara a lograr posicionamiento inside-out?

Nuestro socios ejecutan los algoritmos para visión artificial, SLAM o posicionamiento absoluto en CPU y también utilizando la GPU. Constantemente buscamos optimizar esos algoritmos, ya que el procesado de redes neuronales está cambiando mucho. Solían utilizar una precisión de 32 bits en punto flotante, después se redujeron a 16 y ahora buscan llevarlo a 8. Nuestra GPU, la Mali, tiene unas amplias capacidades aritméticas desde 8, 16, 32 y 64 bits. Damos flexibilidad para que elijan cómo ejecutar esos algoritmos de la forma más eficiente.

También tenemos una división llamada "Imaging and computer vision", fruto de la compra de la empresa Apical en mayo del año pasado, por lo que ahora ofrecemos procesos específicos para visión artificial que ya están integrados. Creo que esto será muy común en toda clase de dispositivos, no solo en móviles, ya que con colocar una cámara y un procesador de visión artificial detrás podremos crear cosas realmente inteligentes. Pongamos como ejemplo un interruptor de la luz, ya que actualmente suele haber sensores para detectar el movimiento, pero poner una cámara permitiría que se comportara como nosotros, detectando que hay personas y que debe encender la luz.

 
¿Crees que con estos procesadores, y gracias al seguimiento ocular y técnicas como renderizado foveated, podremos ver gráficos de calidad cercana o iguales a los de los requisitos mínimos de Rift o Vive?

Aplicar renderizado foveated nos permite ahorrar mucha potencia que se puede aprovechar para lograr una mayor calidad. El seguimiento ocular y el renderizado foveated van a ser algo muy grande. Por tanto no veo por qué no podría ser incluso mejor la calidad.

¿Qué libertad tienen los fabricantes a la hora de utilizar vuestras CPUs y GPUs, así como arquitecturas?

Total libertad. Algunos utilizan nuestra CPU, pero no la GPU o viceversa.

¿Tenéis previsto lanzar una plataforma de referencia móvil de realidad virtual para que otros fabricantes la produzcan, tal y como está ocurriendo con Intel y Project Alloy, o Qualcomm y Snapdragon VR820/835?

Seguramente no, y la razón es porque no hacemos chips. Qualcomm hace chips, Samsung hace chips, Intel hace chips, pero nosotros tenemos nuestra IP que licencian estas empresas que hacen chips.

¿Cómo valoras el mercado móvil actual con iniciativas como Daydream y Gear VR?

Trabajamos mucho con nuestros socios como Google para optimizar nuestros procesadores gráficos para funcionar eficientemente con Daydream y otros sistemas. También hemos trabajado con Oculus.

¿Los HMDs del futuro serán autónomos o cuál es tu visión?

Es difícil. Puede ser porque soy demasiado viejo, pero actualmente los visores para mi son muy toscos con plásticos y cintas. Cuando se reduzcan, entonces quizás sí sea mi momento. Una tecnología despega cuando una gran parte de la población tiene acceso a ella. Pasarán cosas increíbles, porque la gente la utilizará para hacer cosas que nunca imaginaste. Cuando se lanzaron los smartphones, ¿alguien pensó en medir el rendimiento en fitness?

¿Qué podemos esperar de ARM a medio y largo plazo?

Más de lo mismo, venderemos procesadores, los mejoraremos y trabajaremos duro en visión artificial y aprendizaje automático.

¿Cómo valoras el primer año comercial de la RV y qué esperas de 2017?

Cuando una tecnología nueva llega, todo el mundo dice: llegaremos hasta aquí. Y nunca ocurre, pero si esperas un poco más, siempre tiene éxito donde pensabas. Todo el mundo sobrestima lo que puedes hacer en tres años y todo el mundo subestima lo que puedes hacer en 10, y creo que esto es verdad. Tenemos una expectativas tan altas que, cuando llegamos a este punto, se piensa: oh no, la RV está muerta. Y no es así, realmente esta empezando. Todo el mundo necesita calmarse, ya que llevará algo más de tiempo.

Creo que este año empezaremos a ver cómo la visión artificial se hace importante en dispositivos móviles y empieza a despegar.

Agradecemos a Jem Davies, vicepresidente de Media Processing Group en ARM, por su tiempo y amabilidad.