Facebook investiga la recreación del cuerpo completo usando una sola cámara

En un proyecto de investigación llamado PIFuHD, tres técnicos de Facebook y un investigador de la Universidad del Sur de California proponen un sistema de aprendizaje automático para generar una representación 3D de una persona y su ropa a partir de una sola imagen de 1k. Esto se haría usando algoritmos, sin que se requiera un sensor de profundidad o un equipo de captura de movimiento.

Con el hardware de hoy en día, lo habitual es que solo se pueda manejar imágenes de entrada de relativamente baja resolución. Esto limita la precisión y el detalle del modelo de salida. PIFuHD toma un nuevo enfoque, reduciendo el muestreo de la imagen de entrada pero alimentando la capa base con nuevas mallas de información gráfica para agregar los detalles de la superficie.

Facebook manifestó su interés en recrear digitalmente figuras humanas en marzo de 2019, mostrando Codec Avatars. Este proyecto se centraba específicamente en la cabeza y la cara. La generación de esos avatares requería un costoso escaneo de la cabeza del usuario con 132 cámaras. El siguiente paso lo dio en mayo de 2019, durante su conferencia anual F8, cuando enseñó el seguimiento del cuerpo sin marcadores en tiempo real con una fidelidad sin precedentes, utilizando un modelo que tiene en cuenta los sistemas muscular y esquelético humanos.

La creación de avatares con cuerpo completo es otro paso en el camino hacia el objetivo de conseguir que los usuarios existan como su yo físico real en entornos virtuales, y ver a los demás también como realmente se ven en el mundo real. Aunque Facebook ya ha advertido que a esta tecnología le quedan muchos años de investigación y desarrollo para que pueda implementarse en productos de consumo como el esperado Facebook Horizon.

Tenemos una implementación disponible y más información en GitHub.