Tema: Aughanded Virtuality: ve tus propias manos en RV

Escribe un mensaje

Mensajes

altair28

Colaborador

18 Ago 2013 16:58

Mensajes: 8753

Ubicación: En mi mundo virtual

Visores

Oculus Quest

Oculus Quest 2

Air Link

Meta Quest 3

altair28 » 24 JUL 2014 20:26

Unos estudiantes de la Universidad Tecnológica de Dresden, en Alemania, han conseguido que podamos ver nuestras propias manos en realidad virtual mediante una simple camara GoPro conectada al DK1 y un software diseñado por ellos. Lo han llamado Aughanded Virtuality y el resultado es realmente asombroso.

La técnica consiste en capturar la secuencia de video a través de la cámara (una GoPro Hero 3+ Black Edition), segmentarla para mostrar solo los pixeles que tengan un tono de color de piel, y convertir el resto en transparentes, y por último fusionarla con la imagen del entorno virtual. La operación de segmentación la realizan mediante un shader de Unity para mejorar el rendimiento y conseguir una visualización suave. El resultado podeis verlo en el video y parece bastante prometedor. Ahora falta que además se pueda manipular el entorno usando las manos, y no solo verlas, pero es un gran paso.

Mi PC: AMD Ryzen 7 7700x, Nvidia RTX 4070 Ti, 32 Gb RAM DDR5 6000Mhz

0
Franky

16 May 2013 21:49

Mensajes: 1153

Ubicación: Murcia

Franky » 24 JUL 2014 20:49

se ven al pelo, y sin embargo no parece que tenga una latencia exagerada.

0
carlosfoces

25 Oct 2013 20:37

Mensajes: 167

carlosfoces » 7 AGO 2014 13:58

Impresionante incluso llevando un tatuaje se podria transferir al entorno virtual, creo que es un comienzo muy prometedor.

Donde esta localizado todo? Saludos

0
Manu

14 Jul 2013 16:18

Mensajes: 617

Manu » 7 AGO 2014 14:19

Sin palabras. Jodidamente ingenioso.

0
altair28

Colaborador

18 Ago 2013 16:58

Mensajes: 8753

Ubicación: En mi mundo virtual

Visores

Oculus Quest

Oculus Quest 2

Air Link

Meta Quest 3

altair28 » 7 AGO 2014 14:23

Si añaden una segunda cámara para poder estimar la posición de las manos en el espacio 3D, en teoría se podria usar este sistema para poder manipular el entorno con ellas, aunque eso va a complicar la cosa un pelin... vamos a ver en qué queda.

Mi PC: AMD Ryzen 7 7700x, Nvidia RTX 4070 Ti, 32 Gb RAM DDR5 6000Mhz

0
Manu

14 Jul 2013 16:18

Mensajes: 617

Manu » 7 AGO 2014 14:27

Lo ideal sería hacer que la cámara detectara el movimiento de las manos y brazos (igual que hace para representarlas) y las representara en un modelo 3D texturizado con los tonos de la piel (para igualar el tono real de piel), algo así como hace el leap motion pero mas avanzado.

0
RescueGamer

Colaborador

4 Jun 2013 00:37

Mensajes: 1080

RescueGamer » 7 AGO 2014 14:49

La segunda cámara haría falta ya no solo para determinar la posicion de las manos si no para capturar la imagen de las manos en 3d y verlas con profundidad tambien, porque pensandolo bien tiene que ser raro, ves el entorno con prfundidad y tus manos como si las tuvieses pegadas en una pared delante, no se alejan.

0
gallox

2 Sep 2013 19:22

Mensajes: 1717

gallox » 7 AGO 2014 15:30

Todos los vídeos parecen tan prometedores... pero luego en la realidad la cosa cambia (y mucho), de todas formas se ha dicho y repetido que el tema de la cámara sobre el papel es bueno, pero la pega esta en que la cámara te tiene que ver, cosa que es imposible en todo momento y desde todas direcciones.

0
Ngariv

7 Jul 2014 18:05

Mensajes: 40

Ubicación: Marbella, Málaga

Visores

Samsung Odyssey

Ngariv » 7 AGO 2014 19:26

¿Y usando dos cámaras para compartir datos y "triangular" la posición de tus manos en todo momento?
Por cierto, como he dicho antes en el otro hilo, esta persona hacía ya el tracking de manos hace cuatro años, sin otra cosa que una webcam y unos guantes de tela de colores:
www.youtube.com/watch?v=kK0BQjItqgw
Igual hay motivos de peso que impidan usar esta "tecnología", pero a falta de opiniones más entendidas, yo la veo simple y efectiva.

0
altair28

Colaborador

18 Ago 2013 16:58

Mensajes: 8753

Ubicación: En mi mundo virtual

Visores

Oculus Quest

Oculus Quest 2

Air Link

Meta Quest 3

altair28 » 7 AGO 2014 19:30

"gallox"Todos los vídeos parecen tan prometedores... pero luego en la realidad la cosa cambia (y mucho), de todas formas se ha dicho y repetido que el tema de la cámara sobre el papel es bueno, pero la pega esta en que la cámara te tiene que ver, cosa que es imposible en todo momento y desde todas direcciones.

Es el mayor problema de las camaras, pero un par de camaritas montadas sobre el hmd y unos guantes ligeros con leds en los dedos podrian ser una solución económica (que no ideal) para quien no pretenda hacer muchas virguerias. Solo podrás usar las manos mientras las miras directamente, pero eso ya te da para mucho porque la mayoria de cosas que hacemos con las manos las hacemos mirandolas. Para manipular los controles virtuales en un avion o nave espacial seria perfecto, no voy a tocar las opciones de las pantallas del Elite sin estar mirandolas, ademas de que si no las miro no se despliegan...

Si se puede integrar una solución asi que venga incluida en el precio del hmd,sin que este aumente apenas de precio pues siempre será mejor que no tener nada... Luego quien quiera más, que se rasque el bolsillo y opte por soluciones más precisas, pero para la mayoria de gente sin muchas exigencias esto podria ser un primer paso perfecto.

Si quieres disparar un arma mientras miras al tendido, entonces Stem o PrioVR serán una opción mejor, claro está.... pero ojo al precio.

Mi PC: AMD Ryzen 7 7700x, Nvidia RTX 4070 Ti, 32 Gb RAM DDR5 6000Mhz

0
gallox

2 Sep 2013 19:22

Mensajes: 1717

gallox » 8 AGO 2014 5:33

Yo no critico el sistema de cámara por que si, para un seguimiento de cabeza puede tener sentido partiendo de que es una unidad, pero las manos no solo son dos distintas, si no que ademas, a su vez son complejas en su forma, la cámara tiene sentido para el posicionamiento absoluto por el ya famoso seguimiento IR, pero las manos requerían a su vez seguimiento constante de cada dedo individual (de cada mano por separado).

Por cierto, el tema de las cámara no es tan barato como se plantea. Para mi un simple Air Mause con forma de guante (no es broma existió uno), con track IR ya seria un avance (y para colmo con soporte, pues seria el ratón) aunque solo una mano tuviera capacidad de interacción real en una cabina.

Por otro lado los WII mote (son fáciles de encontrar de 2º mano) que son autónomos incluyendo el posicionamiento absoluto, pienso que se pueden adaptar a las necesidades de la RV en diferentes formatos, desde su uso en andadores como sensores para extremidades hasta mandos de control, herramientas o incluso control del ratón (que ya se puede usar así dado que ya hay aplicaciones para su uso en PC). Tenemos un mando barato, fácil de conseguir y con el glovepie el limite esta en nuestra imaginación (como ocurre con el voiceattack).

Pero, bueno, es mi opinión, cada uno que tenga la suya.

0
feasder

1 Ago 2013 16:51

Mensajes: 463

feasder » 8 AGO 2014 9:31

Es muy buena idea, pero en vez de una go-pro se podria usar una kinect 2, asi las manos se verian en 3d y ademas puede detectar con precision la posicion de cada dedo.

0

Escribe un mensaje

Usuarios navegando por este foro:

xavier_llorach 7 Anónimo