Tema: Tracking de cuerpo entero simulado

Mensajes

  • Usuario eliminado (7750)

    Colaborador

    24 Jul 2017 07:41

    Mensajes: 4076

    Ubicación: Alcalá de Guadaíra (Sevilla)

    Visores

    Oculus Quest
    Oculus Quest 2
    Meta Quest 3
    Usuario eliminado (7750) » 23 SEP 2022  7:32

    Un paper de Meta donde se muestra la investigación que están haciendo para que tengamos piernas de mentira en VR, o sea, para que los avatares de horizon tengan piernas. La verdad es que lo que se ve en el video es bastante decente lo que llega a interpretar sólo con el visor y los 2 mandos. Os dejo el video y enlace al paper:

     

    El seguimiento en tiempo real del movimiento del cuerpo humano es crucial para las experiencias interactivas e inmersivas en AR/VR. Sin embargo, los datos del sensor sobre el cuerpo son muy limitados y están disponibles en dispositivos portátiles independientes, como HMD (dispositivos montados en la cabeza) o anteojos AR. En este trabajo, presentamos un marco de aprendizaje por refuerzo que toma señales dispersas de un HMD y dos controladores, y simula movimientos de cuerpo completo plausibles y físicamente válidos. Usando movimiento de cuerpo completo de alta calidad como supervisión densa durante el entrenamiento, una red de políticas simple puede aprender a generar torques apropiados para que el personaje se equilibre, camine y trote, mientras sigue de cerca las señales de entrada. Nuestros resultados demuestran movimientos de piernas sorprendentemente similares a la realidad del suelo sin ninguna observación de la parte inferior del cuerpo, incluso cuando la entrada es solo las transformaciones 6D del HMD.

     

     

    pdf: https://arxiv.org/pdf/2209.09391.pdf
    paper: https://arxiv.org/abs/2209.09391

    4
  • juanjovei

    23 Sep 2022 09:55

    Mensajes: 2

    juanjovei » 23 SEP 2022  10:03

    Es que es una verdadera pasada!

    1
  • cercata

    5 Dic 2016 09:41

    Mensajes: 26077

    Ubicación: Bilbao

    Visores

    PlayStation VR
    Oculus Go
    Oculus Quest
    HP Reverb
    Oculus Link
    Oculus Quest 2
    Meta Quest 3
    cercata » 23 SEP 2022  10:08

    Que saquen un plugin de esto para Unity y Unreal !!!!!

    0
  • Usuario eliminado (7750)

    Colaborador

    24 Jul 2017 07:41

    Mensajes: 4076

    Ubicación: Alcalá de Guadaíra (Sevilla)

    Visores

    Oculus Quest
    Oculus Quest 2
    Meta Quest 3
    Usuario eliminado (7750) » 10 OCT 2022  10:46
    Aqui tenemos otro, Standable, que intentan hacer lo mismo
    4
  • Usuario eliminado (7750)

    Colaborador

    24 Jul 2017 07:41

    Mensajes: 4076

    Ubicación: Alcalá de Guadaíra (Sevilla)

    Visores

    Oculus Quest
    Oculus Quest 2
    Meta Quest 3
    Usuario eliminado (7750) » 23 OCT 2022  22:39

    por cierto, el otro día metieron esto en el SDK de las Meta Quest (y Pro), me pregunto si estará basada en el video que puse arriba del todo

     

    https://developer.oculus.com/documentation/unity/move-overview/

     

    1
  • cercata

    5 Dic 2016 09:41

    Mensajes: 26077

    Ubicación: Bilbao

    Visores

    PlayStation VR
    Oculus Go
    Oculus Quest
    HP Reverb
    Oculus Link
    Oculus Quest 2
    Meta Quest 3
    cercata » 23 OCT 2022  23:15
    Movement SDK for Unity uses body tracking, face tracking, and eye tracking to bring a user’s physical movements into the metaverse and enhance social experiences.

     

    De verdad pensais que Meta sigue haciendo juegos ? lol

    1
  • Usuario eliminado (7750)

    Colaborador

    24 Jul 2017 07:41

    Mensajes: 4076

    Ubicación: Alcalá de Guadaíra (Sevilla)

    Visores

    Oculus Quest
    Oculus Quest 2
    Meta Quest 3

    nueva versión de este paper (donde está involucrado Meta Reality Labs), el cual... me sigue pareciendo un flipe, a ver si deja de ser un paper y lo aplican xD

     

     

    paper:
    https://huggingface.co/papers/2307.01938
    https://www.cs.ubc.ca/~dreda/retargeting.html

     

    también este otro:
    PDF: https://arxiv.org/pdf/2306.05666.pdf
    2
  • Usuario eliminado (7750)

    Colaborador

    24 Jul 2017 07:41

    Mensajes: 4076

    Ubicación: Alcalá de Guadaíra (Sevilla)

    Visores

    Oculus Quest
    Oculus Quest 2
    Meta Quest 3
    Usuario eliminado (7750) » 15 JUL 2024  18:28

    parece que la investigación sigue mejorando, aqui muestran la nueva versión para el próximo Siggraph 2024

     

     

    https://github.com/sebastianstarke/AI4Animation

    2
  • cercata

    5 Dic 2016 09:41

    Mensajes: 26077

    Ubicación: Bilbao

    Visores

    PlayStation VR
    Oculus Go
    Oculus Quest
    HP Reverb
    Oculus Link
    Oculus Quest 2
    Meta Quest 3
    cercata » 16 JUL 2024  10:03

    Esto me recuerda al MeganeX, cada año enseñan algo guapo, pero no sale nunca ...

     

    Edito: Curioseando en el GitHub, las redes neuronales usadas solo pesan 30 megas, me imaginaba que pesarian la ostia, y que procesarlas tendria a las Quest de rodillas, pero con ese tamaño deberia ser algo que Quest pueda mover ademas del juego, me pregunto a que esperan para sacarlo ...

    0
  • Usuario eliminado (7750)

    Colaborador

    24 Jul 2017 07:41

    Mensajes: 4076

    Ubicación: Alcalá de Guadaíra (Sevilla)

    Visores

    Oculus Quest
    Oculus Quest 2
    Meta Quest 3
    Usuario eliminado (7750) » 16 JUL 2024  10:13

    bueno el body tracking ese es el que tiene ahora las Quest si no recuerdo mal, otra cosa es que ahora mismo, lo usan poquitos juegos (recordar, sólo recuerdo el Drunken Bar Fight y la demo de Meta de esquivar balones, no sé si VRchat o el Horizon lo tienen implementado, o algún otro juego), yo no sé ni si lo he probado xD pero esta claro qeu siguen investigando para mejorarlo, de hecho ese último video, si no entendí mal, lo hace mejor pero hace "trampa" y es que para que funcione mejor ha necesitado 3 horas de entrenamiento del usuario, no sé cómo, si es simplemente usando el visor para aprender con esos datos, o si se lo han dado grabandose en video desde fuera...

    0
  • cercata

    5 Dic 2016 09:41

    Mensajes: 26077

    Ubicación: Bilbao

    Visores

    PlayStation VR
    Oculus Go
    Oculus Quest
    HP Reverb
    Oculus Link
    Oculus Quest 2
    Meta Quest 3
    cercata » 16 JUL 2024  10:40

    Yo diría que lo del Drunken Bar Fight esta lejos aun del video que subiste en 2022.

    0
  • Usuario eliminado (7750)

    Colaborador

    24 Jul 2017 07:41

    Mensajes: 4076

    Ubicación: Alcalá de Guadaíra (Sevilla)

    Visores

    Oculus Quest
    Oculus Quest 2
    Meta Quest 3
    Usuario eliminado (7750) » 16 JUL 2024  11:21

    No lo tengo, y el de esquivar la pelota lo instalé una vez, pero no llegué a jugarlo tampoco xD pero sea como sea, el sistema que llevaba de bodytracking era el de Meta que salió en, y el de Meta pues se basa en estas investigaciones, que introdujeron en la v60 como "Inside-Out Body Tracking (IOBT)".

     

    El video del Drunken, que también muestra que con Q3 mejor que con Q2, supongo que la potencia será un factor importante en calcular y predecir todo esto. Y con el video que puse último, tal vez pase como con el handtracking, que veamos futuras actualizaciones que vayan puliendo el tracking.
    0

Usuarios navegando por este foro: