Qualcomm incluirá la IA Llama 2 de Meta en sus Snapdragon para dispositivos XR
24 JUL 2023 10:45
Llama (Large Language Model Meta AI), modelo de lenguaje de código abierto de Meta, ha llegado a su segunda generación y ya está disponible para uso comercial o investigación. Su potencia se apoya actualmente en la nube, pero a partir de 2024 Qualcomm lo integrará en sus chipsets Snapdragon para móviles, ordenadores portátiles, vehículos, objetos loT (internet de las cosas) y dispositivos XR.
Llama 2 es un tipo de IA generativa, donde se usan algoritmos y redes neuronales avanzadas para aprender de textos e imágenes, para luego generar nuevo contenido. La cantidad de datos necesaria para alimentarla y su procesamiento hace imprescindible utilizar tanto los supercomputadores de Meta como Azure, la plataforma de computación en la nube de Microsoft.
Como parte de la alianza estratégica firmada entre Meta y Qualcomm se ha empezado a trabajar para que sea posible optimizar la ejecución de Llama 2 directamente en los dispositivos, sin depender del uso de servicios en la nube (on-device generative AI). Los desarrolladores que quieran probarlo en sus aplicaciones pueden acceder a un conjunto de herramientas llamadas Qualcomm AI Stack.
Entre los usos de esta IA integrada en los chipset Snapdragon estarían los asistentes virtuales, aplicaciones de productividad, herramientas de creación de contenidos, entretenimiento, etc. Sus ventajas serían el ahorrarse los costes de la nube, funcionar en zonas sin conexión o en "modo avión" y ofrecer a los usuarios experiencias más privadas, fiables y personalizadas.
Vrecino
Visores
#1 24 JUL 2023 12:21
La Llama que llama
No me entero de si eso de la IA generativa de Meta es lo mismo que ChatGPT o similar, pero XR+IA, y en las dos cosas Meta invirtiendo, este Zuck no es tonto...
mes_nit
Visores
#2 » Respuesta a Vrecino #1 24 JUL 2023 12:59
Se supone que si, aunque no entiendo bien la relación que puede tener el hardware sin conexión, con eso que dicen que esta "preentrenado" y que se accede en la nube.
El chatgpt no es una "conclusión" sacada de unos ordenadores que han estado bastante "pensando"? Entonces esas conclusiones deben ocupar bastante y no estan en internet?
Al fin y al cabo va a ser márketing del bueno para los procesadores de qualcomm, que van a tener x11 rendimiento de IA en xr2 gen 2 respecto al gen 1.
Me parece interesante tema IA generativa para la realidad mixta.
davidp
#3 » Respuesta a Vrecino #1 24 JUL 2023 18:57
Llama por así decirlo es el ChatGPT de Meta. La diferencia con ChatGPT es que Llama2 es Open Source tanto para uso educativo/investigación con comercial frente a ChatGPT de OpenIA que es cerrado y de pago. Llama 1 que salió a principios de año era open source pero sólo para educación/investigación.
El anuncio de que Llama2 sea Open source para cualquier uso, ha sido la noticia en lo que va de del año en el mundo IA. Que modelos tan potentes estén disponibles para todo el mundo y que cualquiera los pueda utilizarlos (tener su ChatGPT) gratis en sus aplicaciones ha supuesto un terremoto en la comunidad IA.
Llama te lo puedes descargar y ejecutar en un PC localmente pero necesitas un buen PC, conseguir ejecutarlo en un móvil es un reto. Pero Llama desde el principio ha sido diseñada para que se pueda ejecutar en local por lo menos los modelos más pequeños, que dan resultados bastante aceptables frente a modelos bastante más grandes.
Veo bastante difícil que Llama pueda correr en unas Quest 3, quizás en unas Quest 4 o en unas Quest 2 Pro con más memoria que las Quest 3, pero veremos
Hypernova
#4 » Respuesta a mes_nit #2 24 JUL 2023 21:03
Un buen modelo de generación de imágenes ronda los 7 gb para ejecución en local. Además puede llenar los 8 gb de una GPU de sobremesa si se genera con una resolución demasiado alta o varias simultáneamente en vez de en cola. Pero hay opciones para ahorrar la cantidad sin malgastarla, imagino que haciéndolo poco a poco. Es más lento y limita la resolución máxima.
Para texto estoy seguro de que no hace falta usar tanta RAM de golpe, y no le afectaría tanto dosificarla. Como mucho bajaría un poco el rendimiento por ello
Hypernova
#5 » Respuesta a davidp #3 24 JUL 2023 21:07
Lo de "buen pc" tiene truco. Eso abarca GPUs modernas de nvidia con tensor cores, aceleradores de IA. Pero los snapdragon tienen eso mismo, lo que los debería dejar fácilmente al nivel de una GPU de sobremesa sin tensor cores. No sé en qué medida, pero sí sé que Quest 2 rinde 9 veces más que Quest 1 en IA. Aunque no sé si es comparando con correr en los shaders, o con el tweak que hizo Carmack de ejecutar la IA de tracking y guardian en el DSP de los códecs en Quest 1.
Esos saltos tan grandes, en plan 9x, son la clase de saltos que veíamos entre una consola portátil y su equivalente en sobremesa, a ojo diría que era la diferencia entre una portátil de nintendo y su versión sobremesa. La game boy en el 89 con 8 kb, y en el 90 la SNES con 192 es incluso mayor salto. Y en potencia la gb buscaba el doble de frecuencia que NES y mejor arquitectura de CPU, pero estaba mucho más cerca de esta que de SNES. Media generación de consolas de atraso en ese sentido. Pero bueno, esto da para un largo debate en otro lado.
Usuario eliminado (7750)
Visores
#6 » Respuesta a Hypernova #4 24 JUL 2023 22:02
Pues dicen que el modelo más pequeño (creo que el que estaba entrenado con 7 mil millones de datos, en vez de 13 mil o 70 mil millones de los superiores), estaría pensando para poder funcionar en dispositivos moviles, y que además, al ser open source (bueno con la "limitación" de que si tienes más de 700 millones de usuarios les debes dar un toque al menos) se espera que se saquen versiones muy optimizadas.
cercata
Visores
#7 26 JUL 2023 0:48
Esto promete, una IA para IAs(NPCs) que podrá correr en local !!!!!!!
El potencial es brutal, rollo lo que hemos visto de los MODs de Skyrim con ChatGPT, pero corriendo en local. Obviamente sera mucho mas descafeinado que con chatgpt, pero aun así quedarían unos NPCs brutales.