La inteligencia artificial generativa evoluciona a un ritmo imparable, y no solo a nivel "intelectual", también a nivel operativo. Hoy NVIDIA y Google han anunciado una alianza para, entre otras cosas, permitir que la nueva IA de Google, Gemma, basada en Gemini, funcione en modo local en PCs con tarjetas gráficas NVIDIA RTX.

Toda la IA generativa de primera generación, como ChatGPT, Copilot, Llama, Stable Diffusion, etc., funciona en la nube. En parte, es necesario, porque para que la IA sea precisa e inteligente, necesita mucha potencia de proceso.

Pero no necesitas una IA más lista que Stephen Hawking para que cumpla tareas como buscarte un restaurante con menú del día cerca de donde estás, o que te haga un resumen de un email.

Además, una IA en la nube tiene la desventaja de que todos tus datos personales que usas en las conversaciones con la IA se suben a Internet. Y si te quedas sin conexión, la IA se vuelve muda, más tonta que un palo. Google y NVIDIA quieren cambiar eso.

Gemma, la IA de Google que funciona en local

Para que una inteligencia artificial funcione en modo local, es decir, en un hardware que poseen los usuarios, como un ordenador o un móvil, es necesario que el hardware tenga chips diseñados para manejar la IA.

Esos chips están comenzando a llegar: este año se van a comercializar los AI PC, ordenadores con CPUs con IA, y los propios móviles ya comienzan a integrarlos en sus SoCs, como ya hacen Apple, Google y sus Pixel, o Samsung.

Pero resulta que, desde hace años, algunos PCs ya poseen potentes chips de IA, los mismos que se usan en la nube, dentro de las tarjetas gráficas NVIDIA RTX. Y poco a poco, comienzan a aprovecharse.

Google y NVIDIA han desarrollado conjuntamente Gemma, una IA generativa basada en Gemini, optimizada para todas las plataformas de IA de NVIDIA. Como muestra esta gráfica, es más potente que Llama-2 de Meta:

Gemma es una IA ligera, pero muy potente, disponible en dos versiones: Gemma 2P, que maneja 2.000 millones de tokens, y Gemma 7P, hasta 7.000 millones.

Utilizando la tecnología  NVIDIA TensorRT-LLM, el rendimiento se acelera en los servicios en la nube que usan las GPU H100 y las futuras H200 de NVIDIA, como la nube Google A3.

A nivel usuario, lo más interesante es que Gemma es compatible con Chat with GTX, un chatbot personalizado que funciona en modo local en un PC con tarjeta gráfica RTX, y que puedes probar gratis. Mira cómo funciona en este vídeo:

Chat with RTX es compatible con IAs generativas como Llama-2, y en breve también con Gemma, puedes elegir cuál quieres usar.

Con Chat with RTX entrenas a tu propio chatbot con tus propios datos, como tus documentos, emails, proyectos, o lo que quieras, y después la IA te ayuda a hacer resúmenes, extraer datos, y otras tareas.

Como funciona en local, gracias a los chips Tensor que tienen las tarjetas NVIDIA RTX, los datos no salen de tu PC, y puede funcionar sin conexión a Internet.

En el futuro, muchas IAs generativas especializadas van a funcionar en local. Así se reduce el consumo energético, y aumenta la privacidad. Gemma, la nueva IA de Google creada con ayuda de NVIDIA, ya funciona así. En breve se integrará en Chat with RTX.