Gemma de Google está optimizada para GPU NVIDIA

Gemma de Google está optimizada para GPU NVIDIA

Recientemente se presentó el nuevo modelo de inteligencia artificial de Google, Gemma. Hasta ahora, muy emocionante. Sin embargo, NIVIDIA anunció que había trabajado con Google para optimizar su modelo de IA para las GPU NVIDIA. Y eso será emocionante.

Con Google Gemma se presentó un nuevo modelo de IA, que es un modelo de lenguaje abierto liviano y de última generación, que incluye modelos con 2 y 7 mil millones de parámetros que se pueden ejecutar en cualquier lugar. Esto es algo que reduce los costos y acelera el trabajo innovador para casos de uso de dominios específicos.

Los equipos de desarrollo de ambas compañías han trabajado estrechamente para acelerar aún más Gemma, que se basa en la misma investigación y tecnología que los modelos Gemini de Google, utilizando la tecnología NVIDIA2 TensorRT-LLM. Esta es una biblioteca de código abierto para modelos de lenguaje cuando se ejecutan en GPU NVIDIA en el centro de datos, en la nube y en PC con GPU NVIDIA RTX. Esto brinda a los desarrolladores la oportunidad de aprovechar los más de 100 millones de GPU RTX instaladas en potentes PC con IA en todo el mundo.

Gemma también se podrá utilizar en GPU NVIDIA basadas en la nube. Esto también incluirá las instancias A3 de Google Cloud, que se basan en la GPU H100 Tensor Core. Sin embargo, Google seguirá utilizando los procesadores gráficos H200 Tensor Core de NVIDIA este año, con 141 GB de memoria HBM3e a 4,8 terabytes por segundo. Los desarrolladores empresariales tendrán entonces la oportunidad de utilizar el extenso ecosistema de NVIDIA. Esto incluye NVIDIA AI Enterprise con el marco NeMo y TensorRT-LLM para ajustar Gemma e implementar el modelo optimizado en su aplicación de producción.

Pronto, Gemma también será compatible con la demostración “Chat with RTX” de NVIDIA. La demostración es una demostración técnica de NVIDIA que funciona con capacidades de IA generativa del software Retrieval-Augmented Generation y TensorRT-LLM en PC Windows locales con tecnología RTX. Allí es posible personalizar tu propio chatbot con tus datos. Si quieres probar esto, también puedes encontrar las descargas en la página de inicio de NVIDIA.

Fuente: NVIDIA


Source link

About Miriam Sagarzazu Olaizaola

Check Also

Un estudio de Warframe revela que la inestabilidad de Intel es la razón de los fallos del juego

Un estudio de Warframe revela que la inestabilidad de Intel es la razón de los fallos del juego

Puede confiar en PC Guide: nuestro equipo de expertos utiliza una combinación de investigación de …

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *