NVIDIA aumenta aún más el rendimiento de la IA 3 veces para GPU GeForce RTX, PC RTX y estaciones de trabajo RTX con los controladores más recientes

NVIDIA ha mejorado aún más el rendimiento de la IA de sus GPU GeForce RTX y plataformas de PC AI RTX con la última versión del controlador R555. Las GPU NVIDIA GeForce RTX y las PC RTX ofrecen el rendimiento de IA más rápido en todos los segmentos, ahora mejorado 3 veces con los controladores más recientes. Durante la Microsoft Build de hoy, NVIDIA anunció una gama de nuevas optimizaciones de rendimiento de IA que ahora están disponibles en la plataforma RTX, incluidas las GPU GeForce RTX. estaciones de trabajo y PC. Las nuevas optimizaciones están dirigidas específicamente a una variedad de modelos de lenguajes grandes (LLM) que impulsan las últimas experiencias de IA generativa. Utilizando los últimos controladores R555, las plataformas de PC con IA y GPU NVIDIA RTX ahora ofrecen un rendimiento de IA hasta 3 veces más rápido con ONNX Runtime (ORT) y DirectML. Estas dos herramientas se utilizan para ejecutar modelos de IA localmente en PC con Windows. Además, WebNN también se ha acelerado con RTX a través de DirectML. Es una interfaz de programación de aplicaciones para que los desarrolladores web implementen nuevos modelos de inteligencia artificial. Microsoft está trabajando con NVIDIA para acelerar aún más el rendimiento de la GPU RTX y al mismo tiempo agregar compatibilidad con DirectML en PyTorch. A continuación se muestra una lista completa de las características que ofrecen los nuevos controladores R555 para GPU GeForce RTX y PC RTX: Compatibilidad con el metacomando DQ-GEMM para manejar la cuantificación de solo peso INT4 para LLM Nuevos métodos de normalización RMSNorm para Llama 2, Llama 3, Mistral y Modelos Phi -3 Atención grupal y mecanismos de consulta múltiple y atención de ventana deslizante para admitir Mistral Actualizaciones KV in situ para mejorar el rendimiento de la atención Soporte para GEMM de tensores no múltiplos de 8 para mejorar el rendimiento del contexto de fase Fuente de la imagen: NVIDIA En rendimiento comparado Según los puntos de referencia de ORT, una extensión de IA generativa lanzada por Microsoft, NVIDIA muestra mejoras en todos los ámbitos tanto en los tipos de datos INT4 como en FP16. Las mejoras de rendimiento son hasta 3 veces gracias a las técnicas de optimización agregadas en estas extensiones para LLM como Phi-3, Llama 3, Gemma y Mistral. Además de estas mejoras, NVIDIA lidera la industria de PC de consumo con IA con su potente suite TensorRT y TensorRT-LLM. La compañía también ofrece una amplia gama de soluciones basadas en su hardware de inteligencia artificial integrado en sus GPU, como Tensor Core. Estas soluciones incluyen la revolucionaria tecnología DLSS Super Resolution, NVIDIA ACE, RTX Remix, Omniverse, Broadcast, RTX Video y muchas otras tecnologías. Las GPU NVIDIA ofrecen hasta 1300 TOPS de cálculo de IA, muy por delante de los chips más rápidos que saldrán este año, que se espera que solo alcancen los 100 TOPS. Además, estas PC contarán con las últimas GPU NVIDIA RTX, lo que impulsará aún más la plataforma de PC RTX AI e impulsará aún más el segmento de IA al espacio del consumidor. Comparte esta historia Facebook Twitter

About Carlos Carraveo Jimenez

Check Also

Microsoft oculta las instrucciones de configuración de la cuenta local para Windows 11

Para sorpresa de nadie que haya prestado atención, Microsoft en realidad quiere que use una …

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *