Yosemite Fitness
Related Articles
Meta anuncia su nuevo marco AITemplate para GPU. Si los números son correctos, y SemiAccurate cree que lo son, esto podría cambiar el equilibrio de poder en el mundo de las GPU. AITemplate (AIT) es un marco Python de dos partes para modelos de IA que los convierte en código C++ mucho más rápido. Tiene una interfaz que optimiza los modelos mediante transformaciones y optimizaciones de gráficos. Luego se envía al backend, que convierte el modelo en código GPU C++ directo. Como muchos de ustedes entenderán, C++ es mucho más rápido que los lenguajes interpretados, por lo general, y AIT no es diferente. ¿Cuánto más rápido preguntas? Rendimiento de Nvidia A100 con AIT con BERT y ResNet-50 en hardware Nvidia A100 con Cuda 11.6, Meta AIT ofrece una aceleración de 3 a 12 veces sobre ResNet-50 y una aceleración de 2 a 5 veces en BERT. Dado que los lotes más grandes tienen aceleraciones más lentas, SemiAccurate cree que el límite de rendimiento más bajo es la cifra mucho más alcanzable en el mundo real, pero duplicar el rendimiento sigue siendo una ganancia importante. Si lo piensas bien, esto potencialmente reduce a la mitad la inversión de Meta en sistemas GPU, sin mencionar los costos de energía y refrigeración. Rendimiento AMD MI250 con AIT Por el lado de AMD, el panorama es mucho menos halagüeño, en algunos aspectos. Utilizando los aceleradores ROCm 5.2 y MI250, las aceleraciones están en el rango de 1,5-2x tanto para ResNet-50 como para BERT. Lo más interesante es que el aumento de rendimiento es bastante constante independientemente del tamaño del lote, lo cual es un poco contradictorio. En cualquier caso, un aumento de 1,5 veces no es nada que deba pasarse por alto, especialmente cuando se compra hardware en cantidades Meta. Ambos números son relativos al rendimiento de las mismas tarjetas con marcos nativos, lo cual es bueno pero influye poco en las decisiones de compra. Lo que realmente importa es el rendimiento de las tarjetas entre sí bajo las mismas cargas de trabajo. Afortunadamente, Meta también ha incluido estos datos. Rendimiento AMD vs Nvidia AIT Como puede ver, la A100 de Nvidia todavía está un poco por delante, llamémosla un 10% más o menos, que las tarjetas MI250 de AMD. En ResNet-50, los dos están empatados: BERT ve a Nvidia por delante en aproximadamente un 15% y VIT le pide a Nvidia que amplíe su ventaja a casi un 20%. Desafortunadamente casi no hay precios recomendados para esta clase de GPU, por lo que es difícil comparar valores directamente. Sin embargo, como anécdota, se dice que AMD está dispuesta a llegar a un acuerdo y Nvidia no, por lo que es probable que este delta de rendimiento se invierta en el mundo real en lo que respecta al TCO. Esto trae a colación el siguiente punto: el rendimiento en el mundo real. Mostrar puntos de referencia, incluso aquellos para los que están altamente optimizados, es una cosa y las cargas de trabajo pesadas son otra. Una vez más Meta nos ha aportado algunos datos útiles para ayudarnos. En las pruebas de secuencia larga basadas en BERT (4096), los resultados muestran una imagen interesante. Rendimiento de AMD MI250 con AIT en datos de gran tamaño Es cierto que es solo un marco, y el A100 de Nvidia ve un aumento de velocidad financieramente significativo, pero el MI250 de AMD obtiene bastante más. Con un tamaño de lote de uno, ambas tarjetas son un 80 % más rápidas con AIT que sus marcos nativos, lo cual es bueno. A medida que crece el tamaño del lote, el rendimiento de Nvidia disminuye y el rendimiento de AMD aumenta. El MI250 de AMD tiene un rendimiento entre 2 y 3 veces mayor que el A100 de Nvidia en AIT con BERT en esta configuración. Si lo piensas en términos de dólares, es un número bastante sorprendente cuando se aplica al conjunto de hiperescaladores. Estamos guardando la mejor parte para el final, Meta está abriendo completamente el código AITemplate, puedes descargarlo aquí. Está diseñado para ser fácil de usar, autónomo y muy rápido. Por lo que parece, logra estos objetivos bastante bien. Para las partes que no hacen lo que el usuario quiere, el código es abierto y gratuito bajo la licencia Apache 2.0, por lo que puedes hackearlo a tu gusto. Si bien SemiAccurate duda en decir que esto cambia las reglas del juego, principalmente porque no vivimos lo suficiente en el mundo de la IA para comprender sus matices sutiles, los números anteriores son bastante significativos. Si se aplican al caso general, como parece, esto podría tener profundas implicaciones para las ventas de Nvidia y el equilibrio de poder en el mundo de las GPU. De alguna manera esto no parece un efecto accidental. S|A Las siguientes dos pestañas cambian el contenido a continuación. Charlie Demerjian es el fundador de Stone Arch Networking Services y SemiAccurate.com. SemiAccurate.com es un sitio de noticias sobre tecnología; que aborda el diseño de hardware, selección de software, personalización, seguridad y mantenimiento, con más de un millón de visitas por mes. Es tecnólogo y analista especializado en semiconductores, arquitectura de sistemas y redes. Como redactor jefe de SemiAccurate.com, asesora periódicamente a redactores, analistas y ejecutivos de la industria sobre cuestiones técnicas y tendencias de la industria a largo plazo. Charlie también está disponible a través de Guidepoint y Mosaic. Completamente preciso
