Yosemite Fitness
Related Articles
A medida que las empresas descubren cada vez más casos de uso de la inteligencia artificial y el aprendizaje automático, los científicos de datos se encuentran analizando más de cerca su flujo de trabajo. Hay una gran cantidad de partes móviles en el desarrollo de la IA y el aprendizaje automático, y todas ellas deben gestionarse teniendo en cuenta la eficiencia y una funcionalidad sólida y flexible. El desafío ahora es evaluar qué herramientas proporcionan qué funcionalidad y cómo se pueden integrar varias herramientas con otras soluciones para respaldar un flujo de trabajo de un extremo a otro. Entonces, veamos qué pueden hacer algunas de estas herramientas líderes. DVC DVC brinda la capacidad de administrar archivos de texto, imágenes, audio y video en su flujo de trabajo de modelado de ML. Las ventajas: es de código abierto y tiene sólidas capacidades de gestión de datos. Ofrece enriquecimiento de conjuntos de datos personalizados y eliminación de sesgos. Además, registra rápidamente los cambios de datos en puntos naturales durante el flujo de trabajo. Al usar la línea de comando, el proceso parece rápido. Además, las funciones de canalización de DVC son independientes del idioma. Las desventajas: las capacidades del flujo de trabajo de IA de DVC son limitadas: no existe ninguna funcionalidad ni organización de implementación. Si bien el diseño del oleoducto parece bueno en teoría, tiende a fallar en la práctica. No puede establecer credenciales para el almacenamiento de objetos como un archivo de configuración y no hay una interfaz de usuario; todo debe hacerse mediante código. MLflow MLflow es una herramienta de código abierto, construida sobre una plataforma MLOps. Ventajas: debido a que es de código abierto, es fácil de configurar y solo requiere una instalación. Es compatible con todas las bibliotecas, lenguajes y códigos de aprendizaje automático, incluido R. La plataforma está diseñada para admitir flujos de trabajo de un extremo a otro para herramientas de modelado e inteligencia artificial generativa. Y su interfaz de usuario es intuitiva, además de fácil de entender y navegar. Desventajas: las capacidades de flujo de trabajo de IA de MLflow son limitadas en general. No hay capacidades de orquestación, administración de datos limitada y capacidades de implementación limitadas. El usuario debe actuar con diligencia a la hora de organizar el trabajo y nombrar proyectos: la herramienta no admite subcarpetas. Puede realizar un seguimiento de los parámetros, pero no de todos los cambios de código, aunque Git Commit puede proporcionar medios para solucionarlos. Los usuarios suelen combinar MLflow y DVC para forzar el registro de cambios de datos. Weights & Biases Weights & Biases es una solución utilizada principalmente para MLOP. La empresa añadió recientemente una solución para desarrollar herramientas de inteligencia artificial generativa. Las ventajas: Weights & Biases ofrece seguimiento, control de versiones y visualización automatizados con un código mínimo. Como herramienta de gestión de experimentos, hace un excelente trabajo. Sus visualizaciones interactivas simplifican el análisis de experimentos. Las funciones de colaboración permiten a los equipos compartir experimentos de manera eficiente y recopilar comentarios para mejorar experimentos futuros. Además, ofrece una sólida gestión del registro de modelos, con paneles para monitorear el modelo y la capacidad de reproducir cualquier punto de control del modelo. Los contras: Weights & Biases no es de código abierto. No hay funciones de canalización dentro de su plataforma: por esta razón, los usuarios tendrán que recurrir a PyTorch y Kubernetes. Sus capacidades de flujo de trabajo de IA, incluidas las funciones de orquestación y programación, son bastante limitadas. Si bien Weights & Biases puede registrar todo el código y sus cambios, esa característica puede crear simultáneamente riesgos de seguridad innecesarios y aumentar los costos de almacenamiento. Weights & Biases no tiene la capacidad de administrar recursos informáticos a nivel granular. Para tareas granulares, los usuarios deben integrarlo con otras herramientas o sistemas. Slurm Slurm promete gestión y optimización del flujo de trabajo a escala. Las ventajas: Slurm es una solución de código abierto, con una herramienta de programación sólida y altamente escalable para grandes clústeres informáticos y entornos informáticos de alto rendimiento (HPC). Está diseñado para optimizar los recursos informáticos para tareas de IA, HPC y computación de alto rendimiento (HTC) que consumen muchos recursos. Además, proporciona informes en tiempo real sobre perfiles de trabajo, presupuestos y consumo de energía para los recursos que necesitan varios usuarios. También viene con soporte al cliente para orientación y solución de problemas. Los contras: la programación es la única parte del flujo de trabajo de IA que resuelve Slurm. Requiere una cantidad significativa de secuencias de comandos Bash para crear automatizaciones o canalizaciones. No puede iniciar diferentes entornos para cada trabajo y no puede verificar que todas las conexiones de datos y los controladores sean válidos. No hay visibilidad de los grupos de Slurm en curso. Además, su escalabilidad se produce a expensas del control del usuario sobre la asignación de recursos. Los trabajos que superan los límites de memoria o que simplemente tardan demasiado se finalizan sin previo aviso. ClearML ClearML ofrece escalabilidad y eficiencia en todo su flujo de trabajo de IA, en una única plataforma de código abierto. Las ventajas: la plataforma ClearML está diseñada para proporcionar soluciones de flujo de trabajo de un extremo a otro para GenAI, LLMops y MLOps a escala. Para que una solución realmente se denomine «de extremo a extremo», debe diseñarse para admitir el flujo de trabajo de una amplia gama de empresas con diferentes necesidades. Debe poder reemplazar múltiples herramientas independientes utilizadas para AI/ML, pero aún así permitir a los desarrolladores personalizar su funcionalidad agregando herramientas adicionales de su elección, lo cual hace ClearML. ClearML también ofrece una orquestación lista para usar para admitir la programación, las colas y la administración de GPU. Para desarrollar y optimizar modelos de IA y ML dentro de ClearML, solo se necesitan dos líneas de código. Como algunas de las otras soluciones importantes de flujo de trabajo, ClearML es de código abierto. A diferencia de otros, ClearML crea un seguimiento de auditoría de los cambios, rastreando automáticamente elementos en los que los científicos de datos rara vez piensan: configuración, ajustes, etc. – y ofreciendo comparaciones. Su funcionalidad de gestión de conjuntos de datos se vincula perfectamente con la gestión de experimentos. La plataforma también permite una gestión de datos organizada y detallada, permisos y control de acceso basado en roles, y subdirectorios para subexperimentos, lo que hace que la supervisión sea más eficiente. Una ventaja importante que ClearML ofrece a los equipos de datos son sus medidas de seguridad, integradas en la plataforma. Slack carece de seguridad, especialmente al optimizar su flujo de trabajo para manejar grandes volúmenes de datos confidenciales. Es fundamental que los desarrolladores confíen en que sus datos son privados y seguros, y al mismo tiempo accesibles para quienes los necesitan en el equipo de datos. Las desventajas: Aunque está diseñado por desarrolladores, para los desarrolladores tiene sus ventajas, la implementación del modelo de ClearML no se realiza a través de una interfaz de usuario sino a través de código. Las convenciones de nomenclatura para el seguimiento y la actualización de datos pueden ser inconsistentes en toda la plataforma. Por ejemplo, el usuario «informará» parámetros y métricas, pero «registrará» o «actualizará» un modelo. Y no es compatible con R, sólo con Python. En pocas palabras, el campo de las soluciones de flujo de trabajo de IA/ML está saturado y solo crecerá a partir de aquí. Los científicos de datos deberían tomarse el tiempo hoy para aprender qué está disponible para ellos, dadas las necesidades y recursos específicos de sus equipos. También te puede interesar… Los científicos y desarrolladores de datos necesitan una mejor relación de trabajo para la IA Cómo maximizar el ROI de la IA en el desarrollo de software
