Inteligencia artificial y datos: contrarreste las exageraciones, descubra el valor

Hoy en día, gran parte de la charla en línea se centra en datos y el uso de inteligencia artificial. Pero, ¿a qué nos referimos exactamente cuando hablamos de estos términos y qué influencia tienen en el desarrollo de software? Recientemente hablé con Jon Parish, jefe de IA y datos de 101 Ways, para ir más allá de las exageraciones y obtener algunas respuestas prácticas. Inteligencia artificial: comprender qué es y qué no es La inteligencia artificial (IA) es un tema muy amplio y profundo, que abarca todo, desde el acceso y el análisis de datos hasta el aprendizaje automático de la vieja escuela. La mayor parte del trabajo (¡y del revuelo!) en estos momentos en los equipos de desarrollo y las salas de juntas se centra en cómo aprovechar mejor los grandes modelos de lenguaje y las ofertas de IA como servicio de empresas como Amazon Q, Vertex Ai de Google y OpenAI. La IA generativa en su forma actual, especialmente con servicios como GitHub Copilot o ChatGPT, ciertamente ofrece mucho y puede ayudar con una amplia y creciente gama de tareas individuales, desde ayuda en productividad hasta escritura de código. Sin embargo, no siempre está claro cuáles son los mejores casos de uso o cómo hacer que las PoC se puedan lograr a escala en toda su organización. Pero es nuevo, por lo que siempre habrá preguntas. Y no hay duda de que GenAI representa una nueva categoría importante y un importante paso adelante con respecto a encarnaciones anteriores del aprendizaje automático. El avance de la IA vs. El revuelo Si bien algunos modelos y sistemas de IA pueden impresionar inicialmente, un análisis más profundo a menudo revela lagunas, problemas y limitaciones que se vuelven bastante evidentes. Por ejemplo, por muy útil que pueda ser GenAI, es tan útil como los datos con los que fue entrenado. Los malos aportes conducen a malos resultados. No hay mucha sorpresa ahí. Del mismo modo, los sistemas de IA pueden perpetuar o exacerbar inadvertidamente los sesgos existentes presentes en los datos de entrenamiento. El resultado son resultados injustos, discriminatorios o simplemente incorrectos. Y a veces, especialmente en los modelos de aprendizaje profundo, puede resultar increíblemente difícil entender cómo la IA llegó a sus conclusiones. La naturaleza de la “caja negra” hace que la transparencia y la explicabilidad sean un desafío importante. También hay muchas otras consideraciones: alucinaciones, ética, etc. Esto no quiere decir que debamos volvernos “totalmente luditas” y descartar la IA. Se puede ganar demasiado valor adoptando la tecnología de IA en los equipos de desarrollo y en toda la empresa. Más bien, como dice Jon, “la validación es clave. Y para los modelos de lenguaje, donde la validación es más difícil, se necesita un ser humano involucrado en el proceso para detectar errores». Una de las formas más útiles de visualizar Gen AI es como una mejor pila de búsqueda desbordante que genera o recupera soluciones para una variedad de preguntas técnicas o de programación. La IA ahorra tiempo y puede generar o adaptar código simple, pero no lo pondría directamente en producción sin probarlo y validarlo primero. Capacitación en datos y una cuestión de confianza Al considerar la generación de código, vale la pena recordar que adherirse a los modelos de IA como servicio a menudo significa compartir cierta información comercial con el proveedor. En teoría, incluso podría formar parte de los datos de entrenamiento de Gen AI, dependiendo de los términos del contrato firmado. Muchas organizaciones consideran que esta es una perspectiva comprensiblemente inalcanzable. Por supuesto, aún puedes entrenar tus propios modelos u obtener un modelo previamente entrenado y ejecutarlo localmente. Y si bien la IA como servicio le brindará un comienzo más rápido y rentable, obtendrá un mayor alcance y control con la capacitación personalizada. Como resultado, es probable que los resultados sean más precisos y conscientes del contexto, incluso con un conjunto de datos mucho más pequeño. Sin embargo, eso no quiere decir que no existan desafíos cuando se trata de entrenar un modelo internamente. Para entrenar un modelo de lenguaje grande, por ejemplo, necesitaría un enorme conjunto de datos del que extraer, literalmente miles de millones de ejemplos. Además, el entrenamiento personal puede ser técnicamente complejo y requerir mucho tiempo costoso en la computadora. Y, a esta escala, resulta casi imposible saber si su modelo recibe contenido «bueno» o «malo». Por este motivo, debe estar familiarizado con sus datos para comprender cómo son los buenos datos, especialmente si tiene la intención de entrenar su IA con ellos. Como señala Andrej Karpathy, uno de los cofundadores de OpenAI, la visualización puede desempeñar un papel vital para ayudarle a comprender sus datos. Con esta comprensión, podrá establecer un estándar, tener una idea de la canalización de datos y el grado de normalización necesario para eliminar duplicados del conjunto de entrenamiento. Modele la capacitación para evitar fallas silenciosas Con el software, es necesario realizar buenas pruebas para poder saber que lo que está produciendo es sólido. Es este x1000 para cualquier cosa que tenga que ver con el aprendizaje automático. Los modelos de aprendizaje automático tienden a fallar silenciosamente. No te darán un mensaje de error. En cambio, clasificarán erróneamente las cosas o empezarán a producir basura. Para evitarlo, las empresas deben validar continuamente sus modelos y eso pasa por tener acceso a datos “limpios”. Una de las reglas clave cuando se trata de entrenar un modelo de IA es que nunca debes usar los datos que usaste para el entrenamiento también para la validación. Si recopila datos nuevos continuamente, siempre tendrá algunos datos «nuevos» para utilizar en la validación. De lo contrario, es importante conservar algunos para ese propósito específico. Por supuesto, incluso un modelo que inicialmente proporciona excelentes resultados puede eventualmente comenzar a desviarse. Esto suele ocurrir cuando un modelo se ha entrenado en un conjunto de datos limitado, como un momento específico. «Si entrenaras un modelo utilizando los hábitos de compra de los consumidores en medio de un verano caluroso cuando todos estaban haciendo barbacoas, probablemente no funcionaría muy bien en el invierno», dice Jon. “No se trata de un empeoramiento del modelo en sí, simplemente que el comportamiento se ha alejado del modelo original. Un modelo siempre será tan bueno como los datos con los que fue entrenado”. «Todo negocio cambia con el tiempo, lo que significa que los datos subyacentes también cambian», continúa. «Como resultado, la validación continua es importante, ya que proporciona una manera de garantizar que los modelos de IA sigan funcionando incluso si los datos que reciben son diferentes de aquellos con los que fueron entrenados». Formular una estrategia y establecer expectativas Es fácil sobreestimar los beneficios y restar importancia a los posibles obstáculos en este momento. Jon ve aquí paralelos con la computación en la nube, donde la facilidad de configuración y la capacidad de escalar han impulsado el mercado. Una vez “allí arriba”, muchas empresas descubrieron que no solo habían aprovisionado en exceso, sino que también habían ignorado los importantes costos del procesamiento de datos, lo que llevó a muchas empresas a suspender iniciativas o devolver cargas de trabajo a las instalaciones. Como ocurre con cualquier tecnología nueva, las empresas y los departamentos deben evaluar cuidadosamente sus necesidades, comprender los riesgos particulares y preguntarse si la inteligencia artificial (de cualquier tipo) es el enfoque correcto. ¿Existe un caso de negocio? ¿Aportará valor? Y, significativamente, ¿cuáles son las implicaciones culturales? En lugar de dejarse llevar por las exageraciones, comprenda a qué se está inscribiendo. En otras palabras, revise las cosas con sensatez y utilice grupos de control y pruebas continuas para garantizar la solidez. Cuando se implementa correctamente, la IA puede ayudar a las empresas a comprender las características de su negocio de manera más efectiva, permitiéndoles crecer de manera más eficiente. Del mismo modo, el análisis numérico en profundidad (especialmente a partir del entrenamiento de su propio modelo) también puede desbloquear nuevos modelos invisibles para el ojo humano y ayudar a la innovación de productos. Es importante recordar que la IA no es la solución mágica para el éxito. Pero al realizar el trabajo de diseño y la parte de validación del producto, puedes evitar los obstáculos y descubrir cómo los datos y la IA pueden abrir nuevos ámbitos de posibilidades. ¿Busca consejos en su viaje hacia los datos y la IA? Podemos ayudar.

About Francisco

Check Also

Botones personalizables: instantánea del navegador Android Vivaldi 3380.4

Esta instantánea presenta un botón personalizable, corrige varias regresiones y lleva Chromium a 126. Por …

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *