RAG es el próximo avance emocionante para los LLM

Uno de los desafíos de los modelos de IA generativa es que tienden a tener respuestas alucinantes. En otras palabras, presentarán una respuesta que en realidad es incorrecta, pero lo harán con confianza y, a veces, incluso se duplicarán cuando les indiques que lo que están diciendo está mal. “[Large language models] puede ser de naturaleza inconsistente con la aleatoriedad y variabilidad inherentes de los datos de entrenamiento, lo que puede conducir a diferentes respuestas a solicitudes similares. Los LLM también tienen ventanas de contexto limitadas, lo que puede causar problemas de coherencia en conversaciones prolongadas, ya que carecen de una comprensión verdadera y, en cambio, dependen de patrones en los datos”, dijo Chris Kent, vicepresidente senior de marketing de Clarifai, una empresa de orquestación de inteligencia artificial. La Generación de Recuperación Aumentada (RAG) está ganando terreno porque, cuando se aplica a los LLM, puede ayudar a reducir la aparición de alucinaciones, además de ofrecer algunos otros beneficios adicionales. «El objetivo de RAG es fusionar datos locales, o datos que no se han utilizado en el entrenamiento del LLM en sí, para que el LLM alucine menos de lo que lo haría de otra manera», dijo Mike Bachman, jefe de arquitectura y estrategia de IA en Boomi. , una empresa de iPaaS. Explicó que los LLM generalmente están capacitados con datos muy generales y, a menudo, con datos más antiguos. Además, como se necesitan meses para entrenar estos modelos, cuando están listos, los datos son aún más antiguos. Por ejemplo, la versión gratuita de ChatGPT utiliza GPT-3.5, que detiene los datos de entrenamiento en enero de 2022, que es hace casi 28 meses en este momento. La versión paga que usa GPT-4 te actualiza un poco más, pero solo contiene información hasta abril de 2023. “Te pierdes todos los cambios que han ocurrido desde abril de 2023”, dijo Bachman. “En ese caso particular, es un año completo, y suceden muchas cosas en un año, y han sucedido muchas cosas en el último año. Entonces, lo que hará RAG es ayudar a respaldar los datos que han cambiado”. Por ejemplo, en 2010 Boomi fue adquirida por Dell, pero en 2021 Dell vendió la empresa y ahora Boomi vuelve a ser de propiedad privada. Según Bachman, las versiones anteriores de GPT-3.5 Turbo todavía hacían referencias a Dell Boomi, por lo que utilizaron RAG para proporcionar a LLM conocimientos actualizados de la empresa para que dejara de hacer esas referencias incorrectas a Dell Boomi. RAG también se puede utilizar para integrar un modelo con datos comerciales privados para proporcionar resultados personalizados o respaldar un caso de uso específico. «Creo que muchas empresas que utilizan RAG simplemente están tratando de gestionar el problema de cómo hacer que un LLM tenga acceso a información en tiempo real o información patentada más allá del período de tiempo o conjunto de datos en el que se capacitó», dijo Pete Pacent, gerente de producto. En Clarifai, por ejemplo, si está creando un copiloto para su equipo de ventas interno, podría utilizar RAG para poder proporcionarles información de ventas actualizada, de modo que cuando un vendedor pregunte «¿cómo estamos?» ¿Este trimestre?» el modelo en realidad puede responder con información actualizada y relevante, dijo Pacent. Los desafíos de RAG Teniendo en cuenta los beneficios de RAG, ¿por qué no ha tenido una mayor adopción hasta ahora? Según Kent de Clarifai, hay un par de factores en el juego Primero, para que RAG funcione, necesitas acceder a múltiples fuentes de datos diferentes, lo cual puede ser bastante difícil, dependiendo del caso de uso, puede ser simple para un caso de uso simple, como buscar documentos de texto de conversaciones, pero mucho más complejo al aplicar ese caso de uso a registros de pacientes o datos financieros. Luego tratará con datos de diferentes fuentes, sensibilidades, clasificaciones y niveles de acceso. Además, no basta con introducir datos de diferentes fuentes; Estos datos también deben indexarse, lo que requiere sistemas y flujos de trabajo integrales, explicó Kent. Finalmente, la escalabilidad puede ser un problema. «Ampliar una solución RAG a un servidor o un sistema de archivos pequeño puede ser sencillo, pero ampliarlo a una organización puede ser complejo y realmente difícil», afirmó Kent. «Piense en los complejos sistemas de intercambio de datos y archivos que ahora se utilizan en casos de uso sin IA, cuánto trabajo se ha invertido en construir esos sistemas y cómo todos están luchando para adaptarlos y modificarlos para que funcionen con soluciones RAG con cargas de trabajo intensivas». RAG vs Tuning Entonces, ¿en qué se diferencia RAG del tuning? Con el ajuste fino, proporciona información adicional para actualizar o perfeccionar un LLM, pero sigue siendo un modo estático. Con RAG, proporcionas información adicional más allá del LLM. «Mejoran los LLM al integrar la recuperación de datos en tiempo real, ofreciendo respuestas más precisas y actuales/relevantes», dijo Kent. Sin embargo, el ajuste puede ser una mejor opción para una empresa que enfrenta los desafíos mencionados anteriormente. Normalmente, ajustar un modelo requiere menos esfuerzo de infraestructura que ejecutar un RAG. «Por lo tanto, el rendimiento versus el costo, la precisión versus la simplicidad pueden ser factores», dijo Kent. “Si las organizaciones necesitan respuestas dinámicas a un panorama de datos en constante cambio, RAG suele ser el enfoque correcto. Si la organización busca velocidad en los dominios del conocimiento, será mejor realizar ajustes. Pero reitero que hay innumerables matices que podrían cambiar estas recomendaciones».

About Francisco

Check Also

Libro electrónico: Una guía práctica para construir una estrategia de datos e IA

Libro electrónico: Una guía práctica para crear una estrategia de datos e inteligencia artificial | …

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *