Kong presenta una nueva colección de complementos de IA en Kong Gateway 3.6

Kong presentó recientemente una colección de seis complementos de inteligencia artificial de código abierto para su Kong Gateway 3.6, que ofrecen integración con múltiples LLM y mejoran significativamente la accesibilidad a la tecnología de inteligencia artificial para desarrolladores y equipos de plataforma.

Según Kong, el objetivo de este lanzamiento es mejorar la productividad de los desarrolladores simplificando el proceso de integración de los LLM en varios productos. Garantiza un entorno seguro, compatible y controlable para las solicitudes de IA dentro de las organizaciones.

“Hoy se marca un hito importante en nuestro viaje hacia la democratización de la IA para desarrolladores y empresas de todo el mundo. Al abrir el código abierto de este conjunto de capacidades innovadoras de IA, incluidos los complementos de IA sin código, estamos eliminando las barreras para la adopción de la IA y haciendo posible que los desarrolladores aprovechen múltiples LLM sin esfuerzo y envíen aplicaciones impulsadas por IA más rápido. Al mismo tiempo, brindamos gobernanza y visibilidad a todo el tráfico de IA que genera una organización”, dijo Marco Palladino, CTO y cofundador de Kong Inc.

La introducción de capacidades de inteligencia artificial por parte de Kong en su Kong Gateway a través del complemento «ai-proxy» permite la incorporación de múltiples LLM, como los que ofrecen OpenAI, Azure AI y otros, proporcionando una interfaz unificada que permite a los desarrolladores cambiar entre modelos sin alterar su código de aplicación. También simplifica la gestión de las credenciales de IA al centralizarlas dentro de Kong Gateway. Este enfoque mejora la seguridad al abstraer la gestión de credenciales de las aplicaciones, lo que permite una rotación y actualizaciones de credenciales más sencillas, según Kong.

El complemento «ai-proxy» extiende su funcionalidad al ámbito del análisis al permitir la recopilación de métricas detalladas de IA de Capa 7, que incluyen el seguimiento de los recuentos de tokens de solicitud y respuesta, y datos de uso en diferentes proveedores y modelos de LLM. Con soporte para la integración con plataformas de análisis como Datadog y New Relic, junto con los complementos de registro nativos de Kong Gateway, los desarrolladores obtienen información valiosa sobre los patrones de uso de sus integraciones de IA.

Además, la introducción de complementos de integración de IA sin código, principalmente “ai-request-transformer” y “ai-response-transformer”, permiten a los usuarios inyectar capacidades de IA directamente en las solicitudes y respuestas de API, habilitando funcionalidades como API en tiempo real. traducción de respuestas para esfuerzos de internacionalización más amplios sin necesidad de codificación.

Kong también introdujo complementos que se especializan en la creación, decoración y gestión de indicaciones de IA. El complemento «ai-prompt-template» permite la gestión centralizada de plantillas de avisos, lo que permite actualizaciones rápidas y el cumplimiento de las plantillas aprobadas sin necesidad de modificar el código de la aplicación. Los complementos “ai-prompt-decorator” y “ai-prompt-guard” proporcionan mecanismos para garantizar que las indicaciones de IA sean coherentes con las políticas de la organización y estén protegidas contra contenido confidencial o no autorizado.