Ibis 8.0 permite a los equipos de datos escribir código una vez en diferentes motores

Voltron Data ha anunciado el lanzamiento de Ibis 8.0, una actualización de su popular API de marco de datos Python, que se ha descargado más de 10 millones de veces. Ibis permite a los desarrolladores ejecutar código en varias plataformas de datos eligiendo el motor de consulta más adecuado para tareas específicas.

La última versión presenta los primeros backends de transmisión dedicados para Apache Flink y RisingWave, junto con su variedad existente de motores de ejecución por lotes. Esta expansión permite una experiencia unificada en el procesamiento de datos por lotes y en streaming dentro de una única API de marco de datos de Python, lo que mejora la flexibilidad y la capacidad de las tareas de análisis de datos.

“Finalmente los desarrolladores pueden escribir código una vez y usarlo en motores de consulta locales, por lotes, CPU, GPU y ahora en tiempo real. Ibis lidera la tarea de derribar las barreras entre los motores de ejecución de procesamiento por lotes y flujos. Este es un gran paso hacia un ecosistema de datos modular y componible en todos los paradigmas”, dijo Josh Patterson, cofundador y director ejecutivo de Voltron Data.

Ibis es un proyecto de código abierto gobernado de forma independiente, que cuenta con el apoyo de Voltron Data y contribuciones de una variedad de entidades en todo el espectro de plataformas de datos, como Google, Starburst Data y RisingWave.

Con el lanzamiento de la versión 8.0, Ibis ahora admite 20 motores de consulta diferentes, lo que se adapta a una amplia gama de necesidades de procesamiento de datos, desde consultas a pequeña escala con DuckDB hasta trabajos de preprocesamiento/ETL distribuidos de gran tamaño con motores como BigQuery, Spark, Theseus y más. Además, se integra perfectamente con dos motores de transmisión, Apache Flink y RisingWave, sin necesidad de modificar el código por parte de los usuarios.

El desarrollo de Ibis está especialmente centrado en mejorar la experiencia y la funcionalidad del usuario, tal y como explica Zhenzhong “Z” Xu, vicepresidente de ingeniería de Voltron Data. Las mejoras en la API de Ibis, incluidas nuevas características como el preprocesamiento de ML, benefician a todos los backends compatibles, permitiendo a los usuarios trabajar con una API de marco de datos única y familiar sin estar restringidos a ningún backend específico.

Este enfoque permite un entorno de procesamiento de datos más versátil y eficiente, pero también alienta a la comunidad de código abierto a contribuir al ecosistema Ibis, ampliando el alcance y la utilidad del análisis de datos basado en Python en varias plataformas de datos.

“A medida que la API de Ibis mejora y agrega nuevas funciones como el preprocesamiento de ML, cada backend que admite mejora con ella. Los usuarios pueden aprender una única API de marco de datos familiar sin estar bloqueados en ningún backend. La comunidad de código abierto puede agregar integraciones del ecosistema Ibis para mejorar el trabajo con datos en Python en cualquier plataforma de datos que admita Ibis”, dijo Xu.