Apache Pinot – Proyecto de código abierto de la semana de SD Times

Apache Pinot es una plataforma de análisis de código abierto que utiliza una base de datos OLAP para proporcionar información de baja latencia sobre grandes cantidades de datos. OLAP significa procesamiento analítico en línea y es un método en el que se pueden usar datos de múltiples fuentes juntos, lo que permite a las empresas agrupar datos de sitios web, aplicaciones, sistemas internos y más para su análisis. «Por ejemplo, un minorista almacena datos sobre todos los productos que vende, como el color, el tamaño, el costo y la ubicación. El minorista también recopila datos de compra de los clientes, como el nombre de los artículos pedidos y el valor total de las ventas, en un «OLAP combina conjuntos de datos para responder preguntas como qué productos de colores son más populares o cómo la colocación de productos afecta las ventas», escribió AWS en una publicación explicando OLAP. Las características clave de Apache Pinot incluyen consultas de baja latencia, la capacidad de manejar cientos de miles de consultas simultáneas por segundo, ingesta por lotes y streaming, uniones versátiles, opciones de indexación avanzadas y más. LinkedIn lo creó por primera vez en 2013 porque la compañía quería brindar a sus usuarios análisis interactivos, pero con la cantidad de datos que LinkedIn ya había acumulado en ese momento, estaba luchando por encontrar algo que pudiera escalar al nivel que necesitaba. “Pinot nació como una respuesta a nuestros problemas, un motor de análisis en tiempo real a escala web diseñado y construido en LinkedIn. Pinot nos permite dividir, dividir y escanear cantidades masivas de datos en tiempo real en una amplia variedad de productos”, dijo Praveen Neppalli Naga, director de tecnología de LinkedIn en ese momento, en una publicación de blog cuando se lanzó el proyecto anunciado por primera vez. tiempo impulsa 25 funciones orientadas al usuario de LinkedIn como Quién vio mi perfil, Información de seguidores de la empresa, Análisis de empleo y más, así como más de 30 herramientas internas de la empresa, como la plataforma de pruebas A/B. En 2018, Apache Pinot se unió a Apache. Software Foundation como proyecto de incubadora y se convirtió en un proyecto de primer nivel en 2021. Desde su creación, ha sido adoptado por numerosas empresas importantes, incluidas Robinhood, Slack, Stripe, Target, Uber y Walmart. La versión más reciente es la 1.1, lanzada en. March, que agrega características como soporte de índice vectorial y mejoras al motor de consultas de varios pasos. De cara al futuro, algunas de las cosas en las que los mantenedores del proyecto están trabajando en 2024 incluyen habilitar V2 de forma predeterminada, habilitar el almacenamiento de columnas nulas de forma predeterminada, cumplimiento total de PostgreSQL, paginación y actualizaciones continuas, características fáciles de usar como documentación mejorada, mensajes de error más intuitivos, y más.

About Francisco

Check Also

Libro electrónico: Una guía práctica para construir una estrategia de datos e IA

Libro electrónico: Una guía práctica para crear una estrategia de datos e inteligencia artificial | …

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *