Spring GDS 25 Aniversario
Una empresa de logística que envía a 190 países construyó algo para enviarse a sí misma.
Apache Kafka
¿Qué es Apache Kafka?
Apache Kafka es una plataforma distribuida para mover flujos de eventos entre sistemas. Los productores escriben registros en flujos con nombre llamados topics, los consumidores leen de ellos, y Kafka guarda los registros de forma duradera y en orden para que muchos servicios puedan reaccionar al mismo flujo de eventos de forma independiente.
La idea central es el log duradero y de solo añadido. Un registro escrito en un topic se queda ahí durante un periodo de retención fijado, así que un consumidor puede leerlo ahora, reproducirlo más tarde, o incorporarse después y ponerse al día desde el principio. Esto desacopla los sistemas que emiten datos de los que los usan. Una tienda online que publica cada evento de "pedido realizado", con facturación, inventario y analítica consumiendo ese mismo flujo a su propio ritmo, es Kafka haciendo exactamente aquello para lo que se construyó. Escala horizontalmente particionando los topics a lo largo de un clúster, que es como maneja millones de eventos por segundo.
Kafka es la espina dorsal de las arquitecturas basadas en eventos, los pipelines en tiempo real y la clase de integración donde una base de datos o una simple cola de mensajes se doblaría bajo el volumen o el acoplamiento.
Apache Kafka en Dallonses
Recurrimos a Kafka cuando los sistemas necesitan reaccionar a eventos en tiempo real y una API de petición y respuesta los ataría demasiado entre sí. Diseñamos los topics, decidimos cómo se particionan los datos y pensamos a fondo el orden y las garantías de entrega desde el principio, porque esas decisiones son dolorosas de cambiar una vez que los eventos fluyen en producción.
Esto se sitúa entre nuestras plataformas de integración y nuestros data lakes y data warehouses, ya que Kafka a menudo alimenta el mismo flujo tanto en los servicios operativos como en la capa de analítica detrás del análisis y visualización de datos. Construimos los consumidores para manejar reproducciones y fallos con elegancia, de modo que un tropiezo aguas abajo no pierda datos. Las marcas globales nos traen pipelines que no pueden perder el compás, y Kafka es a menudo cómo los mantenemos en movimiento.
¿Tienes sistemas que necesitan reaccionar a los eventos según ocurren? Diseñemos el flujo.
Servicios relacionados
Trabajos relacionados
Vizitio
Convertir una marca en un negocio que funciona.
Access Ticket
Medio millón de personas. Una app. Cero caos.
¿Listo para trabajar juntos?
Reservar una reunión
