Spring GDS 25. Jubiläum
Ein Logistikunternehmen, das in 190 Länder versendet, hat etwas gebaut, um an sich selbst zu liefern.
Apache Kafka
Was ist Apache Kafka?
Apache Kafka ist eine verteilte Plattform, um Ströme von Events zwischen Systemen zu bewegen. Producer schreiben Datensätze in benannte Ströme, sogenannte Topics, Consumer lesen aus ihnen, und Kafka bewahrt die Datensätze dauerhaft und in Reihenfolge, sodass viele Services unabhängig auf denselben Eventstrom reagieren können.
Die Kernidee ist das dauerhafte, nur anhängende Log. Ein in ein Topic geschriebener Datensatz bleibt dort für eine festgelegte Aufbewahrungsdauer, sodass ein Consumer ihn jetzt lesen, später erneut abspielen oder sich nachträglich anschließen und von Anfang an aufholen kann. Das entkoppelt die Systeme, die Daten ausgeben, von denen, die sie nutzen. Ein Onlineshop, der jedes "Bestellung aufgegeben"-Event veröffentlicht, während Abrechnung, Lager und Analytik denselben Strom im eigenen Tempo konsumieren, ist Kafka bei genau dem, wofür es gebaut wurde. Es skaliert horizontal, indem es Topics über ein Cluster partitioniert, und so verarbeitet es Millionen Events pro Sekunde.
Kafka ist das Rückgrat für ereignisgesteuerte Architekturen, Echtzeit-Pipelines und die Art von Integration, bei der eine Datenbank oder eine einfache Message Queue unter Volumen oder Kopplung einknicken würde.
Apache Kafka bei Dallonses
Wir greifen zu Kafka, wenn Systeme in Echtzeit auf Events reagieren müssen und eine Anfrage-Antwort-API sie zu eng aneinander binden würde. Wir entwerfen die Topics, entscheiden, wie Daten partitioniert werden, und denken Reihenfolge und Zustellgarantien von Anfang an gründlich durch, denn diese Entscheidungen sind schmerzhaft zu ändern, sobald Events in Produktion fließen.
Das liegt zwischen unseren Integrationsplattformen und unseren Data Lakes und Data Warehouses, da Kafka denselben Strom oft sowohl in operative Services als auch in die Analytikschicht hinter Datenanalyse und Visualisierung speist. Wir bauen die Consumer so, dass sie Replays und Ausfälle elegant verarbeiten, sodass ein Schluckauf weiter unten keine Daten verliert. Globale Marken bringen uns Pipelines, die keinen Takt verlieren dürfen, und Kafka ist häufig der Weg, sie in Bewegung zu halten.
Haben Sie Systeme, die auf Events reagieren müssen, sobald sie passieren? Entwerfen wir den Strom.
Verwandte Dienstleistungen
Verwandte Arbeiten
Vizitio
Eine Marke in ein funktionierendes Geschäft verwandeln.
Access Ticket
Eine halbe Million Menschen. Eine App. Null Chaos.
Bereit zum Zusammenarbeiten?
Termin buchen
