Apache Kafka Schulung: Topics, Partitionen, KRaft, Java

Einführung in Kafka

• Erste Schritte mit Apache Kafka: Ereignisse, Protokoll und Abonnenten
• Was ist Kafka? Verteiltes, dauerhaftes Ereignisprotokoll statt flüchtiger Nachricht
• Kafka und klassische Nachrichten-Warteschlangen: Queue, Publish-Subscribe, Wiederlesen
• Vorteile von Kafka: Durchsatz, horizontale Skalierung, Aufbewahrung, Entkopplung
• Anwendungsfälle: Datenpipelines, Ereignisse zwischen Microservices, Log- und Metrikdaten, CDC
• Wann Kafka nicht passt: wenige Nachrichten, Request-Response, Aufgaben mit Einzelbestätigung
• Kafka-Ökosystem im Überblick: Kafka Connect, Kafka Streams, Schema Registry

Installation und Einrichtung

• Installation von Kafka: Binärpaket mit Java-Laufzeit oder offizielles Docker-Image
• Einzelknoten im KRaft-Modus: Cluster-ID erzeugen, Speicher mit kafka-storage.sh formatieren
• Konfiguration von Kafka: server.properties, Rollen broker und controller, Listener
• Mehrknoten-Cluster mit Docker Compose für Ausfall- und Replikationsübungen
• Verwaltete Angebote einordnen: Confluent Cloud, Amazon MSK, Azure Event Hubs mit Kafka-Protokoll

Grundlegende Kafka-Konzepte

• Nachrichten: Schlüssel, Wert, Header, Zeitstempel und Serialisierung
• Topics als benannte Ereignisströme, Namenskonventionen
• Kafka-Broker: Speicherung, Partitionsführer, Replikate und In-Sync-Replicas
• Protokolle in Kafka: Segmente, Offsets, Aufbewahrung nach Zeit und Größe
• Log Compaction: nur den letzten Wert je Schlüssel behalten
• Erzeuger und Verbraucher: Push zum Broker, Pull durch den Consumer
• KRaft: Controller-Quorum verwaltet Metadaten statt ZooKeeper
• Die Rolle von ZooKeeper in älteren Clustern und die Migration nach KRaft

Verwendung der Kafka-Kommandozeile

• Kafka-Client-Skripte im Überblick: kafka-topics, kafka-console-producer, kafka-console-consumer
• Verbindung über --bootstrap-server und Client-Konfiguration per --command-config
• Erstellen eines Topics mit Partitionszahl und Replikationsfaktor
• Erforschen von Topics: --list, --describe, Führer und ISR je Partition
• Veröffentlichen von Nachrichten in Topics über den Konsolen-Producer, auch mit Schlüssel
• Verwenden des Konsolen-Consumers: --from-beginning, Schlüssel und Zeitstempel ausgeben
• Verwaltung von Topics: Konfiguration mit kafka-configs ändern, Partitionen erhöhen, löschen
• Übung: Segmentdateien und Aufbewahrung mit kafka-dump-log nachvollziehen

Kafka-Partitionen und Consumer Groups

• Einführung in Partitionen: Parallelität, Reihenfolge nur innerhalb einer Partition
• Erstellen von Topics mit Partitionen: Partitionszahl wählen, Folgen späterer Erhöhung
• Publizieren mit Schlüsseln: Standard-Partitionierer, heiße Partitionen vermeiden
• Verbraucher-Gruppen: Zuordnung der Partitionen, Rebalancing, mehr Consumer als Partitionen
• Neues Consumer-Group-Protokoll mit serverseitiger Zuordnung
• Verwaltung von Consumer Offsets: __consumer_offsets, Lag mit kafka-consumer-groups anzeigen
• Offsets zurücksetzen: --reset-offsets auf frühesten Stand, Zeitpunkt oder Verschiebung
• Partitionierte Daten konsumieren: mehrere Consumer, eine Gruppe, Verteilung beobachten
• Zustellgarantien: höchstens einmal, mindestens einmal, genau einmal

Kafka-Java-Programmierung

• Kafka-Client-Bibliotheken: offizieller Java-Client, librdkafka-basierte Clients für andere Sprachen
• Projekt mit Maven oder Gradle und der Abhängigkeit kafka-clients anlegen
• Erstellen eines Producers in Java: KafkaProducer, Serializer, bootstrap.servers
• Veröffentlichen von Nachrichten in Java: ProducerRecord, Callback, synchron und asynchron
• Verlässlich senden: acks=all, idempotenter Producer, retries und delivery.timeout.ms
• Durchsatz einstellen: linger.ms, batch.size, Kompression
• Erstellen eines Konsumenten in Java: KafkaConsumer, group.id, Deserializer, subscribe
• Nachrichten in Java konsumieren: Poll-Schleife, commitSync und commitAsync
• Fehlerhafte Nachrichten abfangen: Deserialisierungsfehler, Dead-Letter-Topic
• Einrichten von Topics aus Java mit dem Admin-Client
• Transaktionen im Überblick: transactional.id und isolation.level=read_committed
• Erzeugen und Konsumieren von Daten mit Skripten: Testdaten in Topics schreiben und prüfen
• Erzeugen und Konsumieren von Daten mit Java: Producer und Consumer im Zusammenspiel
• Integrationstests mit Testcontainers gegen einen echten Broker

Betrieb und Sicherheit im Überblick

• Kennzahlen überwachen: Consumer-Lag, unterreplizierte Partitionen, JMX-Metriken
• Verschlüsselung mit TLS, Authentifizierung per SASL, Zugriffsrechte mit ACLs
• Nachrichtenformate mit Avro, Protobuf oder JSON Schema und Schema-Kompatibilität
• Kafka Connect für Datenbanken und Dateien, Kafka Streams für Verarbeitung – Ausblick

Clients für Apache Kafka mit Coding-Agenten entwickeln

• Agent schreibt Kafka-Producer und -Consumer samt Testcontainers-Test, der einen echten Broker startet
• Abnahmetest bricht den Consumer mitten im Batch ab und prüft, dass keine Nachricht verloren geht
• Vom Agenten gesetzte Client-Werte wie acks, enable.auto.commit und Timeouts einzeln begründen lassen
• Schlüsselwahl und Partitionszahl erst als Tabelle mit erwarteter Last je Schlüssel vorschlagen lassen
• Kafka-Topics löschen und --reset-offsets --execute bleiben dem Menschen vorbehalten

Praxisprojekt: Gepäckverfolgung eines Regionalflughafens als Ereignisstrom

• Topics für Scans an Check-in, Sortieranlage und Verladung mit der Gepäckanhänger-Nummer als Schlüssel anlegen
• Java-Producer simuliert die Scanner eines Abflugtags; Konsolen-Consumer zur Kontrolle
• Consumer Group ermittelt je Flug fehlende Gepäckstücke vor dem Abflug, Lag und Rebalancing beobachten
• Unlesbare Scans in ein Dead-Letter-Topic leiten, Offsets nach der Korrektur neu einlesen

Lernziele

• Sie erklären Nachrichten, Topics, Partitionen, Broker, Replikation und den KRaft-Modus
• Sie richten einen Kafka-Cluster im KRaft-Modus lokal ein und konfigurieren Broker und Controller
• Sie legen Topics auf der Kommandozeile an, veröffentlichen und lesen Nachrichten und ändern Konfigurationen
• Sie wählen Nachrichtenschlüssel und Partitionszahl begründet und verwalten Consumer Groups und Offsets
• Sie schreiben Producer und Consumer in Java mit passenden Einstellungen für Zustellgarantien
• Sie testen Kafka-Clients mit Testcontainers gegen einen echten Broker

Zielgruppe

• Java-Entwickler:innen, die Anwendungen über Kafka-Ereignisse verbinden
• Daten- und Plattform-Teams, die Kafka-Cluster aufbauen oder betreuen
• Architekt:innen, die Kafka für Datenpipelines und Microservices bewerten