Data Engineering für Einsteiger: Schulung zu ETL-Pipelines

Einführung in Data Engineering

• Was ist Data Engineering? Daten abholen, aufbereiten, bereitstellen, betreiben
• Der Datenlebenszyklus: Erzeugung, Aufnahme, Speicherung, Transformation, Nutzung
• Data Engineer, Data Scientist, Analytics Engineer: Aufgaben und Übergaben
• Batch und Streaming: wann ein nächtlicher Lauf reicht und wann Ereignisse zählen
• Werkzeuglandschaft: Python, SQL, Spark, Airflow, dbt, Cloud-Warehouses
• Lokale Arbeitsumgebung mit Python, uv, Docker Compose und einem SQL-Client

Datenbanken, Schemas und DataFrames

• Datenbanktypen: relational, Dokument, Key-Value, spaltenorientiert, Graph
• OLTP und OLAP: warum Auswertungen nicht auf dem operativen System laufen sollten
• Datenbankschemas lesen: Tabellen, Schlüssel, Normalisierung, Beziehungen
• Dimensionale Modellierung: Fakten- und Dimensionstabellen im Sternschema
• Schema-on-write und Schema-on-read: Datenbank gegenüber Datei im Data Lake
• Dateiformate: CSV, JSON, Parquet und warum spaltenorientiert schneller auswertet
• DataFrames mit pandas und Polars: Laden, Filtern, Gruppieren, Verknüpfen
• SQL auf Dateien mit DuckDB: Parquet-Abfragen ohne Datenbankserver

Verteiltes Rechnen und Big-Data-Werkzeuge

• Verteiltes Rechnen: Partitionierung, Parallelität, Datenlokalität, Ausfälle
• MapReduce-Prinzip: Map, Shuffle, Reduce am Beispiel einer Wortzählung
• Hadoop mit HDFS und YARN: Aufbau und Rolle in bestehenden Plattformen
• Hive: SQL auf Dateien, Metastore und Partitionen – Bestand und Nachwirkung
• Spark: DataFrames, Lazy Evaluation, Transformationen und Aktionen
• PySpark und Spark SQL: Daten lesen, aggregieren, als Parquet schreiben
• Spark-Jobs verstehen: Stages, Shuffles, Ausführungsplan mit explain()

Data Lake, Warehouse und Lakehouse

• Data Warehouse, Data Lake, Lakehouse: Unterschiede und typische Einsatzfälle
• Objektspeicher als Datenablage: S3, Azure Data Lake Storage, MinIO lokal
• Offene Tabellenformate Apache Iceberg und Delta Lake: Transaktionen, Zeitreisen
• Schichten im Lakehouse: Rohdaten, bereinigte Daten, Auswertungsschicht
• Cloud-Plattformen im Überblick: Snowflake, Databricks, BigQuery, Microsoft Fabric

ETL- und ELT-Pipelines

• ETL und ELT: transformieren vor oder nach dem Laden
• Quellen der Datenextraktion: Datenbanken, Dateien, REST-APIs, Ereignisströme
• Vollabzug, Delta über Zeitstempel und Änderungsdatenerfassung (CDC)
• Datenextraktion aus PostgreSQL mit SQLAlchemy und psycopg
• REST-Schnittstellen abfragen: Paginierung, Wiederholungen, Ratenbegrenzung
• Transformieren: Typen, Dubletten, fehlende Werte, Zeitzonen, Verknüpfungen
• Laden von Daten in eine Datenbank: Massenladen, Upsert, vollständiges Ersetzen
• Idempotente Ladeläufe: dieselbe Lieferung zweimal laden ohne doppelte Zeilen
• SQL-Transformationen mit dbt: Modelle, ref(), Tests – Überblick

Orchestrierung mit Apache Airflow

• Airflow-Grundbegriffe: DAG, Task, Operator, Scheduler, Executor
• DAGs mit der TaskFlow-API und @task in Python schreiben
• Planen der ETL-Pipeline: Zeitpläne, Datenintervalle, Backfill und Catchup
• Verbindungen, Variablen und Geheimnisse außerhalb des DAG-Codes ablegen
• Wiederholungen, Timeouts, Benachrichtigungen bei Fehlern und Verspätung
• Alternativen einordnen: Dagster, Prefect, Cron und Planer der Cloud-Plattformen

Datenqualität und Betrieb

• Prüfregeln: Zeilenzahlen, Pflichtfelder, Wertebereiche, eindeutige Schlüssel
• Datenqualitätsprüfungen mit dbt-Tests oder Great Expectations
• Datenverträge zwischen Quellteam und Datenteam: Schema, Frist, Zuständigkeit
• Aktualität überwachen: Lieferungen, die ausbleiben oder zu spät kommen
• Herkunft nachvollziehen: Lineage, Laufprotokolle, Versionierung im Git
• Personenbezogene Daten in Pipelines: Pseudonymisierung, Löschfristen, Zugriff

Data Engineering mit Coding-Agenten

• Agent erzeugt Airflow-DAG und Tasks; gilt erst, wenn airflow dags test mit Beispieldatei läuft
• Transformationsfunktionen mit pytest-Fällen für Randwerte, bevor der Agent sie umbaut
• Agent schlägt Prüfregeln aus einem Datenprofil vor; Schwellenwerte legt das Team fest
• PySpark-Vorschläge mit explain() auf unnötige Shuffles und Sammeln auf dem Treiber prüfen
• Kein Zugang zum Warehouse: Agent arbeitet mit synthetischen Daten und Schemabeschreibung

Praxisprojekt: nächtliche Pipeline für die Ticketverkäufe eines Museumsverbunds

• Verkäufe aus der Kassendatenbank (PostgreSQL) und Besucherzählung per REST-API abholen
• Bereinigen, je Haus und Tag zusammenführen und als Parquet in der Rohdaten- und Auswertungsschicht ablegen
• Prüfregeln für fehlende Häuser und auffällige Zeilenzahlen, Abbruch mit Benachrichtigung
• Als Airflow-DAG täglich planen, einen Monat per Backfill nachladen und Doppelläufe testen

Lernziele

• Sie beschreiben die Aufgaben im Data Engineering und grenzen sie von Data Science und Analytics Engineering ab
• Sie lesen Datenbankschemas, wählen passende Datei- und Tabellenformate und arbeiten mit DataFrames
• Sie erklären verteiltes Rechnen mit MapReduce, Hadoop und Spark und ordnen Hive als Bestandstechnik ein
• Sie bauen eine ETL/ELT-Pipeline aus Extraktion, Transformation und idempotentem Laden
• Sie planen Pipelines als Airflow-DAG mit Wiederholungen, Backfill und Benachrichtigungen
• Sie sichern Pipelines mit Datenqualitätsprüfungen und überwachen die Aktualität von Lieferungen

Zielgruppe

• Analyst:innen und BI-Entwickler:innen auf dem Weg ins Data Engineering
• Softwareentwickler:innen, die Datenpipelines übernehmen oder neu aufbauen
• Data Scientists, die ihre Datenaufbereitung von Notebooks in geplante Abläufe überführen wollen