Schulung · Workshop · Coaching · Beratung

PostgreSQL ETL und ELT Schulung: Daten laden und umwandeln

PostgreSQL ETL und ELT: Daten laden, umwandeln und inkrementell pflegen

Dauer: ab 1 Tag (8 UE) | Preis: ab 900 EUR (netto) | Live online oder vor Ort | Termin nach Vereinbarung

Sie bauen Datenpipelines mit PostgreSQL: Dateien und Fremdsysteme mit COPY und Foreign Data Wrappers anbinden, in Staging-Schemas bereinigen, mit MERGE und Upserts übernehmen und Ladeläufe wiederholbar und inkrementell gestalten.

Gesamtpreis für bis zu 3 Teilnehmende · Unverbindliche Anfrage · Keine Vorkasse

Daten zuverlässig in PostgreSQL laden – umwandeln vorher oder danach?

PostgreSQL ist für ETL und ELT weit mehr als ein Zielsystem: Mit COPY lädt es Millionen Zeilen in Sekunden, über Foreign Data Wrappers liest es direkt aus anderen Datenbanken und Dateien, und mit MERGE, INSERT … ON CONFLICT und den JSON-Funktionen lassen sich Transformationen vollständig in SQL ausdrücken. Für Data Engineers, BI-Teams und Entwickler:innen heißt das: Viele Pipelines brauchen kein separates Integrationswerkzeug, sondern ein gut geschnittenes Staging-Schema und sauber geschriebene Ladeschritte.

Wir beginnen mit der Frage, wann Daten vor dem Laden umgewandelt werden (ETL) und wann erst in der Datenbank (ELT), und mit einer Schichtenarchitektur aus Staging, Kern und Auswertungsschicht. Dann extrahieren Sie Daten aus CSV- und JSON-Dateien, aus einer zweiten PostgreSQL-Datenbank über postgres_fdw und aus einem MySQL-System, laden sie mit COPY und \copy in Staging-Tabellen, bereinigen Typen und Dubletten und übernehmen sie per MERGE in die Zieltabellen. Ein eigener Block behandelt inkrementelle Ladeläufe mit Wasserstandsmarken, Wiederholbarkeit nach Abbrüchen und ein Protokoll je Lauf. Zum Schluss ordnen wir dbt und Apache Airflow ein: was sie zu reinen SQL-Skripten hinzufügen und ab wann sich der zusätzliche Aufwand lohnt.

Für die Arbeit mit einem Agenten eignet sich ein dbt-Projekt besonders gut, weil Modelle, Tests und Abhängigkeiten als Dateien vorliegen. In VS Code erzeugt GitHub Copilot als Agent neue dbt-Modelle und MERGE-Anweisungen; übernommen wird ein Vorschlag erst, wenn dbt build mit allen Datentests durchläuft. Zugangsdaten zu Fremdsystemen bleiben dabei in Benutzerzuordnungen der Datenbank und gelangen nie in den Kontext des Agenten.

Vorausgesetzt werden sichere SQL-Kenntnisse; analytische Auswertungen mit Fensterfunktionen und Statistik vertieft das Seminar „PostgreSQL PL/pgSQL-Abfragen“. Gern arbeiten wir mit anonymisierten Beispieldateien aus Ihren eigenen Quellsystemen, damit die Ladeschritte zu Ihren tatsächlichen Formaten passen.

Eine Pipeline, die nur funktioniert, wenn sie genau einmal läuft, ist keine Pipeline, sondern ein Risiko. In fast jedem Integrationsprojekt kommt der Tag, an dem ein Lauf abbricht, eine Datei doppelt geliefert wird oder ein Quellsystem nachträglich korrigiert. Ladeschritte in PostgreSQL schreibe ich deshalb von Anfang an so, dass man sie gefahrlos wiederholen kann – Staging-Tabelle leeren, laden, mit MERGE übernehmen, Wasserstand erst am Ende fortschreiben. Das ist unspektakulär und erspart die meisten nächtlichen Anrufe.

Was Sie danach können

  • Sie entscheiden begründet zwischen ETL und ELT und gliedern eine Datenbank in Staging-, Kern- und Auswertungsschicht
  • Sie laden Dateien mit COPY und \copy und binden Fremdsysteme über Foreign Data Wrappers an
  • Sie übernehmen bereinigte Daten mit MERGE und Upserts in Zieltabellen
  • Sie gestalten inkrementelle Ladeläufe, die sich nach einem Abbruch gefahrlos wiederholen lassen
  • Sie schätzen ein, wann dbt oder Airflow eine SQL-Pipeline sinnvoll ergänzen

Zielgruppe und Voraussetzungen

  • Data Engineers, die Pipelines mit PostgreSQL als Ziel- oder Zwischensystem bauen
  • BI-Teams, die Daten aus mehreren Quellen zusammenführen
  • Entwickler:innen, die Daten aus Dateien und Fremdsystemen in PostgreSQL integrieren
Themen und Inhalte für Ihre Beratung, Coaching, Workshop, Training, Schulung und Weiterbildung:

PostgreSQL ETL und ELT: Daten laden, umwandeln und inkrementell pflegen

Datenpipelines mit PostgreSQL
  • Einführung: Datenintegration mit PostgreSQL als Quelle, Zwischenspeicher und Ziel
  • ETL: Transformation vor dem Laden – Einsatzfälle, Vor- und Nachteile
  • ELT: zuerst laden, dann in SQL umwandeln – warum PostgreSQL dafür gut geeignet ist
  • Schichtenarchitektur: Staging-, Kern- und Auswertungsschema
  • Grundregeln: idempotente Ladeschritte, Transaktionsgrenzen, nachvollziehbare Herkunft
Extraktionsmethoden und Werkzeuge
  • Extraktionsmethoden: Vollabzug, Delta über Zeitstempel, Änderungsdatenerfassung
  • Daten aus PostgreSQL abziehen mit COPY … TO und \copy als CSV
  • Fremde PostgreSQL-Datenbanken mit postgres_fdw und IMPORT FOREIGN SCHEMA anbinden
  • Dateien als Tabellen lesen mit file_fdw, weitere Wrapper wie mysql_fdw und oracle_fdw
  • Zugangsdaten sicher ablegen: CREATE SERVER und USER MAPPING
  • Änderungen per logischer Replikation oder Debezium erfassen – Überblick
Lademethoden und Werkzeuge
  • Massenladen mit COPY … FROM: FORMAT csv, HEADER, NULL, ENCODING
  • Serverseitiges COPY und clientseitiges \copy: Rechte und Dateipfade
  • Fehlerhafte Zeilen überspringen mit ON_ERROR ignore und Grenzwert REJECT_LIMIT
  • Staging-Tabellen als UNLOGGED, Indizes erst nach dem Laden anlegen
  • Laden aus Python mit der COPY-Unterstützung von psycopg 3
  • Migrationen aus MySQL oder CSV mit pgloader
  • Klassische Integrationswerkzeuge wie Apache NiFi und Apache Hop einordnen
Transformationen in SQL
  • Datenumwandlungen im Staging: Typprüfung, Trimmen, Datumsformate, Kodierung
  • Dubletten entfernen mit DISTINCT ON und row_number()
  • JSON-Lieferungen zerlegen mit jsonb_to_recordset und JSON_TABLE
  • Zieltabellen abgleichen mit MERGE: einfügen, ändern, löschen in einem Schritt
  • Upserts mit INSERT … ON CONFLICT DO UPDATE und der Pseudotabelle EXCLUDED
  • Historisierung von Stammdaten: Gültigkeitszeiträume nach Slowly Changing Dimension Typ 2
  • Aggregierte Auswertungsschicht mit Materialized Views und REFRESH … CONCURRENTLY
Inkrementelle und wiederholbare Ladeläufe
  • Wasserstandsmarken: zuletzt geladenen Zeitstempel oder Schlüssel speichern
  • Wiederholbarkeit nach Abbruch: Staging leeren, laden, übernehmen in einer Transaktion
  • Laufprotokoll mit Zeilenzahlen, Dauer und Fehlern als eigene Tabelle
  • Datenqualität prüfen: Constraints, Prüfabfragen, Abweichungen zur Quelle
  • Große Faktentabellen partitionieren, Partitionen anhängen und abhängen
  • Ladejobs zeitgesteuert in der Datenbank mit der Erweiterung pg_cron
dbt und Airflow im Überblick
  • dbt mit PostgreSQL: Modelle, ref(), Quellen und Materialisierungen
  • Inkrementelle Modelle und Datentests in dbt
  • Apache Airflow: DAGs, Verbindungen und SQL-Aufgaben gegen PostgreSQL
  • Entscheidungshilfe: reine SQL-Skripte, dbt oder Orchestrierung mit Airflow
PostgreSQL-Pipelines mit Coding-Agenten
  • Agent erzeugt dbt-Modelle, Abnahme erst nach dbt build mit grünen Datentests
  • Generierte MERGE-Anweisung gegen Staging-Snapshot mit erwarteten Zeilenzahlen prüfen
  • Agent wertet abgewiesene COPY-Zeilen aus und schlägt Bereinigungsregeln vor
  • FDW-Zugangsdaten bleiben in USER MAPPING, Agent arbeitet nur mit Staging-Rolle
Praxisprojekt: tägliche Ladestrecke für Bestell- und Kundendaten
  • CSV-Bestellungen per \copy und Kundendaten per postgres_fdw ins Staging laden
  • Kundendimension mit Historie per MERGE, Bestellungen per Upsert übernehmen
  • Inkrementeller Lauf mit Wasserstand und Laufprotokoll, Wiederholung nach simuliertem Abbruch

*) Die Inhalte werden individuell abgestimmt und mit Praxisbeispielen abgerundet.

Ein Symbol für einen Kalender.

Offene Termine

Kostenlose Reservierung
Ein Symbol für Angebot erhalten.

Unser Angebot

Individuelle Schulung für Einzelpersonen und Teams – live online oder vor Ort.

Dauer

Ein Symbol für Dauer.
ab 1 Tag (8 UE)

Die Dauer richtet sich nach Ihren Inhalten.

Preis

Ein Symbol für Preis.
ab 900 EUR (Nettopreis)
ab 1.071 EUR (Bruttopreis)

Die Preise verstehen sich bei Unternehmern gemäß § 14 BGB zzgl. MwSt. Der dargestellte Ab-Preis gilt für firmeninterne Veranstaltungen und entspricht dem niedrigsten Gesamtpreis für Veranstaltungen mit bis zu drei (3) Teilnehmenden.

Termin

Ein Symbol für einen Kalender.
Ganztägig + halbtägig
nach Vereinbarung

Ganztägig oder halbtägig nach Vereinbarung, live online oder vor Ort.

Ihre Vorteile

Ein Symbol für ein Vorgespräch durchführen.
Persönliches Vorgespräch
Ein Symbol für die individuelle Vorbereitung.
Individuelle Vorbereitung
Ein Symbol für Experten aus der Praxis.
Experten aus der Praxis
Ein Symbol für ein Zertifikat.
Inklusive Zertifikat

Unsere Garantien

1. Relevanz-Garantie

Wir passen den Inhalt spezifisch an die Bedürfnisse jedes Teilnehmers an. Irrelevante Themen werden ausgespart, um den größtmöglichen Nutzen zu garantieren.

2. Qualitäts-Garantie

Durch regelmäßiges Feedback optimieren wir unsere Schulungen kontinuierlich und garantieren Ihnen ein Lernerlebnis der Extraklasse.

3. Zufriedenheits-Garantie

Unsere Zufriedenheitsgarantie spricht für sich – bei Unzufriedenheit entstehen Ihnen keine Kosten.

Wir helfen gerne weiter!

Rufen Sie uns an, schreiben eine E-Mail oder nutzen das Kontaktformular.

Schulung anfragen

Unverbindlich · Keine Vorkasse

Einige Unternehmen, für die wir tätig waren

Insta GmbH

addmore GmbH

TechnoCargo Logistik GmbH u. Co. KG

Teilnehmer

Feedback

Herr Hecker ist sehr gut auf individuelle Wünsche, Fragen und Anregungen eingegangen. Eine sehr informative, interessante und gelungene Veranstaltung.
Teilnehmer

Feedback

Herr Hecker hat das Thema sehr anschaulich dargestellt und ist auf alle Fragen eingegangen. Ich fühle mich jetzt gut vorbereitet, um durchzustarten.
Teilnehmer

Feedback

Die gelassene, professionelle Art hat mir gut gefallen. Kompetent, engagiert, professionell. Gute Beispiele, sympathisches Auftreten. Eigene Themenideen wurden aufgegriffen.
Unser Angebot für Ihre firmeninterne Beratung, Coaching, Workshop, Training und Weiterbildung

Lösungen für Ihren Bedarf an Coaching, Workshop, Training, Schulung und Weiterbildung

Profitieren Sie von unserer langjährigen Expertise in der beruflichen Weiterbildung, modernen Lernmethoden und einem Portfolio von über 600 IT-, Online- und Digital-Beratungsleistungen.
Selbstverständlich lassen sich die einzelnen Themen kombinieren. So erhalten Sie genau die Weiterbildung, die Sie wünschen und brauchen - als Coaching, Workshop, Training, Schulung und Weiterbildung!

✓
Ein Symbol für eine einzelne Person.

Für eine Person

Training & Coaching für Einzelpersonen

  • Passgenaue Inhalte auf den einzelnen Teilnehmer zugeschnitten
  • Ein sehr effektives Format, das schnell Ergebnisse bringt
  • Individuelles Training und Coaching motivieren und wirken
Jetzt anfragen
✓
Ein Symbol für eine Gruppe von Personen.

Für eine Gruppe

Training & Workshops für Teams und Abteilungen

  • Bedarfsgerechte Inhalte auf die Herausforderung der Praxis zugeschnitten
  • Konsequente Praxisorientierung, modernste Techniken und Tools
  • Neue Fähigkeiten und Kenntnisse nachhaltig in den Arbeitsalltag integrieren
Jetzt anfragen
✓
Ein Symbol für ein Unternehmen.

Für eine Firma

Training-Komplett-Lösungen für Ihr Unternehmen‍

  • Ganzheitliche Konzepte für Ihre Mitarbeiterentwicklung
  • Individueller Skill-Katalog zur Erweiterung Ihres internen Weiterbildungsangebots
  • Nachhaltige Personalentwicklung realisieren
Jetzt anfragen

Intern vorschlagen

Sie entscheiden nicht allein über die Schulung? Hier finden Sie die Agenda zum Weiterleiten und einen fertigen Vorschlag für die Person, die entscheidet.

Ohne Formular und ohne Anmeldung – Sie schicken den Vorschlag selbst.

So wird daraus Ihre Firmenschulung

1. Bedarf klären: Im kostenlosen Vorgespräch besprechen wir Ziele, Vorkenntnisse und Praxisaufgaben.

2. Angebot abstimmen: Inhalte, Format (live online oder vor Ort), Dauer und Preis legen wir gemeinsam fest.

3. Schulung durchführen: Sie arbeiten an Übungen aus Ihrem Alltag oder an einem neutralen Beispiel und nehmen konkrete nächste Schritte mit.

Häufige Fragen zur Schulung

Gilt der Ab-Preis pro Person oder für die Veranstaltung?

Die 900 EUR netto sind der niedrigste Gesamtpreis für eine firmeninterne Veranstaltung mit bis zu drei Teilnehmenden. Größere Gruppen und einen anderen Umfang bieten wir individuell an. Der verbindliche Preis steht in Ihrem Angebot.

Können wir eigene Aufgaben einbringen?

Ja. Welche Aufgaben sich eignen, welche Zugänge nötig sind und wie wir die Vertraulichkeit sichern, klären wir im Vorgespräch. Alternativ arbeiten wir an einem neutralen Beispiel.

Ist die Anfrage schon eine Buchung?

Nein. Sie erhalten zuerst ein abgestimmtes Angebot und entscheiden dann über die Beauftragung. Eine Vorkasse gibt es nicht.

Ihre unverbindliche und kostenlose Schulungsanfrage zum Thema

PostgreSQL ETL und ELT - Beratung, Coaching, Workshop, Training, Schulung und Weiterbildung

Schildern Sie uns kurz Ihren Bedarf. Ziele, Inhalte und Termin stimmen wir persönlich mit Ihnen ab.

*) Die Angabe erfolgt freiwillig. Wir nutzen Ihre Telefonnummer ausschließlich, um Ihre Anfrage effizienter zu bearbeiten oder Rückfragen zu klären.

Ich interessiere mich für den Termin:

Termin anfragen

Das Angebot von "HECKER CONSULTING" richtet sich ausschließlich an Unternehmen und Behörden (iSv § 14 BGB). Verbraucher (§ 13 BGB) sind vom Vertragsschluss ausgeschlossen. Mit Absendung der Anfrage bestätigt der Anfragende, dass er nicht als Verbraucher, sondern in gewerblicher Tätigkeit handelt. § 312i Abs. 1 S. 1 Nr. 1-3 und S. 2 BGB (Pflichten im elektronischen Geschäftsverkehr) finden keine Anwendung.

Vielen Dank, Ihre Nachricht wurde empfangen!
Beim Absenden des Formulars ist etwas schiefgelaufen.
Beratung, Coaching, Workshop, Training, Schulung

Ähnliche Leistungen, die Sie interessieren könnten.

Wir erweitern ständig unser Beratungsportfolio. Über 600 IT-, Online-, Digital-Beratungsleistungen haben wir für Sie im Programm. Selbstverständlich lassen sich die einzelnen Themen kombinieren. So erhalten Sie genau die Beratung, die Sie wünschen und brauchen - als Coaching, Workshop, Training, Schulung und Weiterbildung!

Mehr IT-, Online-, Digital-Beratungsleistungen anzeigen >>
Nach oben