pandas Schulung: Datenanalyse mit DataFrames in Python

pandas – Einführung

• Willkommen bei pandas: Einsatzfelder von der Ad-hoc-Analyse bis zur Datenpipeline
• Google Colab oder JupyterLab: Notebook anlegen, Dateien hochladen, pandas-Version prüfen
• Was ist pandas? Series, DataFrame, Index und das Verhältnis zu NumPy und Arrow
• pandas verwenden: Import-Konvention, Methodenaufrufe, Hilfe im Notebook und Dokumentation
• Tabellarische Daten einlesen mit read_csv, read_excel und read_parquet
• Lokale Projektumgebung mit uv, feste Versionen von pandas und PyArrow

Grundlagen der Arbeit mit pandas

• Überblick über die Daten: head, info, describe, shape und Anzeigeoptionen
• Eine Series (Spalte) auswählen: Klammer- und Punktschreibweise, loc und iloc
• Python-Listen und -Dictionaries als Bausteine für Spaltenauswahl und Umbenennung
• Series (oder Spalte) umbenennen mit rename, Spaltennamen einheitlich bereinigen
• Spalten oder Zeilen entfernen mit drop – und wann Auswählen die bessere Wahl ist
• Zeilen nach einer einzelnen Bedingung filtern: boolesche Masken
• Mehrere Bedingungen mit &, |, ~, isin, between und query
• String-Methoden über .str: contains, replace, split und reguläre Ausdrücke
• DataFrame oder Series sortieren: sort_values, mehrere Schlüssel, nlargest

Datentypen und Speicherverbrauch

• Arbeiten mit dtypes: numerisch, category, bool, Datum und nullable Typen wie Int64
• Speicherverbrauch messen mit memory_usage(deep=True) und mit category senken
• dtypes beim Einlesen festlegen: dtype, parse_dates, usecols, dtype_backend
• dtypes nachträglich aktualisieren mit astype, to_numeric und to_datetime
• pandas 3: Text als String-Datentyp str statt object – Folgen für Vergleiche und Bestandscode
• PyArrow-gestützte Datentypen und Parquet für schnelle, typtreue Ablage

Indizes, Funktionen und Best Practices

• Python-Funktionen auf Spalten anwenden: vektorisiert, map oder apply und ihre Kosten
• Arbeiten mit Indizes: set_index, reset_index und automatische Ausrichtung beim Rechnen
• Produktivität in pandas: Methodenketten mit assign und pipe, lesbare Zwischenschritte
• Series und DataFrames erstellen aus Listen, Dictionaries und NumPy-Arrays
• Copy-on-Write in pandas 3: Ansichten, Kopien und das Ende von SettingWithCopyWarning
• Verkettete Zuweisungen wie df["a"][maske] = wert durch df.loc[maske, "a"] ersetzen

Datumsangaben und Zeitreihen

• Arbeiten mit Datumsangaben: to_datetime, Formatangaben und der .dt-Accessor
• Zeitzonen mit tz_localize und tz_convert, Fallstricke beim Sommerzeitwechsel
• Zeitreihen verdichten mit resample, gleitende Fenster mit rolling
• Verschiebungen und Veränderungsraten mit shift, diff und pct_change

Kombinieren, Zusammenführen und Datenqualität

• DataFrames kombinieren mit concat: untereinander und nebeneinander
• Datensätze zusammenführen mit merge: Join-Arten, Schlüssel, validate und indicator
• Umgang mit fehlenden Daten: isna, fillna, interpolate und der Wert pd.NA
• Fehlende Daten entfernen mit dropna: Schwellenwerte und Teilmengen von Spalten
• Umgang mit Duplikaten: duplicated und drop_duplicates mit subset und keep
• Daten validieren: Wertebereiche, eindeutige Schlüssel und Prüfungen mit assert
• Die bereinigten Datensätze kombinieren und das Ergebnis gegen Zeilenzahlen abgleichen

Gruppieren, Aggregieren und Umformen

• Arbeiten mit groupby: agg, benannte Aggregation, transform und filter
• Umstrukturierung von Daten: Stapeln und Entstapeln mit stack/unstack, MultiIndex
• Pivot-Tabellen mit pivot_table und Kreuztabellen mit crosstab
• Breit zu lang mit melt, lang zu breit mit pivot

Visualisierungen in pandas

• Daten visualisieren mit DataFrame.plot: Linie, Balken, Histogramm, Streudiagramm
• Farbpaletten und seaborn: histplot, boxplot und relplot direkt aus DataFrames
• Eigene Farbpaletten erstellen, die auch bei Farbsehschwäche lesbar bleiben
• Ergebnistabellen für Berichte formatieren mit Styler

Ausblick: Polars und DuckDB

• Polars als Alternative: Ausdrücke, Lazy API und wann sich ein Umstieg lohnt
• DuckDB: SQL direkt auf DataFrames und Parquet-Dateien
• Zwischen pandas, Polars und Arrow wechseln, ohne Datentypen zu verlieren

pandas-Code mit GitHub Copilot in VS Code

• Copilot schreibt Methodenketten – nach jedem Schritt shape und eine Stichprobe von Zeilen ansehen
• Umstieg auf pandas 3: Agent sucht verkettete Zuweisungen und object-Vergleiche im Bestandscode
• Bei jedem vorgeschlagenen merge verlangt der Review validate und eine Zeilenbilanz
• apply-Aufrufe vektorisieren lassen und Gleichheit mit pd.testing.assert_series_equal belegen
• Dem Agenten Schema statt Daten geben: df.dtypes und synthetische Beispielzeilen

Praxisprojekt: Fahrgastzahlen im Nahverkehr auswerten

• Öffentlichen Datensatz mit Millionen Zeilen typgerecht einlesen und den Speicherbedarf deutlich senken
• Haltestellen- und Linienstammdaten zusammenführen, Lücken und Dubletten bereinigen
• Auslastung je Linie und Stunde gruppieren, als Pivot-Tabelle und seaborn-Heatmap darstellen