Maschinelles Lernen mit Python: Kurs mit pandas, scikit-learn

Grundbegriffe des maschinellen Lernens

• Maschinelles Lernen im Alltag: Empfehlungen, Spamfilter, Prognosen, Betrugserkennung
• Was ist maschinelles Lernen? Aus Beispieldaten eine Funktion lernen statt Regeln schreiben
• Was nicht maschinelles Lernen ist: feste Regeln, reine Statistikberichte, Datenbankabfragen
• Einordnung: Statistik, ML, Deep Learning und große Sprachmodelle
• Überwachtes Lernen: Merkmale, Zielvariable und gelabelte Trainingsdaten
• Unüberwachtes Lernen: Clustering mit k-Means und Anomalien finden
• Verstärkendes Lernen: Agent, Umgebung und Belohnung als Konzept
• Die Schritte eines ML-Projekts: Frage, Daten, Aufbereitung, Modell, Bewertung, Einsatz

Werkzeuge und Daten beschaffen

• Werkzeuge: Python 3, JupyterLab, pandas, scikit-learn, Matplotlib, seaborn
• Projektumgebung mit uv oder venv anlegen und Paketversionen festhalten
• Was beim Sammeln von Daten zählt: Repräsentativität, Zeitraum, Rechte und Datenschutz
• Zielvariable sauber definieren und Merkmale ausschließen, die erst später bekannt sind
• Daten in Python importieren: read_csv, read_excel, read_parquet, read_sql

Daten verstehen

• Daten beschreiben: Skalenniveaus, Verteilungen, Lage- und Streuungsmaße
• Daten in Python zusammenfassen: info, describe, value_counts, groupby
• Zusammenhänge prüfen: Korrelationsmatrix und Kreuztabellen
• Welche Grafik für welche Frage: Histogramm, Boxplot, Streudiagramm, Zeitreihe
• Daten in Python visualisieren mit Matplotlib und seaborn, Diagramme beschriften

Daten für das Modell vorbereiten

• Häufige Probleme der Datenqualität: Lücken, Dubletten, Ausreißer, falsche Typen
• Fehlende Werte in Python behandeln: entfernen oder mit SimpleImputer ersetzen
• Normalisieren und Standardisieren: wann Skalierung nötig ist und wann nicht
• Daten in Python skalieren mit StandardScaler und MinMaxScaler
• Kategorische Merkmale kodieren mit OneHotEncoder im ColumnTransformer
• Stichproben ziehen: Zufallsstichprobe, Schichtung, Umgang mit unausgewogenen Klassen
• In Python aufteilen mit train_test_split und stratify, Stichproben mit sample
• Dimensionalität reduzieren: Merkmalsauswahl und Hauptkomponentenanalyse mit PCA
• Datenleck vermeiden: Aufbereitung als Pipeline, nur auf Trainingsdaten angepasst

Modelle erstellen und bewerten

• Klassifikation oder Regression? Die Fragestellung an der Zielvariable erkennen
• Ein ML-Modell in Python erstellen: fit, predict und die scikit-learn-API
• Einfache Baseline zuerst: DummyRegressor, lineare und logistische Regression
• Entscheidungsbäume, Random Forest und HistGradientBoosting im Vergleich
• Metriken für Regression: MAE, RMSE und R²; für Klassifikation: Precision, Recall, F1
• Kreuzvalidierung mit cross_validate und Hyperparameter mit GridSearchCV
• Ergebnisse interpretieren: Koeffizienten, Permutation Importance, Residuenplots
• Modell mit joblib speichern und mit fester Paketversion wieder laden

Maschinelles Lernen im Notebook mit KI-Assistenz

• Assistent arbeitet nur innerhalb einer vorgegebenen Pipeline – keine Aufbereitung vor dem Split
• Testmenge liegt in eigener Datei, die der Assistent bis zur Schlussbewertung nicht öffnet
• Vorgeschlagene Merkmale auf Zukunftswissen prüfen: Entsteht der Wert vor der Vorhersage?
• Jede Modellidee gegen die Baseline per Kreuzvalidierung, random_state fest gesetzt
• Notebook am Ende in ein reproduzierbares Trainingsskript überführen lassen

Praxisprojekt: Energieverbrauch von Bürogebäuden schätzen

• Gebäude- und Wetterdaten zusammenführen, fehlende Zählerstände und Ausreißer bereinigen
• Regressionsmodelle gegen eine Baseline vergleichen, Fehler je Gebäudetyp auswerten
• Einflussgrößen erklären und eine Monatsprognose als Tabelle und Diagramm ausgeben