PyTorch Schulung: Deep Learning von Tensoren bis Trainings-Loop

Einstieg: Deep Learning und die Arbeitsumgebung

• Was Deep Learning von klassischem maschinellem Lernen unterscheidet
• Neuronale Netze als Funktionen mit lernbaren Parametern verstehen
• Warum PyTorch: Eager Execution, Python-nahe API, Ökosystem um torchvision und Hugging Face
• Google Colab: Notebooks, GPU-Laufzeit wählen, Dateien und Google Drive einbinden
• Lokale Umgebung mit uv: PyTorch-Build für CUDA, Apple MPS oder reine CPU installieren

Tensoren und Rechengeräte

• Tensoren als n-dimensionale Arrays: Skalar, Vektor, Matrix, Bildstapel
• Tensor auf der CPU anlegen und mit NumPy-Arrays austauschen
• Tensor direkt auf der GPU anlegen mit device="cuda" bzw. "mps"
• Tensoren mit .to(device) verschieben, geräteunabhängigen Code schreiben
• Typische Fehlermeldung: Tensoren auf verschiedenen Geräten in einer Operation

Tensoren erzeugen und beschreiben

• Erzeugungsfunktionen: tensor, zeros, ones, arange, linspace, full
• Attribute auslesen: shape, dtype, device, requires_grad
• Datentypen float32, float16, bfloat16, int64, bool und Typumwandlung
• Zufallstensoren mit rand, randn, randint und reproduzierbar per manual_seed
• Tensoren aus anderen ableiten: zeros_like, clone, detach und geteilter Speicher

Mit Tensoren rechnen und Gradienten bilden

• Indizieren, Slicing, view und reshape, cat und stack
• Broadcasting-Regeln und elementweise Operationen ohne Schleifen
• Mathematische Funktionen und Reduktionen: sum, mean, max, softmax entlang dim
• Lineare Algebra: Matrixprodukt mit @, torch.linalg, Batch-Matrixmultiplikation
• Autograd: Rechengraph, backward(), .grad und torch.no_grad()
• Gradientenabstieg von Hand an einer linearen Regression nachvollziehen

Daten laden und aufbereiten

• Ablauf eines Trainings: Daten, Modell, Verlustfunktion, Optimierer, Epochen
• Daten vorbereiten: Trainings-, Validierungs- und Testmenge sauber trennen
• Eigenes Dataset mit __len__ und __getitem__ für Bilder aus Ordnern
• Fertige Datensätze aus torchvision und ImageFolder nutzen
• Transformationen mit torchvision.transforms.v2: Größe, Normalisierung, Augmentierung
• DataLoader: Batchgröße, shuffle, num_workers und collate_fn

Modelle entwickeln, trainieren und bewerten

• Modell als nn.Module: Schichten in __init__, Datenfluss in forward
• Lineare Schichten, Aktivierungen und Faltungsschichten für Bilder
• Verlustfunktionen CrossEntropyLoss und MSELoss, Optimierer SGD und AdamW
• Trainings-Loop schreiben: zero_grad, Vorwärtslauf, backward, step
• Validierung mit model.eval() und torch.inference_mode(), Metriken je Epoche
• Überanpassung erkennen: Lernkurven, Early Stopping, Dropout, Weight Decay
• Abschlussbewertung auf der Testmenge und Konfusionsmatrix

Training beschleunigen, speichern und weitergeben

• Transfer Learning mit vortrainierten Netzen aus torchvision, Schichten einfrieren
• Mixed Precision mit torch.autocast auf GPU und Apple Silicon
• Modelle mit torch.compile beschleunigen und Grenzen der Kompilierung
• Checkpoints mit state_dict speichern, sicher laden mit weights_only=True
• Trainingsläufe mit TensorBoard protokollieren und vergleichen
• Export für die Inferenz mit torch.export und ONNX

PyTorch-Projekte mit Coding-Agenten

• Agent baut Formprüfungen in forward ein, bevor er Schichten ändert oder Dimensionen umbaut
• Overfit-Test auf einer Batch als Pflichtprüfung nach jeder Änderung am Modell oder Loop
• Feste Seeds und Konfigurationsdatei, damit Agent und Mensch Läufe vergleichen können
• Agent testet auf CPU mit kleiner Teilmenge; GPU-Läufe über Stunden startet der Mensch
• Fremde Checkpoints und Pickle-Dateien lädt der Agent nicht ungeprüft

Praxisprojekt: Bildklassifikator für fehlerhafte Bauteile

• Prüfbilder in Klassen sortieren, ImageFolder und Augmentierung für seltene Fehlerbilder
• Vortrainiertes ResNet anpassen, gegen ein kleines eigenes CNN als Baseline vergleichen
• Fehlklassifikationen ansehen, Schwellwert für „Ausschuss“ festlegen, Modell exportieren