Data Science für Java-Entwickler: Schulung mit Tribuo, Smile

Grundlagen von Data Science

• Was ist Data Science überhaupt? Fragestellung, Daten, Modell und Entscheidung
• Beispiele aus der Data Science: Empfehlungen, Betrugserkennung, Wartungsprognosen
• Daten als Business-Asset: Qualität, Verantwortlichkeit und Datenschutz
• CRISP-DM: der Zyklus der Data Science von Geschäftsverständnis bis Deployment
• Arten von Problemen: Klassifikation, Regression, Clustering, Anomalieerkennung
• Warum Java für Data Science: Integration in bestehende Systeme, Typsicherheit, JVM-Leistung

Repräsentieren von Daten in Java

• Datenformatierung in Java: Zahlen, Datum und Text mit NumberFormat, java.time und Locale
• Weitere Datenformatierung: String.format, Textblöcke und BigDecimal für Geldbeträge
• Schwierigkeiten mit Daten aus dem wahren Leben: Lücken, Kodierungen, Dezimalkomma, Ausreißer
• Fehlende Werte bewusst modellieren: Optional, OptionalDouble oder Sonderwerte

Techniken zur Datenmanipulation mit Streams

• Mapping mit map, mapToDouble und flatMap
• Filtern mit filter, takeWhile und dropWhile
• Sammeln mit toList(), Collectors.groupingBy, partitioningBy und teeing
• Sortieren mit Comparator.comparing, thenComparing und reversed
• Kennzahlen mit DoubleSummaryStatistics und Collectors.summarizingDouble
• Stream Gatherers: gleitende Fenster mit Gatherers.windowSliding für Zeitreihen

Laden von Daten in Java

• Dateigröße reduzieren: nur nötige Spalten, Komprimierung, zeilenweise lesen statt alles laden
• Daten aus Textdateien laden mit Files.lines und BufferedReader, Zeichensatz angeben
• Eine Datenklasse als record erstellen, Validierung im kompakten Konstruktor
• Strings in Datenobjekte konvertieren: Parsen, Fehler sammeln statt abbrechen
• Tabulatorgetrennte Dateien laden und die Kopfzeile auswerten
• CSVs laden mit Apache Commons CSV: Quoting, Trennzeichen und Kopfzeilen
• CSVs in Datenobjekte konvertieren: Zeilen auf Records abbilden, Typfehler protokollieren
• Daten per JDBC aus Datenbanken lesen, Ergebnismengen direkt in Records abbilden

Datenvisualisierung mit JavaFX

• JavaFX (OpenJFX) einrichten mit Maven oder Gradle und dem JavaFX-Plugin
• Daten für ein Scatterplot formatieren: XYChart.Series aus Records erzeugen
• Anzeige eines Scatterplots mit ScatterChart, Achsenbereiche und Beschriftung
• Mehrere Datensätze in einem Scatterplot, Legende und Farben
• Durchschnittliche MPG je Gruppe mit groupingBy und averagingDouble berechnen
• Anzeige eines Balkendiagramms mit BarChart und Export als PNG-Datei
• Diagramme ohne Oberfläche für Berichte erzeugen mit XChart

DataFrames mit Tablesaw

• Tablesaw: CSV mit Table.read() laden, Spaltentypen und Struktur ansehen
• Filtern, Sortieren und Gruppieren mit where, sortOn und summarize(…).by(…)
• Tabellen verknüpfen und Kreuztabellen bilden; Tablesaw (seit 2025 ohne neues Release) gegen eigene Stream-Pipelines abwägen

Modellierung und maschinelles Lernen

• Modelle für maschinelles Lernen erstellen: Merkmale, Zielwert, Training und Vorhersage
• Überwachtes versus unüberwachtes Lernen an Beispielen aus Java-Anwendungen
• Überanpassung vermeiden: Trainings- und Testmenge, Kreuzvalidierung, einfachere Modelle
• ML-Bibliotheken auf der JVM: Tribuo und Smile im Vergleich, Lizenz (Apache 2.0 gegen GPLv3/kommerziell) und Pflegezustand
• Klassifikation mit Tribuo: Dataset, Trainer, Model und Auswertung mit Konfusionsmatrix
• Clustering und Regression mit Smile (ab Version 5 mit Java 25): k-Means, lineare Regression, Entscheidungsbaum

K-Nächste Nachbarn (KNN) selbst implementieren

• K-Nächste-Nachbarn-Grundlagen: Abstand, Nachbarschaft und Mehrheitsentscheid
• Laden von Daten und Aufteilen in Trainings- und Testmenge
• Eine DataItem-Schnittstelle erstellen, die Merkmalsvektor und Label liefert
• Die nächstgelegenen Datenpunkte berechnen: euklidischer Abstand, Merkmale normieren
• Die DataItem-Schnittstelle mit einem record implementieren
• Datenpunkte abstimmen lassen: Mehrheitsentscheid mit groupingBy und counting
• Den KNN-Klassifikator fertigstellen und die Trefferquote auf Testdaten messen

Naive Bayes selbst implementieren

• Grundlagen von Naive Bayes: Satz von Bayes und Unabhängigkeitsannahme
• Die möglichen Labels berechnen und A-priori-Wahrscheinlichkeiten bestimmen
• Aufteilung des Datensatzes nach Label mit Collectors.groupingBy
• Mittelwert und Standardabweichung je Merkmal und Klasse berechnen
• Datenpunktwahrscheinlichkeiten über die Normalverteilung, Logarithmen gegen Unterlauf
• Eigene Implementierung gegen Tribuo prüfen: gleiche Daten, gleiche Metrik

Ausblick: Deep Learning und Modelle aus Python in Java

• Deep Java Library (DJL): vortrainierte Modelle laden und Inferenz in Java ausführen
• In Python trainierte Modelle über ONNX Runtime für Java in bestehende Dienste einbinden
• Arbeitsteilung klären: Training in Python, Betrieb und Monitoring in der Java-Anwendung

Data Science in Java mit Junie in IntelliJ IDEA

• Records als Schema: Junie leitet CSV-Parser aus dem record ab, fehlerhafte Zeilen gehen ins Protokoll
• Stream-Pipelines nur mit JUnit-Tests auf kleinen Record-Listen und erwarteten Gruppensummen
• Eigenen KNN- und Naive-Bayes-Code vom Agenten gegen Referenzwerte aus Tribuo prüfen lassen
• Neue Maven-Abhängigkeiten wie Smile oder Tablesaw erst nach Lizenz- und Versionsprüfung übernehmen
• Der Agent arbeitet mit Beispieldaten im Testverzeichnis; Java-Dienste und Produktionsdaten bleiben unberührt

Praxisprojekt: Fahrzeugdaten auswerten und Verbrauchsklassen vorhersagen

• Fahrzeugdatensatz als CSV in Records laden und fehlerhafte Zeilen protokollieren
• Verbrauch nach Hersteller und Baujahr mit Streams verdichten und in JavaFX darstellen
• Verbrauchsklassen mit eigenem KNN und mit Tribuo vorhersagen und die Treffer vergleichen

Lernziele

• Sie laden Text-, TSV- und CSV-Daten in Records und behandeln fehlerhafte Zeilen nachvollziehbar
• Sie verdichten Daten mit Streams und Collectors zu Kennzahlen je Gruppe
• Sie stellen Ergebnisse als Streu- und Balkendiagramm mit JavaFX dar
• Sie implementieren k-Nächste-Nachbarn und Naive Bayes in Java und messen die Trefferquote
• Sie wählen für eine Aufgabe zwischen eigener Implementierung, Tablesaw, Tribuo, Smile und DJL begründet aus

Zielgruppe

• Java-Entwickler:innen, die Datenauswertung oder maschinelles Lernen in bestehende Java-Systeme bringen
• Architekt:innen, die entscheiden, ob Modelle in Java oder Python betrieben werden
• Backend-Teams, die Kennzahlen und Klassifikationen direkt im Dienst berechnen wollen