Maschinelles Lernen in Apps: Workshop für iOS und Android

Einführung: ML in mobilen Anwendungen

• Maschinelles Lernen in mobilen Anwendungen: Kamera, Mikrofon, Text und Sensoren als Datenquelle
• Was Sie über mobiles ML wissen sollten: Rechenleistung, Akku, Speicher und Modellgröße
• Neural Engine, GPU und NPU: Hardwarebeschleunigung auf aktuellen iPhones und Android-Geräten

Grundbegriffe für App-Entwickler:innen

• Was ist maschinelles Lernen? Aus Beispieldaten ein Modell ableiten statt Regeln zu schreiben
• Erforderliche Konzepte: Merkmale, Label, Training, Inferenz, Konfidenzwert
• Ein Modell trainieren: Trainings- und Testdaten, Überanpassung, Genauigkeit im Feld
• Maschinelles Lernen versus Deep Learning und große Sprachmodelle: Einordnung für Apps
• Was kann ich mit ML tun? Klassifikation, Objekterkennung, OCR, Sprache, Zusammenfassung
• Serverseitiges versus clientseitiges ML: Datenfluss, Latenz, Offline-Betrieb, Kosten
• ML-Frameworks im Überblick: Core ML, Foundation Models, ML Kit, LiteRT, ONNX Runtime

Cloud-Modell: Azure AI und Azure Machine Learning

• Foundry Tools (früher Azure AI Services) und Azure Machine Learning im Überblick: fertige Dienste gegen eigenes Modell
• Natürliche Sprache verstehen mit Azure Language: Entitäten und Sprache erkennen, Stimmung als bestehende Funktion
• Visuelle Erkennung in der Cloud mit Azure Vision Image Analysis – abgekündigt, Abschaltung am 25.09.2028
• Nachfolger: Document Intelligence (Text), Face API, Content Understanding (Vorschau) oder GPT-Modelle in Foundry
• Benutzerdefiniertes Modell erstellen: gelabelte Daten und AutoML in Azure Machine Learning
• Eigenes Modell trainieren und als verwalteten Online-Endpunkt bereitstellen
• Client-Anwendung ausführen: REST-Aufruf aus Swift und Kotlin, Fehler und Zeitüberschreitungen
• Schlüssel nie in der App: Aufrufe über ein eigenes Backend oder kurzlebige Token

Cloud-Modell: Firebase AI Logic und Gemini

• Firebase AI Logic einrichten: Gemini-Modelle direkt aus iOS- und Android-Apps aufrufen
• Multimodale Anfragen: Bild und Text gemeinsam senden, strukturierte JSON-Antworten erzwingen
• Missbrauch verhindern mit Firebase App Check, Kontingenten und Kostenalarmen
• Hybride Inferenz (experimentell): Anfrage auf dem Gerät beantworten, Cloud nur als Rückfallebene

On-Device unter iOS: Core ML, Vision und Foundation Models

• Core ML im Überblick: Modellformat, Xcode-Vorschau, Ausführung auf CPU, GPU und Neural Engine
• Natürliche Sprache verstehen mit dem Natural-Language-Framework: Sprache, Stimmung, Entitäten
• Visuelle Erkennung mit dem Vision-Framework: Texterkennung, Gesichter, Barcodes, Klassifikation
• Benutzerdefiniertes Modell mit Create ML erstellen: Bild-, Text- und Tabellenklassifikation
• Modell trainieren, in Xcode einbinden und per Hintergrund-Download aktualisieren
• Client-Anwendung ausführen: Kamerabild mit VNCoreMLRequest live auswerten
• Apple Foundation Models: Sprachmodell auf dem Gerät mit LanguageModelSession nutzen
• Strukturierte Ausgaben mit @Generable und eigene Tools für das Sprachmodell
• Verfügbarkeit prüfen: Apple Intelligence aktiviert, Gerät unterstützt, Fallback einplanen

On-Device unter Android: ML Kit und LiteRT

• ML Kit: Texterkennung, Gesichtserkennung, Barcodes und Sprachidentifikation ohne eigenes Modell
• ML-Kit-GenAI-Funktionen (Beta) mit Gemini Nano: Zusammenfassen und Umformulieren auf unterstützten Geräten
• LiteRT (früher TensorFlow Lite): eigenes Modell laden, Delegates für GPU und NPU nutzen
• MediaPipe Tasks für Bildklassifikation, Objekterkennung und Handgesten

Modelle konvertieren, verkleinern und messen

• PyTorch-Modell mit coremltools in das Core-ML-Format überführen
• Modell für LiteRT exportieren und Ausgaben gegen das Originalmodell vergleichen
• Quantisierung und Palettisierung: Größe und Geschwindigkeit gegen Genauigkeit abwägen
• Leistung auf echten Geräten messen: Core-ML-Bericht in Xcode, Profiler in Android Studio

Die Möglichkeiten verstehen und entscheiden

• Unterschiedliche Philosophien der Anbieter: Apple On-Device zuerst, Google hybrid, Microsoft Cloud
• Warum clientseitig versus serverseitig: Datenschutz, DSGVO, Offline-Fähigkeit, Kosten je Anfrage
• Wann welche Lösung passt: Entscheidungsmatrix aus Datenart, Modellgröße und Gerätebasis
• Datenschutz in der App: Privacy Manifest, Data-Safety-Angaben und Einwilligung

ML in Apps mit Coding-Agenten umsetzen

• Agent schreibt Konvertierungsskript; Testbilder prüfen Abweichung zum PyTorch-Original
• Modelldateien (.mlpackage, .tflite) bleiben tabu, Herkunft und Lizenz prüft ein Mensch
• Latenz und Speicher misst nicht der Agent: Messwerte vom Gerät als Abnahmekriterium vorgeben
• Jeder neue Netzwerkaufruf im ML-Code wird geprüft: Verlässt ein Bild oder Text das Gerät?
• Agent erzeugt @Generable-Typen und Unit-Tests für die Fallback-Logik ohne Sprachmodell

Praxisprojekt: Belegscanner für Reisekosten

• Beleg mit Vision bzw. ML Kit erfassen, Betrag, Datum und Händler auf dem Gerät erkennen
• Kategorie per On-Device-Sprachmodell vorschlagen, Cloud-Abfrage nur nach Einwilligung
• Genauigkeit, Antwortzeit und Datenfluss beider Varianten vergleichen und dokumentieren

Lernziele

• Sie entscheiden anhand von Datenschutz, Latenz, Offline-Bedarf und Kosten, ob eine ML-Funktion in der Cloud oder auf dem Gerät läuft
• Sie binden Text-, Bild- und Gesichtserkennung mit Vision, Natural Language und ML Kit in eine App ein
• Sie rufen Azure AI und Firebase AI Logic sicher aus einer App auf, ohne Schlüssel im App-Paket
• Sie nutzen die Apple Foundation Models mit strukturierten Ausgaben und planen einen Fallback ein
• Sie konvertieren ein PyTorch-Modell für Core ML oder LiteRT, quantisieren es und messen es auf dem Gerät

Zielgruppe

• App-Entwickler:innen für iOS mit Swift und SwiftUI
• App-Entwickler:innen für Android mit Kotlin
• Technische Projektleitungen, die über Cloud- oder On-Device-Architektur für ML-Funktionen entscheiden