Power Apps AI Builder Schulung: Dokumente und Bilder auswerten

AI Builder einordnen

• KI-Modelle ohne Code: wofür AI Builder in Apps und Flows gedacht ist
• Grundbegriffe: Trainingsdaten, Vorhersage, Konfidenzwert, Genauigkeit und Leistungsbewertung
• Modelltypen: vorgefertigte Modelle, selbst trainierte Modelle und Prompts
• KI-Designprozess: Anwendungsfall, Datenbedarf, Training, Test, Veröffentlichung, Überwachung
• Wann AI Builder passt – und wann Azure AI Services oder ein Agent in Copilot Studio besser geeignet sind

Umgebung, Zugang und Credits

• Voraussetzungen: Umgebung mit Dataverse, Region (Region Deutschland u. a. ohne Objekterkennung) und Rolle für Ersteller:innen
• AI Builder testen: Test- oder Entwicklungsumgebung statt Produktivumgebung
• Credits und Kapazität: Verbrauch je Modell, Zuweisung an Umgebungen, Umstellung auf Copilot Credits
• Verbrauch im Power Platform Admin Center verfolgen und Kosten je Dokument abschätzen
• Modelle in Lösungen aufnehmen und zwischen Umgebungen transportieren

Vorgefertigte Modelle

• Vorgefertigte Modelle des AI Builders: Texterkennung, Rechnungen, Belege, Ausweisdokumente
• Textanalyse: Stimmung, Schlüsselbegriffe, Sprache erkennen und Text übersetzen
• Rechnungsverarbeitung im Flow: Rechnungsnummer, Betrag und Fälligkeit übernehmen
• Vorgefertigt oder selbst trainiert: wann sich ein eigenes Modell lohnt

Dokumentverarbeitung (früher Formularverarbeitung)

• Anforderungen: Dokumenttypen, Zahl der Beispieldokumente, Layoutvarianten und Dateiformate
• Modell für die Dokumentverarbeitung anlegen: feste Vorlagendokumente, allgemeine Dokumente oder Rechnungen
• Felder, Tabellen und Kontrollkästchen im Dokument markieren und benennen
• Sammlungen je Layout, damit Belege verschiedener Lieferanten erkannt werden
• Trainieren, Genauigkeit je Feld prüfen und mit neuen Dokumenten schnell testen
• Modell veröffentlichen und neue Versionen nach dem Nachtrainieren verwalten
• Modell in einer Canvas-App verwenden: Dokument fotografieren, Felder vorbefüllen, korrigieren
• Im Cloud-Flow: Anhänge aus dem Postfach auslesen und Ergebnisse in Dataverse speichern
• Unsichere Felder unter einem Schwellwert zur manuellen Prüfung weiterleiten

Objekterkennung

• Anforderungen an das Objekterkennungsmodell: Objekte, Bilder je Objekt, Licht, Winkel, Hintergrund
• Modell erstellen, Objektnamen festlegen und Objekte in Bildern markieren
• Trainieren, Leistung bewerten und mit eigenen Testbildern prüfen
• Fehlerkennungen überprüfen, Bilder nachmarkieren und erneut trainieren
• Objekterkennung in einer Canvas-App auf dem Smartphone nutzen und Treffer zählen

Kategorieklassifizierung

• Anforderungen: Kategorien definieren, ausgewogene Beispiele, Mehrfachzuordnung
• Trainingsdaten in einer Dataverse-Tabelle bereitstellen (früher Common Data Service)
• Klassifizierungsmodell erstellen, Text- und Kategoriespalte wählen und trainieren
• Klassifizierungsmodell bewerten: Leistung je Kategorie, Fehlzuordnungen, Nachtrainieren
• Klassifizierung im Flow: eingehende Anfragen dem zuständigen Team zuordnen

Prompts in AI Builder

• Prompt anlegen: Anweisung, Eingabevariablen und Ausgabe als Text oder JSON
• Daten aus Dataverse-Tabellen als Kontext in einen Prompt einbinden
• Prompt in Power Automate mit „Prompt ausführen“ und in einer Canvas-App aufrufen
• Prompt oder trainierte Klassifizierung: Aufwand, Nachvollziehbarkeit und Kosten abwägen
• Prompt-Ergebnisse mit Testfällen prüfen; Grenzen bei Fakten, Zahlen und langen Dokumenten

Betrieb und verantwortungsvoller Einsatz

• Modelle im Betrieb überwachen: Korrekturquote messen und regelmäßig nachtrainieren
• Modelle für andere Ersteller:innen freigeben und Rechte über Sicherheitsrollen steuern
• Datenschutz: welche Inhalte verarbeitet werden, Region, Speicherung und Admin-Einstellungen
• Transparenz für Betroffene, wenn KI Anträge, Belege oder Anfragen vorsortiert

Praxisprojekt: Geräterücknahme eines Notebook-Aufbereiters

• Rücksendescheine mit einer Dokumentverarbeitung auslesen und als Vorgang in Dataverse ablegen
• Objekterkennung in der Wareneingangs-App: Netzteil, Akku und Gehäuseschäden auf Fotos erfassen
• Kundenkommentare per Klassifizierung oder Prompt in Reparatur, Gutschrift und Rückfrage einteilen
• Flow mit Konfidenzschwelle, der unsichere Fälle zur Sichtung schickt; Credits je Monat schätzen