RAG, Vektordatenbanken und Chatbots im Einsatz: Schulung

Einführung in Retrieval-Augmented Generation (RAG)

• Grundlagen und Konzept: Antworten aus einer Wissensquelle statt aus Modellwissen
• Unterschiede zum reinen LLM-Chat: aktuelle, interne und belegbare Antworten
• Anwendungsbereiche: Kundenservice, Gesundheitswesen, Recht, interne Wissensdatenbanken
• Architektur eines produktiven Systems: Ingestion, Index, Retriever, Modell, Oberfläche, Monitoring
• Herausforderungen im Einsatz: veraltete Dokumente, Zugriffsrechte, Kosten, Antwortqualität
• Optimierungshebel im Überblick: Chunking, Reranking, Evals (Vertiefung im Seminar LLMs und RAG)

Aufbau einer Vektordatenbank für RAG

• Entwicklungsumgebung: Python, Docker Compose mit Datenbank, API-Schlüssel sicher ablegen
• Beispieldaten als Praxisfall: Handbücher, Release Notes und Supporttickets
• Datenaufbereitung: Text extrahieren, bereinigen, Dubletten entfernen, Metadaten erfassen
• Vektordatenbank auswählen: pgvector, Qdrant, Azure AI Search und Weaviate im Vergleich
• Schema entwerfen: Vektorfeld, Metadaten, Mandanten, Indextyp HNSW oder IVF
• pgvector in PostgreSQL: Erweiterung aktivieren, vector-Spalte, HNSW-Index anlegen
• Qdrant-Collection mit Payload-Indizes für schnelle Filter einrichten
• Abfragemethoden: k-nächste Nachbarn, Filter, hybride Abfrage und Anbindung an das Modell

Entwicklung eines RAG-gestützten Chatbots

• Architekturdesign: Gesprächsverlauf, Retrieval je Frage, Antwort mit Quellen
• Generationsmodul mit der Vektordatenbank verbinden: Kontext, Systemanweisung, Zitate
• Folgefragen auflösen: Verlauf in eine eigenständige Suchanfrage umschreiben
• Chat-Oberfläche mit Streaming, anklickbaren Quellenangaben und Bewertungsknöpfen
• Testen und Optimieren mit realistischen Nutzerfragen und Rückmeldungen
• Effizienz: Antwort-Caching, kleinere Modelle für einfache Fragen, weniger Treffer im Kontext
• Bereitstellung als Container-Dienst, Skalierung von Datenbank und Modellzugriff

Betrieb: Berechtigungen, Aktualisierung, Kosten

• Dokumentberechtigungen im Index abbilden und bei jeder Abfrage als Filter erzwingen
• Index aktuell halten: inkrementelle Aufnahme, Löschungen übernehmen, Dokumentversionen
• Kosten je Anfrage kalkulieren: Einbettung, Modellaufruf, Hosting der Datenbank
• Monitoring: Antwortzeiten, Fragen ohne Treffer, negative Bewertungen auswerten
• Gesprächsprotokolle datensparsam: Pseudonymisierung, Aufbewahrung, Löschfristen

RAG für Entscheidungsunterstützungssysteme

• Entscheidungsunterstützung entwerfen: Empfehlung, Begründung, Belegstellen, Unsicherheit
• Integration in bestehende Workflows: Ticketsystem, Intranet oder Microsoft Teams per API
• Such- und Generierungsmechanismen optimieren: strukturierte Antworten, Vergleichstabellen
• Systemleistung und Qualität sichern: Abnahmekatalog, Stichproben durch Fachleute
• Anwendungsbeispiele: Kundenservice, klinische Leitlinien, Vertragsprüfung, Instandhaltung
• Der Mensch entscheidet: Freigabeschritte und Grenzen automatisierter Empfehlungen

Forschung, Ethik und Zukunftsperspektiven

• Aktuelle Entwicklungen: lange Kontextfenster, Agentic RAG, Contextual Retrieval
• Datenschutz: DSGVO, Auftragsverarbeitung, Datenstandort, Modellbetrieb in der EU
• Ethische Fragen: Verzerrungen in Quellen, Transparenz gegenüber Nutzer:innen, Haftung
• EU AI Act: Kennzeichnungs- und Transparenzpflichten für Chatbots
• Künftige Erweiterungen: Werkzeugaufrufe und Anbindung über das Model Context Protocol
• Kombination mit multimodaler KI: Bilder, Scans und Spracheingabe im Chatbot
• Wissensgraphen als Ergänzung im Überblick (Vertiefung im Seminar GraphRAG)

Den RAG-Chatbot mit Coding-Agenten ausbauen und betreiben

• Neue Ingestion-Konnektoren vom Agenten bauen lassen, Testlauf gegen eine Kopie des Index
• Berechtigungstests als Pflicht: je Rolle Fragen, die keine fremden Dokumente liefern dürfen
• Änderungen an Indexparametern oder Vektordimension nur als geprüftes Migrationsskript
• Negativ bewertete Chat-Verläufe auswerten lassen: Vorschläge für Dokument- und Promptkorrekturen
• Kein Agentenzugriff auf Gesprächsprotokolle ohne Pseudonymisierung

Praxisprojekt: Support-Assistent für einen Softwareanbieter

• Handbücher, Release Notes und gelöste Tickets in pgvector oder Qdrant aufnehmen
• Chatbot mit Streaming-Oberfläche und Quellenlinks für die Rollen Kundschaft und Support
• Nächtliche Aktualisierung des Index und Kostenbericht je 1.000 Anfragen
• Abnahme: Testfragenkatalog, Berechtigungsprüfung und Datenschutz-Checkliste