LangChain4j Schulung: LLMs mit Java, AI Services und RAG

Grundlagen der Generativen KI mit Java

• Was ist Generative AI – und was ändert sich gegenüber deterministischer Software?
• LLMs verstehen: Transformer-Architektur, Tokens, Kontextfenster, Halluzinationen, Wissensstand
• Muster und Denkansätze im Umgang mit Sprachmodellen: Rolle, Beispiele, Format, Prüfschritt
• Prompts, Completions und Kontext: Einfluss von Temperatur, Verlauf und Systemanweisung
• Architektur moderner Chatbots: Modell, Gesprächsspeicher, Werkzeuge und Wissensquelle
• Modellwahl für Java-Projekte: Cloud-Anbieter, Azure OpenAI oder lokal mit Ollama

Einstieg in LangChain4j

• Einführung in die Bibliothek: Module, Anbieterintegrationen, Low-Level-API und AI Services
• Projektsetup mit Maven oder Gradle: langchain4j-bom, Anbietermodul, API-Schlüssel
• Ihre erste Java-Anwendung: ChatModel für OpenAI konfigurieren und eine Frage stellen
• Bestandscode von ChatLanguageModel auf die Schnittstellen der Version 1.x umstellen
• Antworten streamen mit StreamingChatModel und einem Response-Handler
• Chatbots bauen: einfacher Konsolen-Chat, erweiterbar zum REST-Endpunkt
• LangChain4j und Spring AI im Vergleich – Einordnung ohne Vertiefung

Prompting-Grundlagen

• Wie funktionieren Prompts? Aufgabe, Kontext, Ausgabeformat und Beispiele
• Nachrichtentypen: SystemMessage, UserMessage, AiMessage, ToolExecutionResultMessage
• Best Practices für Einsteiger: eindeutige Anweisungen, prüfbares Format, kleine Schritte
• Dynamische Anweisungen: Variablen in System- und Benutzernachrichten einsetzen

Fortgeschrittene Prompt-Techniken

• Zero-shot, Few-shot, Chain-of-Thought – und was Reasoning-Modelle davon selbst erledigen
• Kontext liefern: Fakten und Dokumentauszüge mitgeben, Quellenangaben verlangen
• Mehrere LLMs vergleichen: ein Prompt gegen Cloud-Modelle und ein lokales Modell
• Strukturierte Ausgabe: Antworten als Java-Record mit JSON-Schema statt Freitext parsen

Arbeiten mit Prompt-Vorlagen

• Was sind Prompt-Templates – und wann lohnen sie sich?
• PromptTemplate mit {{variable}}-Platzhaltern erstellen, einsetzen und optimieren
• Vorlagen in AI Services: @SystemMessage und @UserMessage mit @V-Parametern
• Vor- und Nachteile templatebasierter Kommunikation: Wiederverwendung gegen Starrheit
• Anwendung: Textzusammenfassungen mit LangChain4j, lange Texte abschnittsweise verdichten

Kontextverwaltung in LangChain4j

• Warum Kontext König ist: lange Dialoge, Grenzen des Kontextfensters und Kosten
• Strukturierte Prompts und Conversation History mit ChatMemory
• MessageWindowChatMemory und TokenWindowChatMemory im Vergleich
• Architektur eines kontextfähigen Chatbots: ChatMemoryProvider und @MemoryId je Nutzer
• Gesprächsspeicher dauerhaft ablegen mit einem eigenen ChatMemoryStore
• Praktischer Teil: Chatbot mit dynamischem Kontext

AI Services und Werkzeuge

• AI Services: Java-Interface beschreiben, Implementierung mit AiServices.builder erzeugen
• Werkzeuge mit @Tool und @P beschreiben, Java-Methoden vom Modell aufrufen lassen
• Fehler bei Werkzeugaufrufen: ungültige Argumente, Ausnahmen, verständliche Rückmeldung
• MCP-Server als Werkzeugquelle über das Modul langchain4j-mcp anbinden
• Eingaben und Antworten mit Input- und Output-Guardrails prüfen

RAG: eigene Dokumente einbinden

• Easy RAG: Dokumente laden, aufteilen und mit wenigen Zeilen abfragbar machen
• Embedding-Modell und EmbeddingStore: im Speicher, PostgreSQL mit pgvector
• ContentRetriever und RetrievalAugmentor in einen AI Service einhängen
• Antworten mit Fundstelle, klare Rückmeldung bei fehlenden Treffern

Integration in Spring Boot und Quarkus

• Spring-Boot-Starter: Modell über application.properties, AI Service mit @AiService
• Quarkus-Erweiterung: @RegisterAiService, Konfiguration und Dev UI
• Tests: Modell im Unit-Test ersetzen, Integrationstests gegen Ollama mit Testcontainers
• Beobachtung mit ChatModelListener: Anfragen, Tokenverbrauch und Latenz protokollieren

LangChain4j-Anwendungen absichern: Werkzeuge, Speicher, Dokumente

• @Tool-Methoden in LangChain4j wie eine öffentliche API behandeln: Berechtigung je Nutzer prüfen
• Schreibende Werkzeuge erst nach ausdrücklicher Bestätigung im Dialog ausführen
• Prompt Injection über eingespielte Dokumente: Retrieval-Treffer als Daten kennzeichnen
• Gesprächsspeicher je @MemoryId trennen, Aufbewahrung und Löschung personenbezogener Inhalte
• Zahl der Werkzeugaufrufe je Anfrage begrenzen, Timeouts und Wiederholungen am Modell setzen
• Erweiterungen durch einen Coding-Agenten: AI-Service-Tests mit Modell-Stub als Abnahme in Maven

Praxisprojekt: Auskunftsdienst für einen kommunalen Entsorgungsbetrieb

• Fragen zu Abfallsatzung und Trennhinweisen per RAG beantworten, mit Fundstelle
• Abfuhrtermine je Straße über ein @Tool aus dem Fachverfahren abfragen
• Sperrmüllanmeldung erst nach Bestätigung, Gesprächsverlauf je Bürger:in getrennt gespeichert
• Bereitstellung als Spring-Boot- oder Quarkus-Dienst, Abnahme mit 30 typischen Bürgerfragen