LLM-Anwendungen mit LangChain.js: Schulung für JS und TS

Ihre erste Chain erstellen

• Einführung in die Entwicklung von Anwendungen mit LangChain: Modell, Prompt, Parser, Kette
• Was ist LangChain, wie funktioniert LangChain.js: langchain, @langchain/core, Anbieterpakete
• Ihr erstes Projekt: „Hello, World“ in LangChain.js mit Node.js und TypeScript
• API-Schlüssel generieren und über Umgebungsvariablen integrieren
• Projektstruktur und Setup: ES-Module, tsconfig.json, .env, Paketmanager
• Einrichten des Modells: Chat-Modell des Anbieters oder anbieterneutral mit initChatModel
• Ersten Prompt erstellen und mit invoke an das Modell senden
• Modellantworten verstehen: AIMessage, Inhalt, Metadaten, Ausgabe per stream

Prompt-Vorlagen beherrschen

• Was sind Prompt-Templates und warum sind sie wichtig?
• PromptTemplate erstellen und anpassen: Variablen, Teilbelegung mit partial
• Chat-Templates mit ChatPromptTemplate.fromMessages, Verläufe per MessagesPlaceholder
• Multimodale Templates: Bild und Text als Inhaltsblöcke an das Modell übergeben
• Komplexe Templates zusammensetzen: Teilvorlagen, Few-Shot-Beispiele, Systemanweisungen

Arbeiten mit LLMs und Chat-Modellen

• Große Sprachmodelle (LLMs): Grundlagen, Kontextfenster, Einsatzmöglichkeiten und Grenzen
• Remote-LLMs einrichten: OpenAI, Anthropic und Google über eigene @langchain-Pakete
• Lokale LLMs mit Ollama über @langchain/ollama integrieren
• Chat-Modelle für kontextbezogene Interaktionen: Nachrichtenverlauf führen und kürzen
• Tokenverbrauch über usage_metadata überwachen, Kosten je Aufruf und je Kette schätzen
• Anfragen abbrechen, wenn Zeit kritisch ist: AbortSignal, Timeouts und Wiederholungen

Output-Parser und strukturierte Ausgabe

• Warum Output-Parser unverzichtbar sind: Modelltext in verwertbare Daten überführen
• Einsatz von String- und Listen-Parsern: StringOutputParser, kommagetrennte Listen
• Strukturierte Ausgabe mit withStructuredOutput und Zod-Schema statt Freitext-Parsing
• Fehlerhafte Modellausgaben abfangen: Schema-Validierung, Wiederholung, Rückfallwert

Workflow-Ketten mit LCEL

• Einfache Chains Schritt für Schritt: Prompt, Modell und Parser mit .pipe() verbinden
• Komplexe Workflow-Ketten kombinieren: RunnableSequence, RunnableParallel, RunnableLambda
• Ketten optimieren: parallele Zweige, batch, Fallback-Modelle mit withFallbacks
• Zwischenschritte einer Kette mit streamEvents an die Oberfläche streamen
• Bestandscode mit Legacy-Chains auf LCEL oder Agenten umstellen

RAG mit LangChain.js

• Dokumente laden und mit RecursiveCharacterTextSplitter in Abschnitte teilen
• Embeddings und Vector Store: im Speicher zum Testen, PostgreSQL mit pgvector im Betrieb
• Retriever in eine Kette einbauen, Antworten mit Quellenangabe zurückgeben

Agenten mit LangChain.js und LangGraph.js

• Kette, Workflow oder Agent: Kriterien für den Entwurf der eigenen Anwendung
• Werkzeuge mit tool() und Zod-Schema definieren
• Agenten mit createAgent aus LangChain.js v1 aufbauen
• LangGraph.js: StateGraph, Knoten, Kanten und Zustand für eigene Abläufe
• Gespräche mit dem Checkpointer MemorySaver fortsetzen, Freigaben mit interrupt()
• MCP-Server über @langchain/mcp-adapters als Werkzeuge anbinden

Testen, Beobachten und Deployment

• Tracing mit LangSmith über Umgebungsvariablen: Aufrufe, Tokens und Latenz je Schritt
• Tests mit Vitest und Fake-Chat-Modellen, Evaluierung über Datensätze in LangSmith
• Bereitstellung als Node.js-Dienst mit Streaming-Endpunkt, Grenzen von Serverless-Laufzeiten
• Ausblick: Chat-Oberfläche mit Next.js, Agenten-Graphen in Python mit LangGraph

LangChain.js-Anwendungen absichern: Schlüssel, Eingaben, Kosten

• LangChain.js-Aufrufe nur serverseitig: API-Schlüssel nie im Browser-Bundle oder in NEXT_PUBLIC_-Variablen
• Jede Werkzeugeingabe mit Zod validieren, bevor ein Tool Daten verändert
• Prompt Injection über RAG-Treffer: abgerufene Abschnitte als Daten markieren, nie als Anweisung
• Schreibende Werkzeuge im LangGraph.js-Graphen hinter interrupt() legen
• Kostenbremse je Anfrage: AbortSignal, Tokenbudget und Rekursionslimit des Graphen
• Kettenumbau durch einen Coding-Agenten: Vitest-Suite und Typcheck entscheiden über den Merge

Praxisprojekt: Regelauskunft für ein Brettspielcafé

• Spielanleitungen als PDF laden, Regelfragen per RAG mit Seitenangabe beantworten
• Spielempfehlung als Zod-Schema: Spielerzahl, Dauer, Komplexität und Begründung
• Verfügbarkeit der Spiele über ein Werkzeug abfragen, lokales Modell über Ollama als Rückfall
• Abnahme mit Vitest und 25 Testfragen, Tokenkosten je Antwort im LangSmith-Trace