Elastic Stack Schulung: Elasticsearch, Kibana, Logstash, Beats

Der Elastic Stack im Überblick

• Bausteine: Elasticsearch, Kibana, Elastic Agent, Beats und Logstash
• Lizenzstufen Free/Basic und Enterprise, Platinum nur für Bestandskunden; Quellcode unter AGPL, SSPL oder Elastic License
• Elasticsearch als verteilte Such- und Analyse-Engine auf Basis von Apache Lucene
• Kibana als gemeinsame Oberfläche für Suche, Dashboards, Verwaltung und Lösungen
• Wege der Datenaufnahme: Integrationen, Beats, Logstash, OpenTelemetry und REST-API
• Betriebsformen: selbst betrieben, Elastic Cloud Hosted und Elastic Cloud Serverless
• Lösungen auf dem Stack: Elasticsearch für Suche, Observability und Security
• Elastic 9 auf Lucene 10: was beim Wechsel von einem 8.x-Cluster zu beachten ist

Installieren und Betreiben

• Systemvoraussetzungen: Betriebssysteme, gebündelte JVM, Arbeitsspeicher, Datenträger und vm.max_map_count
• Manuelle Installation aus Archiv oder Paket; Sicherheit ab Start mit TLS und Passwort für elastic
• Weitere Knoten per Enrollment-Token aufnehmen, Kibana mit dem Cluster verbinden
• Installation automatisieren mit Ansible-Community-Rollen, Terraform-Provider ec für Elastic Cloud
• Elastic Cloud Enterprise (ECE): viele Deployments im eigenen Rechenzentrum orchestrieren
• Betrieb auf Kubernetes mit Elastic Cloud on Kubernetes (ECK) und dessen Custom Resources
• Upgrades planen: Upgrade Assistant in Kibana, Rolling Upgrade, Snapshot vorher

Indizierung und Suche

• Aufbau eines Index: primäre Shards, Replikate, Segmente und invertierter Index
• Mappings und Feldtypen; dynamisches Mapping bewusst begrenzen
• Knotenrollen: Master, Daten-Tiers hot/warm/cold/frozen, Ingest, ML, Koordination
• Clusterzustand lesen: Health, Shard-Zuordnung, _cat-APIs in der Dev Tools Console
• Dokumente einzeln und per Bulk-API indizieren
• Suchen mit Query DSL und ES|QL im Überblick – Vertiefung im Seminar zu Elasticsearch
• Index- und Komponentenvorlagen für wiederkehrende Indizes anlegen

Daten auswerten und verwalten

• Aggregationen im Überblick: Metriken, Buckets, Zeithistogramme, Pipeline-Aggregationen
• Data Streams für Logs und Metriken: Backing-Indizes und Rollover
• Index Lifecycle Management: Phasen hot, warm, cold, frozen und delete
• Snapshots, Snapshot-Lifecycle-Richtlinien und Searchable Snapshots für Archivdaten
• Ingest-Pipelines: Grok, Dissect, Datum, GeoIP und Enrich-Prozessor
• Pipelines testen mit der Simulate-API, Fehler mit on_failure abfangen
• Transforms: Ereignisse zu Entitäten verdichten, etwa je Benutzer oder Host
• Watcher in Bestandsumgebungen lesen und auf Kibana-Alerting-Regeln umstellen

Machine-Learning-Jobs in Elasticsearch

• Wofür Machine Learning im Stack taugt: Lizenzvoraussetzung und ML-Knoten
• Daten vorbereiten: Datafeeds, Bucket-Spanne, Detektoren und Einflussfaktoren
• Anomalieerkennung mit Single-Metric-, Multi-Metric- und Populationsjobs
• Ergebnisse im Anomaly Explorer deuten, Prognosen und Anomalie-Alarme
• Data-Frame-Analysen: Klassifikation, Regression und Ausreißererkennung
• Trainierte Modelle per Inferenz-Prozessor auf eingehende Dokumente anwenden

Daten sammeln mit Beats

• Beats im Überblick, Ausgabe direkt an Elasticsearch oder über Logstash
• Filebeat: Logdateien, Module, mehrzeilige Einträge, Input filestream
• Metricbeat: System-, Datenbank- und Webserver-Metriken überwachen
• Auditbeat: Audit-Framework unter Linux und Integritätsprüfung von Dateien
• Heartbeat: Verfügbarkeit von Diensten prüfen, Weg zu Synthetics-Monitoren
• Packetbeat: Netzwerkverkehr und Protokolle wie HTTP, DNS und TLS mitschneiden

Logstash für ETL-Aufgaben

• Logstash-Architektur: Inputs, Filter, Outputs, persistente Queue und Dead Letter Queue
• Wann Logstash und wann eine Ingest-Pipeline in Elasticsearch die bessere Wahl ist
• Filter grok, dissect, mutate, date und translate an echten Logzeilen
• Pipelines für Syslog, CSV-Lieferungen und den JDBC-Input aus relationalen Datenbanken
• Mehrere Pipelines, Pipeline-zu-Pipeline-Kommunikation und zentrale Verwaltung in Kibana

Mit Daten in Kibana arbeiten

• Kibana einrichten: Spaces, Rollen, Data Views und erweiterte Einstellungen
• Discover: Ereignisse mit KQL oder ES|QL durchsuchen und filtern
• Visualisieren mit Lens und zu Dashboards mit Steuerelementen zusammenstellen
• Canvas in Bestandsinstallationen: vorhandene Workpads für Präsentationen und Lagebildschirme pflegen
• Maps: Ebenen aus Geo-Punkten, Geo-Shapes und eigenen Grenzen
• Alerting: Regeltypen, Konnektoren zu E-Mail, Teams oder Webhook, Wartungsfenster

Daten-Onboarding mit Elastic Agent und Fleet

• Typische Hürden neuer Datenquellen: Formate, Zeitstempel, Felder nach Elastic Common Schema
• Elastic Agent mit Integrationen statt einzelner Beats pro Datenquelle
• Fleet Server und Agent-Richtlinien: viele Agents zentral verwalten
• Agents gestaffelt aktualisieren, Ausgaben an Elasticsearch, Logstash oder Kafka
• Laborumgebung: Fleet Server aufsetzen, Agent installieren, erste Integration ausrollen
• Bestehende Beats-Installationen schrittweise auf Elastic Agent umstellen

Suchanwendungen mit dem Elastic Stack

• Volltextsuche: Analyzer, Tokenizer und Relevanzbewertung mit BM25
• Inhalte anbinden: Open Web Crawler und selbst betriebene Connectors für SharePoint, Datenbanken, Dateiablagen
• Sucherlebnis verbessern: Autovervollständigung, Synonyme, Facetten und Hervorhebung
• Suchoberfläche im eigenen Webauftritt mit Search UI; Search Applications (Beta) nur noch im Bestand
• App Search und Workplace Search (nur bis 8.x) in Bestandsumgebungen: Umstieg vor dem Upgrade auf 9

Observability für Anwendungen und Infrastruktur

• Beobachtbarkeit: Logs, Metriken, Traces und Profiling im Zusammenhang
• Hosts, Container und Kubernetes in der Infrastrukturansicht beobachten
• Synthetics-Monitore und Service Level Objectives (SLOs) definieren
• Anwendungen instrumentieren: APM-Agents und OpenTelemetry mit den EDOT-Distributionen
• Service-Map, Transaktionen und Fehler im APM auswerten

Bedrohungen erkennen mit Elastic Security

• Elastic Security im Überblick: Datenquellen aus Endpunkt, Netzwerk und Cloud
• SIEM für das SOC: vorgefertigte Erkennungsregeln, MITRE-ATT&CK-Abdeckung
• Alarme untersuchen mit Timeline, Fällen (Cases) und Entitätsanalyse
• Endpunkterkennung und -reaktion mit Elastic Defend: Schutzrichtlinien und Isolierung
• Den Stack selbst absichern: Rollen, API-Schlüssel, Audit-Logging, Single Sign-on

Architektur von Workloads

• Größenplanung: Datenvolumen, Aufbewahrung, Shard-Größe und Knotenzahl
• Architekturmuster für Logging, Suche und Security im Vergleich
• Komplexe Anforderungen: Cross-Cluster-Search, Cross-Cluster-Replikation, mehrere Standorte
• Erfolgreiche Einführung: Betriebskonzept, Stack Monitoring, Verantwortlichkeiten

KI-Funktionen im Elastic Stack

• AI Assistant bzw. Elastic Agent Builder in Observability und Security: Alarme und Logzeilen erklären lassen
• Attack Discovery: zusammenhängende Security-Alarme zu Angriffsabläufen bündeln
• Semantische Suche mit ELSER und Feldtyp semantic_text im Elastic Stack (Überblick)
• LLM-Konnektoren einrichten: welches Modell angebunden ist und welche Felder es sieht
• Grenzen: Antworten gegen Rohdaten prüfen, Anonymisierung vor dem Versand an das Modell

Praxisprojekt: Log- und Sicherheitszentrale für einen Hochschulverbund

• Drei Hochschulstandorte mit Elastic Agent und Fleet anbinden: Webserver, Lernplattform, Firewall
• Data Streams mit Lebenszyklus planen: 30 Tage hot, ein Jahr als Searchable Snapshot
• Dashboards zur Auslastung in der Prüfungszeit und eine Regel für fehlgeschlagene Anmeldungen
• Anomalie-Job auf Anmeldeversuche je Standort, Ergebnisse mit dem Security-Team bewerten