RegEx Schulung: reguläre Ausdrücke suchen, prüfen, ersetzen

Einstieg in reguläre Ausdrücke (RegEx)

• Schreiben von Textübereinstimmungsmustern: Suchen, Prüfen, Extrahieren und Ersetzen
• Was sind reguläre Ausdrücke? Muster, Treffer und die Engine dazwischen
• Eine Engine auswählen: PCRE2, JavaScript, Python re, Java und .NET im Vergleich
• Backtracking-Engines und Engines mit linearer Laufzeit wie RE2 oder Rusts regex
• Notationskonventionen: Schrägstrich-Literale, String-Escaping und Raw Strings wie r"…"
• Modi und Flags: i, g, m, s, x und Inline-Modifikatoren wie (?i)
• Muster testen mit regex101, der Suche in VS Code, grep -E und ripgrep

Zeichen in regulären Ausdrücken (RegEx)

• Wörtliche Zeichen und Groß-/Kleinschreibung beim Vergleich
• Metazeichen im Überblick: welche Zeichen eine Sonderbedeutung haben
• Der Punkt als Platzhalter – und warum er standardmäßig keinen Zeilenumbruch trifft
• Metazeichen maskieren mit Backslash; Hilfsfunktionen wie re.escape und Pattern.quote
• Andere Sonderzeichen: Tabulator \t, Zeilenenden \r\n und Unicode-Escapes

Zeichensätze in regulären Ausdrücken (RegEx)

• Einen Zeichensatz mit eckigen Klammern […] definieren
• Zeichenbereiche wie [a-z] und [0-9A-F] und ihre Tücken bei Umlauten
• Negative Zeichensätze mit [^…]
• Metazeichen innerhalb von Zeichensätzen: was dort seine Sonderbedeutung verliert
• Shorthand-Zeichensätze \d, \w, \s und ihre Gegenstücke \D, \W, \S
• Unicode-Eigenschaften wie \p{L} und \p{N}; Flags u und v in JavaScript
• POSIX-Klassen wie [[:alpha:]] in grep, sed und PCRE

Wiederholungen in regulären Ausdrücken (RegEx)

• Wiederholungs-Metazeichen *, + und ?
• Quantifizierte Wiederholung mit {n}, {n,} und {n,m}
• Gierige Ausdrücke: wie die Engine so viel wie möglich nimmt und zurückverfolgt
• Genügsame (lazy) Quantifizierer *? und +? zwischen Anführungszeichen und Tags
• Possessive Quantifizierer *+ und atomare Gruppen (?>…) gegen unnötiges Backtracking
• Katastrophales Backtracking und ReDoS: gefährliche Muster wie (a+)+$ erkennen

Gruppierung und Alternation in regulären Ausdrücken (RegEx)

• Gruppierungs-Metazeichen: runde Klammern und Quantifizierer auf ganze Gruppen
• Alternations-Metazeichen | und seine niedrige Rangfolge
• Effizienz bei Alternationen: Reihenfolge, gemeinsame Präfixe, Zeichensatz statt a|b|c

Verankerungen in regulären Ausdrücken (RegEx)

• Anfangs- und Endverankerungen ^ und $ sowie \A und \z
• Ganze Eingaben validieren: re.fullmatch in Python, matches() in Java
• Zeilenumbrüche und Mehrzeilenmodus: Flags m und s richtig kombinieren
• Wortgrenzen \b und \B – und ihr Verhalten bei Umlauten und Bindestrichen

Erfassen von Gruppen und Rückverweisen in regulären Ausdrücken (RegEx)

• Erfassungen und Rückverweise wie \1 innerhalb des Musters
• Benannte Gruppen (?<name>…) bzw. (?P<name>…) in Python und der Zugriff im Code
• Rückverweise auf optionale Ausdrücke: unterschiedliches Verhalten je Engine
• Suchen und Ersetzen mit Rückverweisen: $1 oder \1 im Ersetzungstext
• Ersetzen per Funktion: re.sub mit Callback, replace mit Funktion in JavaScript
• Nicht-erfassende Gruppenausdrücke (?:…) für Struktur ohne Speicherplatz

Lookaround-Assertions in regulären Ausdrücken (RegEx)

• Positive Lookahead-Assertions (?=…): Bedingungen prüfen, ohne Zeichen zu verbrauchen
• Negative Lookahead-Assertions (?!…), etwa zum Ausschließen bestimmter Wörter
• Lookbehind-Assertions (?<=…) und (?<!…): Längenbeschränkungen je Engine
• Mehrfache Lookaround-Assertions kombinieren, zum Beispiel für Passwortregeln

RegEx im Arbeitsalltag

• Lesbare Muster im x-Modus mit Leerraum und Kommentaren schreiben
• Muster mit Unit-Tests absichern: Beispiele, die passen müssen und nicht passen dürfen
• Grenzen kennen: warum HTML, JSON und vollständige E-Mail-Prüfung einen Parser brauchen
• Massenersetzungen im Code mit sed -E, ripgrep und der Ersetzen-Funktion der IDE

Reguläre Ausdrücke mit Coding-Agenten

• Agent liefert zu jedem Muster Treffer und Nicht-Treffer, die direkt als Testfälle dienen
• Muster im x-Modus kommentieren lassen und die Erklärung in regex101 gegenprüfen
• Zielengine vorgeben: Lookbehind, possessive Quantifizierer und \p{…} gibt es nicht überall
• Vorgeschlagene Muster mit langen, bösartigen Eingaben auf Backtracking-Laufzeit testen
• Ersetzungen über das ganze Repository erst nach Durchsicht der Trefferliste ausführen

Praxisprojekt: Webserver-Logs zerlegen und anonymisieren

• Zeitstempel, IP-Adresse, Pfad und Statuscode mit benannten Gruppen extrahieren
• IP- und E-Mail-Adressen per Ersetzen mit Rückverweisen teilweise maskieren
• Muster mit Testfällen absichern und das Verhalten in Python und JavaScript vergleichen