Web-Scraping mit Python - Beratung, Coaching und Schulung

Web-Scraping mit Python: Daten von Webseiten verlässlich gewinnen

Dauer: ab 1 Tag | Preis: ab 900 EUR (Netto) | Termin: Ganztägig + halbtägig

Sie gewinnen strukturierte Daten aus Webseiten mit Python – mit httpx, Beautiful Soup, Playwright und Scrapy, höflich gedrosselt, überwacht und mit einem Blick auf Urheberrecht, Nutzungsbedingungen und Datenschutz.

Warum hält ein Scraper oft nur bis zum nächsten Relaunch der Zielseite?

Web-Scraping mit Python macht aus Webseiten verwertbare Daten: Preise und Verfügbarkeiten beobachten, Ausschreibungen und Stellenanzeigen sammeln, Produktkataloge abgleichen oder öffentliche Register für eine Recherche auswerten. Ein erstes Skript mit drei Zeilen ist schnell geschrieben. Ein Scraper, der über Monate richtige Daten liefert, braucht mehr: ein Verständnis von HTTP und HTML, Selektoren, die eine geänderte Seite überstehen, saubere Drosselung und eine Überwachung, die meldet, wenn plötzlich keine Treffer mehr kommen.

Wir beginnen mit dem, was zwischen Browser und Server tatsächlich passiert, und suchen in den Entwicklerwerkzeugen zuerst nach einer JSON-Schnittstelle, einer Sitemap oder eingebetteten strukturierten Daten – oft ist das der stabilere Weg als das HTML. Danach parsen Sie Seiten mit Beautiful Soup und lxml über CSS-Selektoren und XPath, folgen Paginierungen, senden Formulare und halten Sitzungen. Für Seiten, die ihre Inhalte erst per JavaScript laden, setzen wir Playwright ein, für große Crawls über viele tausend Seiten Scrapy mit Pipelines, Zwischenspeicher und automatischer Drosselung. Ein Block widmet sich der Datenqualität: bereinigen, validieren, Dubletten erkennen und Änderungen über die Zeit speichern.

Rechtliche Fragen behandeln wir als Überblick, nicht als Rechtsberatung: was robots.txt bedeutet, warum Nutzungsbedingungen, Urheber- und Datenbankrechte sowie die DSGVO bei personenbezogenen Daten eine Rolle spielen, und welche Fragen Sie vor dem Start mit Ihrer Rechtsabteilung klären sollten. Allgemeine Browser- und Desktop-Automatisierung, etwa das Ausfüllen von Portalen, steht im Seminar „Automatisierung (RPA) mit Python“; hier geht es um das Gewinnen von Daten in der Tiefe.

Selektoren und Parser sind ideale Aufgaben für einen Coding-Agenten, solange er nicht selbst gegen fremde Server feuert. Mit Claude Code arbeiten wir deshalb gegen gespeicherte HTML-Schnappschüsse: Der Agent schreibt den Parser, pytest prüft ihn gegen diese Dateien, und erst der fertige, gedrosselte Scraper darf live laufen. Python-Grundkenntnisse genügen; wer eine konkrete Zielseite aus dem eigenen Arbeitsalltag mitbringt, prüft mit uns zuerst, ob es dafür eine offizielle Schnittstelle gibt.

Der häufigste Fehler beim Scraping ist nicht ein falscher Selektor, sondern ein Scraper, der still weiterläuft und leere Tabellen schreibt. Die Seite wurde umgebaut, der Code meldet keinen Fehler, und drei Wochen später fehlen die Daten im Bericht. Ich baue deshalb jeden Scraper zuerst mit einer Erwartung: wie viele Datensätze, welche Felder, welche Wertebereiche – und einen Alarm, wenn das nicht mehr stimmt. Ebenso wichtig ist der Blick ins Netzwerk-Tab: Oft liefert die Seite ihre Daten längst als JSON, und das HTML zu parsen war von Anfang an der Umweg.
Themen und Inhalte für Ihre Beratung, Coaching, Workshop, Training, Schulung und Weiterbildung:

Web-Scraping mit Python: Daten von Webseiten verlässlich gewinnen

Grundlagen: HTTP und HTML für Scraper
  • Anfrage und Antwort: Methoden, Statuscodes, Header, Cookies und Weiterleitungen
  • Aufbau einer HTML-Seite als DOM-Baum: Elemente, Attribute, Klassen und IDs
  • Netzwerk-Tab der Entwicklerwerkzeuge lesen: welche Anfrage liefert die eigentlichen Daten?
  • Bessere Quellen zuerst prüfen: offizielle API, Sitemap, RSS-Feed, JSON-LD in der Seite
  • Statische, serverseitig gerenderte und per JavaScript nachgeladene Seiten unterscheiden
Seiten abrufen mit requests und httpx
  • requests und httpx im Vergleich: Synchron und asynchron, HTTP/2, Timeouts als Pflicht
  • Ein httpx.Client für viele Anfragen: Verbindungen wiederverwenden, Basis-URL, Standard-Header
  • Ehrlicher User-Agent mit Kontaktadresse statt Tarnung als Browser
  • Zeichenkodierung erkennen und Umlaute korrekt dekodieren
  • Relative Links auflösen mit urljoin, URLs normalisieren und Tracking-Parameter entfernen
Parsen mit Beautiful Soup und lxml
  • Beautiful Soup mit dem lxml-Parser: select, select_one, find_all und Textextraktion
  • CSS-Selektoren gezielt formulieren: Attribute, Nachbarschaft, :nth-child und :has
  • XPath mit lxml: Achsen, Textbedingungen und wann XPath mehr kann als CSS
  • Robuste Merkmale wählen: data-Attribute und Beschriftungen statt generierter Klassennamen
  • HTML-Tabellen direkt in pandas lesen mit read_html
  • Strukturierte Daten aus JSON-LD und Microdata extrahieren, etwa Produkt oder Veranstaltung
Paginierung, Formulare und Sitzungen
  • Paginierungsarten: Seitenzahl in der URL, Weiter-Link, Offset und Cursor in einer JSON-API
  • Endlose Listen mit Nachladen beim Scrollen über die dahinterliegende Anfrage abrufen
  • Suchformulare per GET und POST senden, versteckte Felder und CSRF-Token übernehmen
  • Anmeldung mit eigenem Zugang und Sitzungscookies, Abmeldung und Ablauf erkennen
  • Asynchron abrufen mit httpx.AsyncClient und einem asyncio.Semaphore als Obergrenze
Dynamische Seiten mit Playwright
  • Wann ein Browser nötig ist und was er an Zeit und Ressourcen kostet
  • Seite rendern und auf Inhalte warten mit Locators und wait_for statt fester Pausen
  • JSON-Antworten der Seite mit page.expect_response abfangen statt das DOM zu lesen
  • Bilder, Schriften und Tracker mit page.route blockieren, um Last und Laufzeit zu senken
  • Gerenderten Quelltext mit page.content() an Beautiful Soup oder parsel übergeben
Scrapy für große Crawls
  • Scrapy-Projekt und Spider: asynchrones start(), parse, Folgelinks mit response.follow
  • Selektoren in Scrapy mit response.css und response.xpath, Ausprobieren in der scrapy shell
  • Items, Item Loaders und Item Pipelines für Bereinigung, Prüfung und Speicherung
  • Einstellungen für höfliches Crawlen: ROBOTSTXT_OBEY, AutoThrottle, Parallelität je Domain
  • HTTP-Cache und Wiederaufnahme unterbrochener Crawls mit JOBDIR
  • Feed-Exporte nach JSON Lines und CSV, scrapy-playwright für JavaScript-Seiten
robots.txt, Ratenbegrenzung und höfliches Crawlen
  • robots.txt lesen und mit urllib.robotparser auswerten, Crawl-delay beachten
  • Pausen zwischen Anfragen, Obergrenze je Host und Abruf außerhalb der Hauptlastzeiten
  • Status 429 und 503 auswerten, Retry-After respektieren, exponentielles Backoff mit tenacity
  • Bereits geladene Seiten zwischenspeichern, bedingte Anfragen mit ETag und If-Modified-Since
  • Zugangssperren, CAPTCHAs und Bot-Schutz als Signal verstehen, nicht als Hürde zum Umgehen
Daten bereinigen, prüfen und speichern
  • Texte normalisieren: Leerraum, Sonderzeichen, Preise mit Dezimalkomma, Datumsangaben
  • Datensätze mit Pydantic-Modellen validieren und fehlerhafte Einträge getrennt protokollieren
  • Dubletten über stabile Schlüssel erkennen, Änderungen über Prüfsummen nachverfolgen
  • Speichern als JSON Lines, CSV, in SQLite oder als Parquet für die Auswertung
  • Zeitreihen von Beobachtungen: Erfassungszeitpunkt mitschreiben, Historie nicht überschreiben
Fehlerbehandlung, Betrieb und Überwachung
  • Fehlerarten trennen: Netzwerk, HTTP-Status, geänderte Struktur, unplausible Werte
  • Erwartungen je Lauf prüfen: Mindestzahl an Treffern, Pflichtfelder, Wertebereiche
  • Strukturiertes Logging und Kennzahlen je Lauf: Anfragen, Fehler, Laufzeit, neue Datensätze
  • HTML-Schnappschüsse fehlgeschlagener Seiten aufbewahren, um Ursachen nachzuvollziehen
  • Zeitgesteuerter Lauf und Benachrichtigung – Betriebsdetails im Seminar Automatisierung (RPA) mit Python
Recht und Verantwortung im Überblick (keine Rechtsberatung)
  • Nutzungsbedingungen der Zielseite lesen und Konflikte vor dem Start klären
  • Urheberrecht und Datenbankherstellerrecht: Fragen, die bei großen Übernahmen entstehen
  • Text und Data Mining und maschinenlesbare Nutzungsvorbehalte als Prüfpunkt für die Rechtsabteilung
  • Personenbezogene Daten: Erforderlichkeit, Speicherdauer und Löschung mit dem Datenschutz abstimmen
Web-Scraping mit Claude Code
  • HTML-Schnappschüsse der Zielseite lokal speichern; der Agent entwickelt den Parser nur gegen diese Dateien
  • pytest-Fälle mit erwarteten Feldern je Schnappschuss als Abnahme jedes vom Agenten geänderten Selektors
  • Agent sucht im exportierten HAR-Mitschnitt nach der JSON-Anfrage hinter der Seite
  • Live-Abrufe nur über den gedrosselten Client mit fester Obergrenze – kein freies curl aus dem Agenten
  • Bei Strukturänderung: neuer Schnappschuss, fehlschlagender Test, dann Reparatur durch den Agenten
Praxisprojekt: Preisbeobachtung für einen Produktkatalog
  • Katalog einer Übungsseite wie books.toscrape.com über alle Seiten mit Scrapy erfassen
  • Preise, Verfügbarkeit und Kategorie bereinigen, validieren und mit Zeitstempel in SQLite ablegen
  • Täglicher Lauf mit AutoThrottle, Cache und Bericht über Preisänderungen seit dem Vortag
  • Alarm, wenn die Trefferzahl unter die Erwartung fällt, plus Regressionstest mit Schnappschüssen
Lernziele
  • Sie finden über die Entwicklerwerkzeuge die stabilste Datenquelle einer Seite – API, strukturierte Daten oder HTML
  • Sie extrahieren Daten mit Beautiful Soup, lxml, CSS-Selektoren und XPath und behandeln Paginierung, Formulare und Sitzungen
  • Sie lesen JavaScript-lastige Seiten mit Playwright aus und setzen Scrapy für Crawls über viele Seiten ein
  • Sie crawlen höflich mit robots.txt, Drosselung, Backoff und Zwischenspeicher
  • Sie bereinigen, validieren und speichern Ergebnisse und überwachen Scraper mit Erwartungen und Alarmen
Zielgruppe
  • Analyst:innen, die Markt-, Preis- oder Wettbewerbsdaten aus dem Web regelmäßig benötigen
  • Entwickler:innen, die Datenquellen ohne Schnittstelle in eigene Systeme einbinden
  • Recherche- und Datenjournalismus-Teams, die öffentliche Quellen systematisch auswerten

*) Die Inhalte werden individuell abgestimmt und mit Praxisbeispielen abgerundet.

Ein Symbol für einen Kalender.

"Offene" Termine

Kostenlose Reservierung
Ein Symbol für Angebot erhalten.

Unser Angebot

Sind Sie auf der Suche nach einer Veranstaltung, die genau Ihrem Bedarf entspricht? Einer Veranstaltung, welche nur Inhalte vermittelt, die Sie selbst gewählt haben und speziell auf Ihr Unternehmen zugeschnitten ist? Dann sind Sie bei uns richtig!

Dauer

Ein Symbol für Dauer.
ab 1 Tag (8 UE)

Die Dauer richtet sich nach Ihren Vorstellungen und inhaltlichen Wünschen. Sie bekommen genau das, was Sie brauchen.

Preis

Ein Symbol für Preis.
ab 900 EUR (Nettopreis)
ab 1.071 EUR (Bruttopreis)

Die Preise verstehen sich bei Unternehmern gemäß § 14 BGB zzgl. MwSt. Der dargestellte Ab-Preis gilt für firmeninterne Veranstaltungen und entspricht dem niedrigsten Gesamtpreis für Veranstaltungen mit bis zu drei (3) Teilnehmenden.

Termin

Ein Symbol für einen Kalender.
Ganztägig + halbtägig
nach Vereinbarung

Ihr Wunschtermin wird bei der Planung berücksichtigt. Die Veranstaltung findet ganztägig + halbtägig zu flexiblen Zeiten statt.

Ihre Vorteile

Ein Symbol für ein Vorgespräch durchführen.
Persönliches Vorgespräch
Ein Symbol für die individuelle Vorbereitung.
Individuelle Vorbereitung
Ein Symbol für Experten aus der Praxis.
Experten aus der Praxis
Ein Symbol für ein Zertifikat.
Inklusive Zertifikat

Unsere Garantien

1. Relevanz-Garantie

Wir passen den Inhalt spezifisch an die Bedürfnisse jedes Teilnehmers an. Irrelevante Themen werden ausgespart, um den größtmöglichen Nutzen zu garantieren.

2. Qualitäts-Garantie

Durch regelmäßiges Feedback optimieren wir unsere Schulungen kontinuierlich und garantieren Ihnen ein Lernerlebnis der Extraklasse.

3. Zufriedenheits-Garantie

Unsere Zufriedenheitsgarantie spricht für sich – bei Unzufriedenheit entstehen Ihnen keine Kosten.

Wir helfen gerne weiter!

Rufen Sie uns an, schreiben eine E-Mail oder nutzen das Kontaktformular.

Jetzt anfragen
Einige Unternehmen, für die wir tätig waren

dimedis GmbH

NAVTEQ Germany GmbH & Co. KG

Kreisstadt Merzig

Teilnehmer

Feedback

Herr Hecker ist sehr gut auf individuelle Wünsche, Fragen und Anregungen eingegangen. Eine sehr informative, interessante und gelungene Veranstaltung.
Teilnehmer

Feedback

Herr Hecker hat das Thema sehr anschaulich dargestellt und ist auf alle Fragen eingegangen. Ich fühle mich jetzt gut vorbereitet, um durchzustarten.
Teilnehmer

Feedback

Die gelassene, professionelle Art hat mir gut gefallen. Kompetent, engagiert, professionell. Gute Beispiele, sympathisches Auftreten. Eigene Themenideen wurden aufgegriffen.
Unser Angebot für Ihre firmeninterne Beratung, Coaching, Workshop, Training und Weiterbildung

Lösungen für Ihren Bedarf an Coaching, Workshop, Training, Schulung und Weiterbildung

Profitieren Sie von unserer langjährigen Expertise in der beruflichen Weiterbildung, modernen Lernmethoden und einem Portfolio von über 600 IT-, Online- und Digital-Beratungsleistungen.
Selbstverständlich lassen sich die einzelnen Themen kombinieren. So erhalten Sie genau die Weiterbildung, die Sie wünschen und brauchen - als Coaching, Workshop, Training, Schulung und Weiterbildung!

✓
Ein Symbol für eine einzelne Person.

Für eine Person

Training & Coaching für Einzelpersonen

  • Passgenaue Inhalte auf den einzelnen Teilnehmer zugeschnitten
  • Ein sehr effektives Format, das schnell Ergebnisse bringt
  • Individuelles Training und Coaching motivieren und wirken
Jetzt anfragen
✓
Ein Symbol für eine Gruppe von Personen.

Für eine Gruppe

Training & Workshops für Teams und Abteilungen

  • Bedarfsgerechte Inhalte auf die Herausforderung der Praxis zugeschnitten
  • Konsequente Praxisorientierung, modernste Techniken und Tools
  • Neue Fähigkeiten und Kenntnisse nachhaltig in den Arbeitsalltag integrieren
Jetzt anfragen
✓
Ein Symbol für ein Unternehmen.

Für eine Firma

Training-Komplett-Lösungen für Ihr Unternehmen‍

  • Ganzheitliche Konzepte für Ihre Mitarbeiterentwicklung
  • Individueller Skill-Katalog zur Erweiterung Ihres internen Weiterbildungsangebots
  • Nachhaltige Personalentwicklung realisieren
Jetzt anfragen

Anfrage für eine unverbindliche + kostenlose Erstberatung zum Thema

Web-Scraping mit Python - Beratung, Coaching, Workshop, Training, Schulung und Weiterbildung

Wir freuen uns über Ihre Anfrage und antworten so schnell es geht!

Ich interessiere mich für den Termin:

Termin anfragen

Das Angebot von "HECKER CONSULTING" richtet sich ausschließlich an Unternehmen und Behörden (iSv § 14 BGB). Verbraucher (§ 13 BGB) sind vom Vertragsschluss ausgeschlossen. Mit Absendung der Anfrage bestätigt der Anfragende, dass er nicht als Verbraucher, sondern in gewerblicher Tätigkeit handelt. § 312i Abs. 1 S. 1 Nr. 1-3 und S. 2 BGB (Pflichten im elektronischen Geschäftsverkehr) finden keine Anwendung.

Vielen Dank, Ihre Nachricht wurde empfangen!
Beim Absenden des Formulars ist etwas schiefgelaufen.
Beratung, Coaching, Workshop, Training, Schulung

Ähnliche Leistungen, die Sie interessieren könnten.

Wir erweitern ständig unser Beratungsportfolio. Über 600 IT-, Online-, Digital-Beratungsleistungen haben wir für Sie im Programm. Selbstverständlich lassen sich die einzelnen Themen kombinieren. So erhalten Sie genau die Beratung, die Sie wünschen und brauchen - als Coaching, Workshop, Training, Schulung und Weiterbildung!

Mehr IT-, Online-, Digital-Beratungsleistungen anzeigen >>
Mehr IT-, Online-, Digital-Leistungen anzeigen >>
Nach oben