29.03.2019
Von Peter Hecker, Inhaber von HECKER CONSULTINGBig Data verständlich erklärt: die V's, verteilte Speicherung, Data Lake und Lakehouse, Streaming, Cloud, Beispiele aus der Praxis sowie KI und Datenschutz.
Ein Stromzähler im Keller wurde früher einmal im Jahr abgelesen. Ein intelligentes Messsystem, wie es nach und nach in deutschen Haushalten und Betrieben eingebaut wird, erfasst den Verbrauch im Viertelstundentakt. Aus einem Wert pro Jahr werden so 35.040. Multipliziert mit den Kunden eines Stadtwerks, ergänzt um Wetterdaten, Netzlasten und Einspeisungen von Solaranlagen, entsteht eine Datenmenge, die sich mit einer Excel-Tabelle und einem einzelnen Datenbankserver nicht mehr sinnvoll auswerten lässt. Genau das ist gemeint, wenn von Big Data die Rede ist.
Kurz gesagt: Big Data bezeichnet Datenmengen, die so groß, so schnell entstehend oder so vielfältig sind, dass herkömmliche Datenbanken und Auswertungswerkzeuge sie nicht mehr bewältigen. Gemeint sind zugleich die Technologien und Methoden, mit denen Unternehmen solche Daten speichern, verarbeiten und auswerten. Entscheidend ist dabei nicht die Menge der Daten, sondern was ein Unternehmen daraus macht.
Um Big Data zu beschreiben, hat sich eine Reihe englischer Begriffe mit dem Anfangsbuchstaben V eingebürgert. Am Anfang standen drei, die der Analyst Doug Laney 2001 bei der Meta Group formulierte; später kamen weitere hinzu.
Die Menge der erzeugten und gespeicherten Daten. Sie bestimmt, welcher Wert und welche Einsichten in den Daten stecken können – und ob sich der Aufwand für spezielle Technik lohnt. Eine feste Grenze, ab der Daten „big“ sind, gibt es nicht. Eine brauchbare Faustregel: Big Data beginnt dort, wo ein einzelner Rechner die Daten nicht mehr in vertretbarer Zeit verarbeiten kann.
Das Tempo, in dem Daten entstehen und verarbeitet werden müssen. Big Data entsteht oft kontinuierlich und steht nahezu in Echtzeit zur Verfügung: Sensorwerte, Klicks in einem Onlineshop, Zahlungsvorgänge. Dabei sind zwei Geschwindigkeiten zu unterscheiden – wie häufig Daten erzeugt werden und wie schnell sie verarbeitet, gespeichert und weitergegeben werden. Eine Betrugserkennung bei Kartenzahlungen nützt nur, wenn sie in Sekundenbruchteilen entscheidet.
Art und Beschaffenheit der Daten. Neben strukturierten Daten, die in Tabellen mit festen Spalten passen, gehören dazu halbstrukturierte Daten wie Protokolldateien oder JSON-Nachrichten und unstrukturierte Daten wie Texte, Bilder, Audio und Video. Big-Data-Verfahren verknüpfen solche Quellen und schließen Lücken, indem sie Daten aus verschiedenen Herkünften zusammenführen (Datenfusion).
Die Qualität und Verlässlichkeit der Daten. Sie kann stark schwanken: doppelte Kundendatensätze, fehlerhafte Sensoren, unvollständige Formulare. Je schlechter die Datenqualität, desto weniger taugen die Ergebnisse der Analyse.
Das wichtigste V zum Schluss: Daten sind nur so viel wert wie die Entscheidungen, die sie verbessern. Wer große Mengen speichert, ohne eine Frage an sie zu haben, erzeugt vor allem Kosten.
Das Grundprinzip ist Arbeitsteilung. Statt einen immer größeren Server zu kaufen, verteilen Big-Data-Systeme Daten und Rechenarbeit auf viele Rechner, die parallel arbeiten. Fällt einer aus, übernehmen die anderen.
Lange stand Apache Hadoop für Big Data schlechthin. Das Open-Source-Projekt speicherte Daten verteilt über viele Server (HDFS) und verarbeitete sie dort, wo sie lagen. Hadoop machte große Datenmengen auf günstiger Standardhardware erstmals bezahlbar. Heute spielt es in neuen Projekten kaum noch eine Rolle. Abgelöst wurde es vor allem durch Apache Spark, das Daten im Arbeitsspeicher verarbeitet und dadurch deutlich schneller ist, und durch Speicherdienste in der Cloud.
Ein Data Warehouse sammelt aufbereitete, strukturierte Daten für Berichte und Auswertungen. Ein Data Lake nimmt dagegen Rohdaten jeder Art auf, zunächst ohne feste Struktur – günstig, aber ohne Ordnung schnell ein „Datensumpf“. Das Lakehouse verbindet beides: Die Daten liegen günstig im Objektspeicher, offene Tabellenformate wie Delta Lake oder Apache Iceberg sorgen dafür, dass sie sich wie in einer Datenbank abfragen und ändern lassen. Plattformen wie Databricks, Snowflake oder Microsoft Fabric bauen auf diesem Prinzip auf. Welche Anbieter dafür Speicher bereitstellen und worin sie sich unterscheiden, zeigt unser Überblick über Cloud-Speicher für Big Data.
Klassische Auswertungen arbeiten im Stapel (Batch): Einmal pro Nacht werden die Daten des Tages verarbeitet. Beim Streaming werden Daten dagegen verarbeitet, während sie entstehen. Apache Kafka hat sich als Standard etabliert, um Datenströme zwischen Systemen zuverlässig zu transportieren; Werkzeuge wie Apache Flink oder Spark werten sie laufend aus. So kann ein Logistikunternehmen eine Verspätung erkennen, während der Lkw noch unterwegs ist.
Zwischen Quelle und Auswertung liegen Datenpipelines, die Daten abholen, bereinigen, umformen und ablegen. Ihr Aufbau und Betrieb ist Aufgabe des Data Engineering. In vielen Projekten steckt hier der größte Teil der Arbeit – mehr als in der eigentlichen Analyse. Einen Einstieg in diese Arbeit bietet das Seminar Data Engineering für Einsteiger.
Wer große Datenmengen selbst speichern und verarbeiten will, muss Hardware für die Spitzenlast kaufen, auch wenn sie den Großteil des Jahres ungenutzt bleibt. Die Cloud dreht diese Rechnung um: Speicher wird nach Verbrauch bezahlt, Rechenleistung lässt sich für eine Auswertung kurzfristig hochfahren und danach wieder abschalten. Die großen Anbieter liefern verwaltete Dienste für Speicherung, Streaming und Analyse gleich mit, sodass sich niemand um Serverwartung oder Software-Updates kümmern muss. Die Grundbegriffe erklärt unser Beitrag Cloud Computing – eine Einführung.
Ganz ohne Haken ist das nicht. Die Kosten wachsen leise mit, wenn niemand Speicherklassen und Abfragen im Blick behält. Und wer personenbezogene Daten oder Geschäftsgeheimnisse in die Cloud gibt, muss klären, wo sie verarbeitet werden und wer darauf zugreifen kann. Europäische Rechenzentrumsstandorte und souveräne Cloud-Angebote der großen Anbieter sind deshalb für viele deutsche Unternehmen ein Auswahlkriterium geworden.
Business Intelligence (BI) beantwortet vor allem die Frage, was passiert ist: Umsätze nach Region, Auftragseingang nach Monat, aufbereitet in Berichten und Dashboards. Die Daten sind meist strukturiert und stammen aus ERP, CRM und Buchhaltung. Wie BI funktioniert und welche Werkzeuge dafür üblich sind, erklärt der Beitrag Business Intelligence – eine Einführung.
Big-Data-Analytics geht darüber hinaus. Sie bezieht unstrukturierte und sehr schnell entstehende Daten ein und fragt zusätzlich, warum etwas passiert ist, was als Nächstes passieren wird (Vorhersage) und was man tun sollte (Empfehlung). Die Grenzen verschwimmen: Moderne BI-Werkzeuge greifen direkt auf Lakehouse-Plattformen zu. Den Nutzen von Big-Data-Analytics fassen drei Punkte zusammen, die schon 2019 galten und bis heute gelten:
Künstliche Intelligenz und Big Data hängen eng zusammen. Maschinelles Lernen erkennt Muster, indem es aus vielen Beispielen lernt – je mehr gute Beispiele, desto besser. Große Sprachmodelle wie die hinter ChatGPT oder Microsoft Copilot wurden mit riesigen Textmengen trainiert. Ohne die Techniken, die für Big Data entwickelt wurden, wäre dieses Training nicht möglich gewesen.
Für die meisten Unternehmen geht es aber nicht darum, eigene Modelle zu trainieren. Sie nutzen fertige KI-Modelle und verbinden sie mit ihren eigenen Daten, etwa indem ein Assistent vor jeder Antwort in Handbüchern, Verträgen und Tickets nachschlägt. Dafür zählt weniger die Menge als die Ordnung: Sind die Daten aktuell, auffindbar, mit Rechten versehen und frei von Widersprüchen? Unternehmen, die ihre Datenhaltung in den vergangenen Jahren aufgeräumt haben, kommen mit KI deutlich schneller voran. Überschätzt wird dagegen die Idee, man müsse nur genug Daten sammeln, dann finde die KI schon etwas.
Big Data und Datenschutz stehen in einem Spannungsverhältnis. Die Datenschutz-Grundverordnung (DSGVO) verlangt, personenbezogene Daten nur für festgelegte Zwecke zu erheben und so wenige wie nötig zu verarbeiten (Zweckbindung und Datenminimierung, Art. 5 DSGVO). Die Big-Data-Logik „erst einmal alles sammeln, Fragen kommen später“ verträgt sich damit nicht.
Das ersetzt keine Rechtsberatung, zeigt aber die Richtung: Datenschutz gehört bei Big-Data-Projekten an den Anfang, nicht ans Ende.
Der Begriff Big Data hat seinen Höhepunkt als Modewort hinter sich. Die Sache selbst ist geblieben und heute Alltag: in Cloud-Plattformen, in BI-Werkzeugen und als Grundlage für KI. Für die meisten mittelständischen Unternehmen lautet die ehrliche Antwort: Petabytes haben Sie wahrscheinlich nicht, und das ist auch nicht nötig. Wichtiger als die Größe sind eine klare Frage, saubere Daten und Menschen, die mit ihnen umgehen können.
Meine Empfehlung: Beginnen Sie nicht mit der Technik, sondern mit einer konkreten Entscheidung, die Sie besser treffen wollen – etwa wann eine Maschine gewartet oder wie viel Ware bestellt werden soll. Prüfen Sie dann, welche Daten dafür vorhanden sind und in welcher Qualität. Die Plattform folgt daraus, und sie läuft heute in den meisten Fällen in der Cloud.
Eine feste Grenze gibt es nicht. Von Big Data spricht man, wenn Menge, Tempo oder Vielfalt der Daten die Möglichkeiten einer herkömmlichen Datenbank auf einem einzelnen Server übersteigen.
Für neue Projekte kaum noch. Viele bestehende Installationen laufen weiter, neue Vorhaben setzen meist auf Objektspeicher in der Cloud, Spark und Lakehouse-Plattformen.
Ein Data Warehouse speichert aufbereitete, strukturierte Daten für Berichte. Ein Data Lake speichert Rohdaten jeder Art. Das Lakehouse verbindet beides auf einer Plattform.
Nein, aber sie macht den Einstieg leichter, weil Speicher und Rechenleistung nach Bedarf bezahlt werden. Wer Daten aus rechtlichen Gründen im eigenen Rechenzentrum halten muss, kann dieselben Open-Source-Werkzeuge auch selbst betreiben.
Je nach Rolle unterschiedliche: Data Engineers bauen Datenpipelines und brauchen SQL, Python und Kenntnisse in Cloud-Plattformen. Data Scientists werten Daten mit Statistik und maschinellem Lernen aus. Fachabteilungen brauchen vor allem Datenkompetenz – das Verständnis, welche Fragen Daten beantworten können und welche nicht.
Wir erweitern ständig unser Beratungsportfolio. Über 600 Beratungsleistungen haben wir für Sie im Programm. Selbstverständlich lassen sich die einzelnen Themen kombinieren. So erhalten Sie genau die Beratung, die Sie wünschen und brauchen.
Mehr IT-, Online-, Digital-Beratungsleistungen anzeigen >>Ihr Einstieg in Apache Airflow 3: Sie automatisieren und orchestrieren Datenpipelines als DAGs in Python, verknüpfen Python- und SQL-Schritte, steuern sie zeit- oder datengetrieben über Assets und holen ausgefallene Tage per Backfill nach.
Sie legen Indizes mit passenden Mappings an, finden per Query DSL oder ES|QL genau die richtigen Dokumente, werten sie mit Aggregationen aus und visualisieren die Ergebnisse in Kibana.
Sie bauen Datenpipelines mit PostgreSQL: Dateien und Fremdsysteme mit COPY und Foreign Data Wrappers anbinden, in Staging-Schemas bereinigen, mit MERGE und Upserts übernehmen und Ladeläufe wiederholbar und inkrementell gestalten.
Sie bauen den Elastic Stack vom Cluster bis zur Lösung auf: Daten mit Elastic Agent, Beats und Logstash einsammeln, in Elasticsearch verwalten, in Kibana auswerten und für Observability und Security nutzen.
Sie ordnen Data Science, maschinelles Lernen und KI im Unternehmen richtig ein, stellen Ihrem Datenteam die entscheidenden Fragen und erkennen, welches Analyseergebnis eine Maßnahme trägt – ganz ohne selbst zu programmieren.
Sie betreiben einen Kafka-Cluster im KRaft-Modus, arbeiten sicher mit Topics, Partitionen und Consumer Groups auf der Kommandozeile und schreiben verlässliche Producer und Consumer in Java.
Sie verstehen, wie Daten aus Quellsystemen verlässlich in Auswertungen gelangen, und bauen selbst eine geplante ETL/ELT-Pipeline mit Python, SQL, Spark und Airflow – inklusive Datenqualitätsprüfungen.
Aktuelle und interessante Themen und Beiträge für Sie zusammengetragen und aufbereitet.
Algorithmen, die in der Lage sind, Bilder zu verstehen, sind eine wichtige technologische Grundlage für viele Innovationen. Zusammen mit der Sprachverarbeitung (Natural Language Processing, NLP) sind sie von grundlegender Bedeutung für unsere Bemühungen, Maschinen zu bauen, die in der Lage sind, die Welt um sie herum zu verstehen und zu lernen, so wie wir es tun. In der Regel handelt es sich dabei um Anwendungen, die auf Deep Learning basieren. Werfen wir also einen Blick auf einige der wichtigsten Trends, die wir im Zusammenhang mit dieser faszinierenden Technologie verfolgen werden.
Aus der Data Science ging die KI hervor, die Fähigkeit von Maschinen, zu "lernen" und auf der Grundlage der ihnen zur Verfügung stehenden Daten immer bessere Vorhersagen zu treffen. Die aufregendsten Trends im Bereich Daten drehen sich heute um diese kognitiven Entscheidungsfähigkeiten.
Da sich Unternehmen schnell an veränderte Umstände anpassen müssen, ist es wichtiger denn je, zur richtigen Zeit und am richtigen Ort Zugriff auf die richtigen Daten zu haben. Es ist keine Übertreibung zu sagen, dass viele Unternehmen in Daten ertrinken. Wir brauchen Struktur und Disziplin, um zu verstehen, was - im Moment - eine Erkenntnis ist und was einfach nur Rauschen ist.
Sind Daten wirklich das neue Öl? In den letzten zwei Jahren hat die effektive Nutzung von Daten viele Unternehmen in ihrer Geschäftstätigkeit verändert. Es geht nicht darum, was wir wissen. Es geht darum, was wir mit dem tun, was wir wissen.
Führende Unternehmen wissen, dass sie über den Tellerrand hinausschauen müssen, wenn es darum geht, in der digitalisierten Wirtschaft die Nase vorn zu haben und zu bleiben. Und sie setzen neue Tools ein, um die Stärke von Big Data zu erschließen und immer größere und ausgefeiltere Fähigkeiten im gesamten Unternehmen zu nutzen, die sie zu neuen Erfolgen führen können.
