16.04.2019
Von Peter Hecker, Inhaber von HECKER CONSULTINGWarum viele Unternehmen 2019 Daten sammelten, sie aber kaum für Entscheidungen nutzten, und welche Trends für Big Data damals absehbar waren.
In den letzten zwei Jahren hat die effektive Nutzung von Daten viele Unternehmen in ihrer Geschäftstätigkeit verändert.
Es geht nicht darum, was wir wissen. Es geht darum, was wir mit dem tun, was wir wissen.
Das ist es, was die Unternehmen weltweit zu lernen beginnen. Die Unternehmen haben die Kunst verstanden, Daten zu sammeln, aber noch immer an der Oberfläche zu kratzen, wenn es um die Nutzung der Daten für effektive datengestützte Entscheidungen geht. Die meisten Unternehmen verwenden immer noch Datenanalysen, um die betriebliche Leistung der Vergangenheit zu verstehen. Die Unternehmen müssen einen effektiven Weg finden, Datenanalyse zur Ableitung der Unternehmensleistung zu nutzen. Der Schlüssel für verschiedene Unternehmen liegt darin, Datenanalysen für die geschäftliche Vorausschau und nicht für die Gewinnung operativer Einblicke zu nutzen.
Es ist eine Tatsache, dass die meisten globalen Daten in den letzten zwei Jahren erstellt wurden. Mit der Expansion von Digital stehen Daten im Rampenlicht, und für den Datenverkehr wurden bis 2025 mehr als 100 Zettabytes prognostiziert. Für den weltweiten Umsatz im Bereich Big Data und Datenanalyse wurden bis 2020 über 200 Milliarden Dollar erwartet. Wenn Sie ein Unternehmen sind, das die großen Daten noch nicht effektiv nutzt, sind Sie nicht allein, und es gibt viele Unternehmen, die sich bereits Gedanken darüber gemacht haben. Der Grund dafür, dass Unternehmen noch nicht damit begonnen haben, Daten effektiv zu nutzen, liegt an der Geschwindigkeit, mit der die Daten eintreffen, und an der ständig wachsenden Zahl von Quellen: Mobilgeräte, Cloud-Anwendungen, das Internet der Dinge und Wearables. Hinzu kommen Echtzeitdaten aus sozialen Medien. Die Geschäftsplanung des Unternehmens ist nicht auf die Geschwindigkeit abgestimmt, mit der die Daten gesammelt werden.
Es ist für Unternehmen schwierig geworden, diese großen Datenmengen zu verwalten und zu pflegen, da die meisten neuen Quellen heutzutage Daten in unstrukturierten Formaten liefern, die in Verbindung mit den meist relationalen Unternehmensdaten verwendet werden müssen. Die Anforderungen an den Datenschutz und die Einhaltung von Vorschriften machen dies noch komplexer. Daher erstellen Unternehmen jetzt strategische Daten- und Analysepläne, die parallel zum Geschäftswachstumsplan verlaufen.
Es ist wichtig, dass alle Mitarbeiter im Unternehmen den Wert verstehen, den die Datenanalyse für den Betrieb des Unternehmens darstellt.
Insgesamt wird das Problem einfacher, wenn die Daten zentral gehalten werden, aber dies ist in der Praxis nicht möglich, da es viele Alt-Anwendungen gibt, die die Daten individuell speichern und auch nutzen.
Es war Clive Humby, ein britischer Mathematiker, der 2006 die Aussage "Data is new Oil" (Daten sind neues Öl) prägte. Die Aussage wurde von vielen in den letzten 12 Jahren verwendet. Er sagte: "Daten sind das neue Öl. Es ist wertvoll, aber wenn es nicht raffiniert ist, kann es nicht wirklich verwendet werden. Sie müssen in Gas, Plastik, Chemikalien usw. umgewandelt werden, um eine wertvolle Einheit zu schaffen, die eine gewinnbringende Aktivität antreibt; deshalb müssen Daten aufgeschlüsselt und analysiert werden, damit sie einen Wert haben". Es ist eine großartige Analogie, die gut funktioniert, aber Daten haben andere Eigenschaften, die diese Analogie aufbrechen - zum Beispiel ist Öl eine endliche Ressource, aber Daten sind unendlich und können auch wiederverwendet werden.
Der häufigste Faktor für Daten und Öl ist die Energiequelle. Die Menschen, die sie kontrollieren, etablieren sich als diejenigen, die das Universum kontrollieren. Unternehmen wie Amazon, Facebook und Google etablieren sich als Herren des Daten-Universums.
Wir sehen Alternativen zum Öl, aber es gibt keine Alternative zu Daten.
Daher wird es mehr Unternehmen geben, die sich im Rennen um die Liste der universellen Herrscher befinden. Daten scheinen auch umweltfreundlicher als Öl zu sein und dies hoffentlich auch zu bleiben. So wie Öl ohne Raffinieren nicht verwendet werden kann, so müssen Daten analysiert werden, um den Erfolg des Unternehmens effektiv zu transformieren.
Daten und Analytik ist die Schlüsselkomponente der digitalen Transformationsreise. Die Unternehmen, die sich auf dieser Reise der Transformation befinden, stellen fest, dass Daten ihr größtes Kapital sind. Die meisten Online-Unternehmen sind in der Lage, Benutzerinformationen zu sammeln, die von anderen Unternehmen effektiv genutzt werden können, und daher können diese gesammelten Daten ein Aktivposten sein, der von einer anderen Geschäftssparte genutzt werden kann.
Die meisten Unternehmen haben mittlerweile begonnen, die Daten zu analysieren, aber sie haben immer noch Schwierigkeiten, die großen Datenmengen die hereinkommen, zu verwalten. Es gibt heute viele Werkzeuge und Technologien für die Datenanalyse, aber es gibt immer noch eine große Lücke, wenn es darum geht, ein praktisches Werkzeug zu bekommen, das im Kontext des Unternehmens eingesetzt werden kann. Unternehmen konzentrieren sich heute mehr auf die Verbindung oder Integration verschiedener Anwendungen in Unternehmen, aber die Daten sind immer noch fragmentiert.
Da sich der Geschäftsfokus in Richtung datengestützter Entscheidungsfindung bewegen muss, hat sich Big Data Analytics als Teil der Sammlung von Informationen etabliert, die bei kritischen Geschäftsentscheidungen helfen. Fast alle Unternehmen, insbesondere im Online-Geschäft, werden Big Data als Mainstream-Praxis verwenden.
In den nächsten Jahren ist zu erwarten, dass einige Tools, Technologien und Trends populärer werden als andere. Es werden neue Konzepte und Technologien auf den Markt kommen, und ältere Tools und Technologien werden verblassen. Diese neueren Technologien und Techniken werden Geschäftsinformationen sammeln, die die Art und Weise, wie Geschäfte gemacht werden, verändern. Dabei werden insbesondere die folgenden Themen wichtig werden:
Ein neuer Trend ist der Einsatz von Plattformen der Künstlichen Intelligenz (KI) zur Verarbeitung großer Datenmengen. Dies stellt eine erhebliche Verbesserung bei der Erfassung von Geschäftsdaten und damit eine Effizienzsteigerung dar. Wenn KI-Plattformen gut konzipiert sind, können sie zur Kostensenkung beitragen, indem sie einfache und zeitraubende Aktivitäten überflüssig machen. Data Governance kann auch durch KI-Plattformen ermöglicht werden.
Maschinelles Lernen (ML) ist ein Zweig der künstlichen Intelligenz, der sich darauf konzentriert, Computersysteme neue Dinge lernen zu lassen, ohne explizit programmiert zu werden. ML analysiert vorhandene große Datenbestände auf Anwendungsverhalten und Datenänderungen. Fortgeschrittene Plattformen/Systeme des maschinellen Lernens und der künstlichen Intelligenz sind dabei, Systeme zu schaffen, die selbständig verstehen, lernen, vorhersagen, sich anpassen und funktionieren.
In dem Versuch, die Verarbeitung großer Datenmengen zu beschleunigen, versuchen einige Unternehmen zu prüfen, ob die Verarbeitung im Speicher erfolgt. Traditionell werden Daten in Datenbanken in Speichersystemen gespeichert, die mit Festplatten oder Solid-State-Laufwerken ausgestattet sind. Bei der In-Memory-Technologie werden die Daten im RAM gespeichert, was um ein Vielfaches schneller ist. SAP-HANA ist eines der Beispiele für den Einsatz der In-Memory-Technologie.
In den frühen Tagen von Big Data Analytics haben sich Unternehmen mit Daten befasst, um einen Einblick in vergangene Leistungen zu erhalten. Dadurch erhielten sie ein gutes Dashboard ihrer Geschäftsabläufe. Die prädiktive Analyse geht noch einen Schritt weiter, denn sie hilft bei der Generierung künftiger Geschäftsmodelle aus den aus internen und externen Datenquellen gesammelten Geschäftsinformationen. Predictive Analytics ist geschäftliche Vorausschau, und Business Intelligence wird im Zusammenhang mit einem Business Case durchgeführt. Die Werkzeuge der Prädiktiven Analytik werden auf dem Markt einen großen Schub erfahren.
Es gibt natürlich immer wieder weitere Trends und Instrumente, die in den nächsten Jahren erscheinen werden. Big Data-Trends sind wichtig, die man im Auge behalten sollte. Daten sind etwas, das für alle Unternehmen am wichtigsten ist. Die Vorteile, die sich aus der Sammlung, Bereinigung und Verwaltung von Daten sowie aus der Durchführung einer angemessenen Business Intelligence ergeben, werden der Weg sein, den alle Unternehmen beschreiten müssen.
Big Data und Analytics werden in den nächsten Jahren als Megatrend bestehen bleiben!
Wir erweitern ständig unser Beratungsportfolio. Über 600 Beratungsleistungen haben wir für Sie im Programm. Selbstverständlich lassen sich die einzelnen Themen kombinieren. So erhalten Sie genau die Beratung, die Sie wünschen und brauchen.
Mehr IT-, Online-, Digital-Beratungsleistungen anzeigen >>Ihr Einstieg in Apache Airflow 3: Sie automatisieren und orchestrieren Datenpipelines als DAGs in Python, verknüpfen Python- und SQL-Schritte, steuern sie zeit- oder datengetrieben über Assets und holen ausgefallene Tage per Backfill nach.
Sie legen Indizes mit passenden Mappings an, finden per Query DSL oder ES|QL genau die richtigen Dokumente, werten sie mit Aggregationen aus und visualisieren die Ergebnisse in Kibana.
Sie bauen Datenpipelines mit PostgreSQL: Dateien und Fremdsysteme mit COPY und Foreign Data Wrappers anbinden, in Staging-Schemas bereinigen, mit MERGE und Upserts übernehmen und Ladeläufe wiederholbar und inkrementell gestalten.
Sie bauen den Elastic Stack vom Cluster bis zur Lösung auf: Daten mit Elastic Agent, Beats und Logstash einsammeln, in Elasticsearch verwalten, in Kibana auswerten und für Observability und Security nutzen.
Sie ordnen Data Science, maschinelles Lernen und KI im Unternehmen richtig ein, stellen Ihrem Datenteam die entscheidenden Fragen und erkennen, welches Analyseergebnis eine Maßnahme trägt – ganz ohne selbst zu programmieren.
Sie betreiben einen Kafka-Cluster im KRaft-Modus, arbeiten sicher mit Topics, Partitionen und Consumer Groups auf der Kommandozeile und schreiben verlässliche Producer und Consumer in Java.
Sie verstehen, wie Daten aus Quellsystemen verlässlich in Auswertungen gelangen, und bauen selbst eine geplante ETL/ELT-Pipeline mit Python, SQL, Spark und Airflow – inklusive Datenqualitätsprüfungen.
Aktuelle und interessante Themen und Beiträge für Sie zusammengetragen und aufbereitet.
Algorithmen, die in der Lage sind, Bilder zu verstehen, sind eine wichtige technologische Grundlage für viele Innovationen. Zusammen mit der Sprachverarbeitung (Natural Language Processing, NLP) sind sie von grundlegender Bedeutung für unsere Bemühungen, Maschinen zu bauen, die in der Lage sind, die Welt um sie herum zu verstehen und zu lernen, so wie wir es tun. In der Regel handelt es sich dabei um Anwendungen, die auf Deep Learning basieren. Werfen wir also einen Blick auf einige der wichtigsten Trends, die wir im Zusammenhang mit dieser faszinierenden Technologie verfolgen werden.
Aus der Data Science ging die KI hervor, die Fähigkeit von Maschinen, zu "lernen" und auf der Grundlage der ihnen zur Verfügung stehenden Daten immer bessere Vorhersagen zu treffen. Die aufregendsten Trends im Bereich Daten drehen sich heute um diese kognitiven Entscheidungsfähigkeiten.
Da sich Unternehmen schnell an veränderte Umstände anpassen müssen, ist es wichtiger denn je, zur richtigen Zeit und am richtigen Ort Zugriff auf die richtigen Daten zu haben. Es ist keine Übertreibung zu sagen, dass viele Unternehmen in Daten ertrinken. Wir brauchen Struktur und Disziplin, um zu verstehen, was - im Moment - eine Erkenntnis ist und was einfach nur Rauschen ist.
Was ist Big Data? Die Grundlagen von Volumen bis Wert, wie verteilte Speicherung, Lakehouse und Streaming funktionieren, wofür Unternehmen große Datenmengen nutzen und was bei KI und Datenschutz zählt.
Führende Unternehmen wissen, dass sie über den Tellerrand hinausschauen müssen, wenn es darum geht, in der digitalisierten Wirtschaft die Nase vorn zu haben und zu bleiben. Und sie setzen neue Tools ein, um die Stärke von Big Data zu erschließen und immer größere und ausgefeiltere Fähigkeiten im gesamten Unternehmen zu nutzen, die sie zu neuen Erfolgen führen können.
