17.12.2020
Von Peter Hecker, Inhaber von HECKER CONSULTINGWarum Daten zur kritischen Ressource werden, was das dritte Computerzeitalter mit Big Data, KI, IoT und Cloud ausmacht und welche Technologiefragen anstehen.

Da sich Unternehmen schnell an veränderte Umstände anpassen müssen, ist es wichtiger denn je, zur richtigen Zeit und am richtigen Ort Zugriff auf die richtigen Daten zu haben.
Es ist keine Übertreibung zu sagen, dass viele Unternehmen in Daten ertrinken - es sind mehr vorhanden, als wir wissen, was wir damit anfangen sollen. Wir brauchen Struktur und Disziplin, um zu verstehen, was - im Moment - eine Erkenntnis ist und was einfach nur Rauschen ist. Dies muss in zunehmendem Maße in Echtzeit geschehen, da sonst die Möglichkeit verloren geht, auf der Grundlage der aktuellsten Erkenntnisse zu handeln.
Um diese Fülle an Daten zu nutzen, muss man mit einer Strategie im Kopf beginnen - was wollen Sie mit Ihren Daten machen? Das bedeutet auch, dass Sie sicherstellen müssen, dass Sie die richtigen Technologielösungen zur Verfügung haben, um die Aufgabe zu bewältigen.
Trotz der hohen Verfügbarkeit von Daten im digitalen Zeitalter - wo jede Aktion überwacht, erfasst und aufgezeichnet werden kann - sind die meisten davon in ihrer Rohform im Grunde nutzlos.
Rohdaten wie Bilder, Video-, Audio-, Text- und Standortdaten müssen strukturiert - beschriftet und in einen Kontext gebracht - werden, bevor wir sie nutzen können. Dies erfordert eine massive, leicht zugängliche Speicherinfrastruktur und eine schnelle, leistungsstarke Rechenleistung, die Tools wie maschinelles Lernen (ML) zur Bilderkennung und Sprachverarbeitung einbezieht, um die Daten in einen nutzbaren Zustand zu bringen.
Die Auswahl dieser Hardware erfordert die Fähigkeit, sich in einem Markt zurechtzufinden, in dem Hunderte von Anbietern konkurrierende Hardware- und Softwareplattformen, Datenbankstandards und Systemarchitekturen anbieten, bei denen ein falscher Schritt ein kostspieliger Fehler sein kann. Wenn wir der Aufgabe nicht gewachsen sind, werden die Vorteile wahrscheinlich an einen Mitbewerber gehen, der es ist, in diesem digitalen Zeitalter, in dem der Ansturm auf die Erfassung von Daten und die Gewinnung von Erkenntnissen der neue Goldrausch ist.
Die erste Generation des Computing - ausgelöst durch die Popularisierung des Großrechners in der Mitte des 20. Jahrhunderts - wurde durch Maschinen von der Größe von Gebäuden mit entsprechenden Preisschildern definiert, markierte aber dennoch den Punkt, an dem das Computing zu einem Werkzeug der Wirtschaft wurde.
Die zweite war die Generation der Personal Computer, hier spielten IBM und Microsoft eine entscheidende Rolle bei der Einführung von Computern, die klein genug waren, um auf die Schreibtische in unseren Häusern und Büros zu passen, und daher für Unternehmen jeder Größe zugänglich waren.
Die dritte Generation ist die des Cloud-Computings und des Internets der Dinge (IoT). Diese Generation fängt gerade erst an – noch ist alles offen. Superschnelle Konnektivität bedeutet, dass Daten überall auf der Welt gespeichert und in Mikrosekunden von Geräten jeder Form und Größe abgerufen werden können. Denken Sie nicht nur an Smartphones, sondern auch an Headsets und Brillen, Uhren, Haushaltsgeräte und Miniaturgeräte, die in unseren Autos oder Industriemaschinen eingebaut sind.
Auch wenn diese Entwicklung noch in den Kinderschuhen steckt, hat sich bereits gezeigt, dass es einige wichtige Überlegungen gibt, wenn es darum geht, die richtige Wahl der Technologie zu treffen.
Eine davon ist die Skalierbarkeit. Die heutigen Big-Data-getriebenen Unternehmen müssen in der Lage sein, Lösungen schnell zu implementieren, damit sie getestet und iteriert werden können, um immer effizienter und nützlicher zu werden. Sie müssen auch in der Lage sein, damit umzugehen, wenn Hunderte, Tausende oder (hoffentlich) Millionen von Nutzern auf sie zustürmen, in der Hoffnung, dass Ihre Daten und Erkenntnisse ihr Leben verbessern werden.
Ein weiterer Punkt sind zweifellos die Kosten, denn egal, ob Ihre Cloud-Lösung öffentlich, privat oder hybrid ist, die Kosten für die Speicherung und den Zugriff auf die Daten sowie die darauf aufbauenden Rechenoperationen werden mit Ihrem Unternehmen wachsen.
Der wichtigste Teil bei dieser Umstellung ist die Planungs- und Analysephase. Sie müssen verstehen, dass Sie nicht nur Ihre IT revolutionieren. Sie stellen die Blaupause für die Zukunft Ihres Unternehmens neu auf.
Oft geht es dabei um eine kluge Wahl der Partner. In der ersten und zweiten Generation hatten Unternehmen in der Regel IT-Abteilungen, die die Technologie verwalteten und einfach nur Tools zur Verfügung stellten, mit denen jeder arbeiten konnte. Aber der IT-Betrieb ist heute so tief in jeden Prozess eingebettet, dass dies einfach nicht mehr möglich ist. Die Bandbreite an Fähigkeiten und Fachkenntnissen, vom Datenmanagement über die Netzwerkinfrastruktur bis hin zur Cybersicherheit, ist so groß, dass mit Managed Services enorme Effizienzgewinne erzielt werden können, und das erfordert die Auswahl der richtigen externen Partner.
Die Herausforderungen können also durchaus groß sein. Aber die Unternehmen, die reif genug sind, um die richtigen technischen Lösungen für ihre Datenanforderungen zu finden, werden zweifellos belohnt.
Wir erweitern ständig unser Beratungsportfolio. Über 600 Beratungsleistungen haben wir für Sie im Programm. Selbstverständlich lassen sich die einzelnen Themen kombinieren. So erhalten Sie genau die Beratung, die Sie wünschen und brauchen.
Mehr IT-, Online-, Digital-Beratungsleistungen anzeigen >>Ihr Einstieg in Apache Airflow 3: Sie automatisieren und orchestrieren Datenpipelines als DAGs in Python, verknüpfen Python- und SQL-Schritte, steuern sie zeit- oder datengetrieben über Assets und holen ausgefallene Tage per Backfill nach.
Sie legen Indizes mit passenden Mappings an, finden per Query DSL oder ES|QL genau die richtigen Dokumente, werten sie mit Aggregationen aus und visualisieren die Ergebnisse in Kibana.
Sie bauen Datenpipelines mit PostgreSQL: Dateien und Fremdsysteme mit COPY und Foreign Data Wrappers anbinden, in Staging-Schemas bereinigen, mit MERGE und Upserts übernehmen und Ladeläufe wiederholbar und inkrementell gestalten.
Sie bauen den Elastic Stack vom Cluster bis zur Lösung auf: Daten mit Elastic Agent, Beats und Logstash einsammeln, in Elasticsearch verwalten, in Kibana auswerten und für Observability und Security nutzen.
Sie ordnen Data Science, maschinelles Lernen und KI im Unternehmen richtig ein, stellen Ihrem Datenteam die entscheidenden Fragen und erkennen, welches Analyseergebnis eine Maßnahme trägt – ganz ohne selbst zu programmieren.
Sie betreiben einen Kafka-Cluster im KRaft-Modus, arbeiten sicher mit Topics, Partitionen und Consumer Groups auf der Kommandozeile und schreiben verlässliche Producer und Consumer in Java.
Sie verstehen, wie Daten aus Quellsystemen verlässlich in Auswertungen gelangen, und bauen selbst eine geplante ETL/ELT-Pipeline mit Python, SQL, Spark und Airflow – inklusive Datenqualitätsprüfungen.
Aktuelle und interessante Themen und Beiträge für Sie zusammengetragen und aufbereitet.
Algorithmen, die in der Lage sind, Bilder zu verstehen, sind eine wichtige technologische Grundlage für viele Innovationen. Zusammen mit der Sprachverarbeitung (Natural Language Processing, NLP) sind sie von grundlegender Bedeutung für unsere Bemühungen, Maschinen zu bauen, die in der Lage sind, die Welt um sie herum zu verstehen und zu lernen, so wie wir es tun. In der Regel handelt es sich dabei um Anwendungen, die auf Deep Learning basieren. Werfen wir also einen Blick auf einige der wichtigsten Trends, die wir im Zusammenhang mit dieser faszinierenden Technologie verfolgen werden.
Aus der Data Science ging die KI hervor, die Fähigkeit von Maschinen, zu "lernen" und auf der Grundlage der ihnen zur Verfügung stehenden Daten immer bessere Vorhersagen zu treffen. Die aufregendsten Trends im Bereich Daten drehen sich heute um diese kognitiven Entscheidungsfähigkeiten.
Sind Daten wirklich das neue Öl? In den letzten zwei Jahren hat die effektive Nutzung von Daten viele Unternehmen in ihrer Geschäftstätigkeit verändert. Es geht nicht darum, was wir wissen. Es geht darum, was wir mit dem tun, was wir wissen.
Was ist Big Data? Die Grundlagen von Volumen bis Wert, wie verteilte Speicherung, Lakehouse und Streaming funktionieren, wofür Unternehmen große Datenmengen nutzen und was bei KI und Datenschutz zählt.
Führende Unternehmen wissen, dass sie über den Tellerrand hinausschauen müssen, wenn es darum geht, in der digitalisierten Wirtschaft die Nase vorn zu haben und zu bleiben. Und sie setzen neue Tools ein, um die Stärke von Big Data zu erschließen und immer größere und ausgefeiltere Fähigkeiten im gesamten Unternehmen zu nutzen, die sie zu neuen Erfolgen führen können.