Was ist Datenaufnahme?

Datenquellen umfassen Finanzsysteme, Drittanbieter von Daten, Social-Media-Plattformen, IoT-Geräte, SaaS-Apps, lokale Geschäftsanwendungen wie Enterprise Resource Planning (ERP) und Customer Relationship Management (CRM).

Diese Quellen enthalten sowohl strukturierte als auch unstrukturierte Daten sowie semistrukturierte Daten. Sobald Daten aufgenommen wurden, können sie zu Data Lakes, Data Warehouses, Data Lakehouses, Data Marts, relationalen Datenbanken und anderen nachgelagerten Anwendungen weitergeleitet werden.

Viele Tools zur Datenaufnahme automatisieren diesen Prozess, indem sie Rohdaten aus mehreren Quellen erfassen und übertragen. Je nach Architektur können Aufnahmepipelines auch Daten während der Übertragung validieren, filtern, formatieren oder transformieren und für den Einsatz durch Software zur Datenanalyse und andere Geschäftsanwendungen vorbereiten.

Die Datenaufnahme beinhaltet mitunter komplexe Pipelines, die in der Regel Fachwissen in Data Science, Datentechnik und Softwareentwicklung erfordern. Die Daten werden bereinigt und in ein einheitliches Format umgewandelt, indem ein ETL-Verfahren (Extract, Transform, Load) oder ein ELT-Verfahren (Extract, Load, Transform) verwendet wird, um den Datenlebenszyklus effektiv zu verwalten.

Die Datenaufnahme bildet den ersten Schritt bei der Verarbeitung von Daten und der Nutzung der großen Datenmengen, die Unternehmen heute erfassen. Ein gut geplanter Datenaufnahmeprozess trägt dazu bei, die Genauigkeit, Konstanz und Zuverlässigkeit der Daten bei der Übertragung zwischen Systemen zu gewährleisten, die Datenanalysen, KI-Anwendungen, betriebliche Workflows und andere Geschäftsprozesse unterstützen. Drei Hauptgründe zeigen, warum die Datenaufnahme wichtig ist:

Bei der Datenaufnahme werden Rohdaten aus verschiedenen Quellen übernommen und für die Analyse vorbereitet. Die genauen Schritte hängen von Quelle, Ziel und Aufnahmemethode ab. Eine einfache Aufnahmepipeline kann Daten mit wenig oder gar keiner Transformation erfassen und liefern, während eine komplexere Pipeline auch Daten entdecken, validieren, filtern, transformieren oder anreichern kann. Zu den gängigen Schritten einer Pipeline gehören:

Die Erkundungsphase, in der die im Unternehmen verfügbaren Daten ermittelt werden. Das Grundverständnis der Datenlandschaft, der Struktur, der Qualität und der möglichen Verwendungszwecke bildet die Basis für eine erfolgreiche Datenaufnahme.

Sobald die Datenquellen identifiziert sind, umfasst die Datenakquisition das Erfassen der Daten. Dieser Schritt kann das Abrufen von Daten aus vielen Quellen umfassen. Zu diesen Quellen gehören strukturierte Datenbanken wie MySQL, Anwendungsprogrammierschnittstellen (APIs), Dateiformate wie CSV und JSON sowie unstrukturierte Quellen wie Bilder und Papierdatensätze. Die Komplexität liegt in der Bewältigung der Vielfalt an Datenformaten und potenziell großen Datenmengen sowie im Schutz der Datenintegrität während des gesamten Erfassungsprozesses.

Nach der Datenerfassung hilft die Validierung dabei, Fehler zu erkennen und die Übereinstimmung mit den festgelegten Regeln sicherzustellen. Die Daten werden auf Fehler, Widersprüchlichkeiten und Missing Values geprüft. Durch verschiedene Prüfungen, wie z. B. Datentypvalidierung, Bereichsvalidierung und Eindeutigkeitsprüfung, werden die Daten bereinigt und zuverlässig für die weitere Verarbeitung vorbereitet.

Hier werden validierte Daten in ein für die Analyse geeignetes Format umgewandelt. Dazu können Normalisierung (Entfernung von Redundanzen), Aggregation (Datenzusammenfassung) und Standardisierung (konstante Formatierung) gehören. Ziel ist es, die Daten leichter verständlich und analysierbar zu machen.

Im letzten Schritt werden die transformierten Daten an ihrem vorgesehenen Ort platziert, z. B. in einem Data Warehouse oder Data Lake, wo sie für Analysen und Berichte sofort verfügbar sind. Dieser Ladevorgang kann je nach den spezifischen Anforderungen in Batches oder in Echtzeit durchgeführt werden. Das Laden von Daten bildet den Abschluss der Datenaufnahme-Pipeline, bei der die Daten für fundierte Entscheidungen und die Generierung wertvoller Business Intelligence vorbereitet werden.

Die Datenqualität ist für die Datenaufnahme wichtig, da Fehler, Widersprüchlichkeiten, unvollständige Datensätze und andere Probleme die Ergebnisse beeinträchtigen können. Im Rahmen des Datenerfassungsprozesses bereinigen Unternehmen häufig Daten, indem sie Formate standardisieren, Ungenauigkeiten beseitigen, fehlende oder doppelte Werte korrigieren und andere Datenqualitätsprobleme beheben. 

Data Governance kann dazu beitragen, die Datenqualität während der Datenaufnahme aufrechtzuerhalten, indem Richtlinien und Standards für den Umgang mit Daten festgelegt werden. Sie stellt sicher, dass eine Rechenschaftspflicht durch definierte Rollen und Verantwortlichkeiten besteht. Sie könnte auch die Implementierung von Metriken und Überwachungssystemen zur Verfolgung und Bewältigung von Problemen umfassen, die die Einhaltung von Vorschriften wie DSGVO oder HIPAA erleichtern und Konstanz durch die Standardisierung von Datendefinitionen und -formaten gefördert wird.

Einer der Vorteile der Datenaufnahme besteht darin, Daten aus verteilten Quellen im Unternehmen zugänglicher und nutzbarer zu machen. Weitere Vorteile sind:

Tools zur Datenaufnahme vereinfachen die oft komplexe Aufgabe der Erfassung und Übertragung von Daten aus verschiedenen Quellen mit unterschiedlichen Formaten und Strukturen. Einige Plattformen können auch Daten als Teil der Pipeline validieren, transformieren oder standardisieren.

Eine effektive Pipeline für die Datenaufnahme mit geringer Latenz kann große Datenmengen sehr schnell verarbeiten, einschließlich der Aufnahme in Echtzeit. So können Unternehmen schnell verändernde Informationen verarbeiten und darauf reagieren.

Unternehmen reduzieren die Zeit und Ressourcen, die normalerweise für manuelle Datenaggregationsprozesse erforderlich sind, indem sie die Datenerfassung und -bereinigung durch Datenaufnahme automatisieren. Darüber hinaus können serviceorientierte Lösungen für die Datenaufnahme weitere Kostenvorteile bieten, da keine Vorabinvestitionen in die bestehende Infrastruktur erforderlich sind.

Ein gut durchdachter Datenaufnahmeprozess hilft Unternehmen bei der Skalierung, wenn Datenmengen, Quellen und Geschäftsanforderungen wachsen. Die Skalierbarkeit ermöglicht es Unternehmen, neue Workloads und Anwendungsfälle zu unterstützen und weiterhin effektiv auf Daten zuzugreifen und diese zu analysieren, während sich ihre Geschäftswelt weiterentwickelt.

Viele moderne Datenaufnahme-Tools sind darauf ausgelegt, in Cloud-, lokalen und Hybridumgebungen zu funktionieren und Unternehmen dabei zu unterstützen, Daten dort zu übertragen und zu integrieren, wo sie benötigt werden. Cloudbasierte Aufnahmedienste können den Verwaltungsaufwand für die Infrastruktur verringern und die Skalierung bei wachsenden Datenmengen erleichtern, während sie den Zugriff auf Daten über verteilte Systeme und Teams hinweg unterstützen.

Die Datenaufnahme umfasst verschiedene Methoden, um Daten aus unterschiedlichen Quellen in ein bestimmtes System zu bringen.

Bei dieser Methode werden Daten über einen bestimmten Zeitraum gesammelt (tägliche Verkaufsberichte, monatliche Finanzberichte), bevor sie vollständig verarbeitet werden. Die Batch-Verarbeitung gilt als einfach, zuverlässig und ist nur mit minimalen Beeinträchtigungen der Systemleistung verbunden, da sie für ruhige Zeiten geplant ist. Für Echtzeitanwendungen ist sie jedoch nicht ideal.

Diese Methode nimmt Daten während der Generierung auf und stellt sie mit minimaler Verzögerung für Verarbeitung und Analyse zur Verfügung. Datenaufnahme in Echtzeit kann die Entscheidungsfindung unterstützen und eignet sich hervorragend für zeitkritische Anwendungen wie Betrugserkennung oder Aktienhandelsplattformen, bei denen schnelle Reaktionen auf sich ändernde Bedingungen von größter Bedeutung sind.

CDC ist eine Aufnahmemethode, die Änderungen an Daten in einem Quellsystem identifiziert und erfasst, wie Einfügungen, Updates und Löschungen. Diese Änderungen werden dann auf nachgelagerte Systeme übertragen. Da CDC inkrementelle Änderungen anstatt ganzer Datensätze überträgt, kann es dazu beitragen, Datenbewegungen zu reduzieren und die Datenverfügbarkeit nahezu in Echtzeit effizienter zu unterstützen als periodische vollständige Datensatzladungen.

Streaming-Aufnahmen und Streaming-Verarbeitung sind eng verwandte Konzepte. Die Streaming-Aufnahme erfasst und liefert Daten kontinuierlich, sobald sie generiert werden. Die Streaming-Verarbeitung analysiert die eintreffenden Daten kontinuierlich. Sowohl die Echtzeitverarbeitung als auch die Streaming-Verarbeitung können erhebliche Rechenleistung und Netzwerkbandbreitenressourcen erfordern.

Die API-basierte Datenerfassung sammelt Daten von Anwendungen, Diensten und Plattformen über Anwendungsprogrammierschnittstellen (APIs). Diese Methode wird häufig verwendet, um Daten aus Cloud-Anwendungen, SaaS-Plattformen, Social-Media-Diensten und Geschäftssystemen aufzunehmen. Die API-basierte Aufnahme ermöglicht den Zugriff auf aktuelle Daten bei Bedarf, aber Faktoren wie Ratenbeschränkungen, Authentifizierungsanforderungen und API-Verfügbarkeit können sich auf die Leistung und Zuverlässigkeit auswirken.

Diese Methode schafft ein Gleichgewicht zwischen Batch- und Echtzeitverarbeitung. Sie nimmt Daten in kleinen, regelmäßigen Batches auf und bietet so zeitnahe Aktualisierungen ohne die Ressourcenbeschränkungen einer umfassenden Echtzeitverarbeitung. Um das Verhältnis zwischen Datenaktualität und Systemleistung zu optimieren, ist eine sorgfältige Planung und Verwaltung erforderlich.

Die Lambda-Architektur ist eine Datenverarbeitungsarchitektur, die separate Batch- und Echtzeitverarbeitungsschichten verwendet. Die Batch-Schicht verarbeitet vollständige historische Datensätze, während die Streaming-Schicht neu generierte Daten als Datensatz verarbeitet, sobald sie eintreffen. Eine Serving-Schicht kombiniert die Ausgaben beider Schichten und bietet so eine einheitliche Ansicht historischer und aktueller Daten.

Tools zur Datenaufnahme bieten eine Reihe von Lösungen, um unterschiedlichen Anforderungen und technischem Know-how gerecht zu werden.

Open-Source-Tools: Sie bieten kostenlosen Zugriff auf den Quellcode der Software und geben Benutzern die volle Kontrolle sowie die Möglichkeit, das Tool anzupassen. Apache Kafka ist zum Beispiel eine weit verbreitete Open-Source-Plattform zur Streaming-Datenerfassung und -integration.

Geschützte Tools: Das sind Lösungen, die von Softwareanbietern entwickelt und lizenziert werden. Sie bieten vorgefertigte Funktionen und verschiedene Preispläne, können aber mit Herstellerbindung und laufenden Lizenzkosten verbunden sein.

Cloudbasierte Tools: Aufnahme-Tools, die als Cloud-Services bereitgestellt werden, um die Bereitstellung und Wartung zu vereinfachen und Skalierbarkeit zu bieten, ohne dass Vorabinvestitionen in die Infrastruktur erforderlich sind. Beispiele hierfür sind Managed Services wie AWS Glue und Amazon Kinesis sowie Cloud-Datenplattformen wie Snowflake, die Funktionen zur Aufnahme, Verarbeitung und Verwaltung von Daten in großem Maßstab bieten.

Lokale Tools: Sie werden in einem lokalen oder privaten Cloud-Netzwerk installiert und verwaltet, bieten eine bessere Kontrolle über die Datensicherheit, erfordern aber Investitionen in Hardware und laufenden IT-Support.

Um Anforderungen und Fachwissen in Einklang zu bringen, gibt es mehrere Ansätze für den Aufbau von Datenaufnahme-Pipelines:

Manuell programmierte Pipelines: Diese maßgeschneiderten Pipelines bieten ein Höchstmaß an Kontrolle, erfordern jedoch erhebliche Entwicklungskenntnisse.

Vorgefertigte Connector- und Transformationstools: Dieser Ansatz bietet eine einfache Möglichkeit, Datenpipelines durch vorkonfigurierte Connectors und Transformationsfunktionen zu erstellen. Zum Beispiel bietet IBM® Confluent Tools und Managed Services, mit denen Unternehmen Datenaufnahme- und Streaming-Pipelines aufbauen und verwalten können.

Plattformen zur Datenintegration: Diese Plattformen bieten eine einheitliche Umgebung für Aufgaben wie Datenaufnahme, Transformation, Orchestrierung und Übertragung, erfordern jedoch möglicherweise Entwicklungsexpertise zur Einrichtung und Wartung.

Die Datenaufnahme ist zwar für Datenpipelines grundlegend, aber auch komplex. Zu den häufigsten Herausforderungen gehören: 

Datensicherheit: Durch die erhöhte Gefährdung steigt das Risiko von Sicherheitsverletzungen bei vertraulichen Daten. Die Einhaltung von Datensicherheitsbestimmungen erhöht die Komplexität und Kosten.

Skalierbarkeit und Vielfalt: Leistungsengpässe können durch das stetig wachsende Volumen, die Geschwindigkeit und die Vielfalt der Daten entstehen.

Datenaufnahme und Kostenmanagement: Schwankungen im Datenfluss und Wachstum der Workloads können Infrastrukturanforderungen und Betriebskosten beeinflussen, weshalb Kostenüberwachung und Optimierung wichtige Überlegungen sind.

Datenfragmentierung: Daten, die über mehrere Anwendungen, Datenbanken, Plattformen und andere Quellen verteilt sind, können die Erstellung einer einheitlichen Ansicht erschweren. Fragmentierte Daten führen möglicherweise zu Widersprüchlichkeiten, doppelten Datensätzen und Problemen bei der Datenintegration und -analyse.

Schema-Drift: Änderungen an der Struktur der Quelldaten, wie z. B. das Hinzufügen, Entfernen oder Modifizieren von Feldern, können zu Diskrepanzen zwischen Quell- und Zielsystem führen. Wenn die Aufnahmepipelines nicht aktualisiert werden, um diese Änderungen zu berücksichtigen, kann eine Schemaabweichung Workflows stören und andere Probleme verursachen.

Sicherung der Datenqualität: Die Komplexität der Datenaufnahme kann die Zuverlässigkeit der Daten beeinträchtigen.

Datenaufnahme, Extraktion, Transformation, Laden (ETL) und Extraktion, Laden, Transformation (ELT) verfolgen ein gemeinsames Ziel – Daten verfügbar und nutzbar zu machen – unterscheiden sich aber in ihren Ansätzen.

Die Datenaufnahme bezeichnet den umfassenden Prozess, Daten aus Quellsystemen zu erfassen und in einer Zielumgebung für Speicherung, Verarbeitung oder Nutzung verfügbar zu machen. ETL und ELT sind spezifische Ansätze, die definieren, wie und wann Daten im Rahmen dieses Prozesses transformiert werden.

Extraktion, Transformation und Laden ist der Prozess, Daten aus Quellsystemen zu extrahieren, sie so zu transformieren, dass sie die Anforderungen des Zielsystems erfüllen, und sie dann in ihr Ziel zu laden.

Extraktion, Laden und Transformation (ELT) ist ein Ansatz, bei dem Daten aus Quellsystemen extrahiert und in ein Zielsystem geladen werden, bevor sie transformiert werden. Rohdaten werden in der Zielumgebung gespeichert und bei Bedarf transformiert.

Datenaufnahme und Datenintegration haben unterschiedliche Zwecke innerhalb der Datenpipeline.

Die Datenaufnahme ist oft nur ein Bestandteil eines umfassenderen Datenintegrationsprozesses. Sie dient als Einstiegspunkt für Daten aus einer oder mehreren Quellen. Das Hauptziel ist es, Daten effizient zu erfassen und zu liefern, wobei die Aufnahme auch Aufgaben wie Validierung, Filterung, Formatierung oder Qualitätskontrollen umfassen kann.

Die Praxis, Daten aus mehreren Quellen in einem einheitlichen, kohärenten Format zu kombinieren und zu harmonisieren. Die Datenintegration kann Datenbereinigung, -standardisierung und -anreicherung beinhalten, um die Einheitlichkeit und Genauigkeit des gesamten Datensatzes zu gewährleisten.

Da Unternehmen immer mehr Daten generieren und verbrauchen, spielt die Datenaufnahme eine wichtige Rolle, um sicherzustellen, dass Informationen zugänglich und nutzbar sind. Häufige Anwendungsfälle sind:

Unternehmen nutzen die Datenaufnahme, um Daten aus Datenbanken, Anwendungen, APIs, Dateien und verbundenen Geräten zu erfassen und sie in Cloud Data Lakes, Data Warehouses und Data Lakehouses zur Verfügung zu stellen. Durch die Zusammenführung von Informationen aus verschiedenen Quellen erhalten Unternehmen ein umfassenderes Bild ihrer Abläufe, Kunden und Leistung.

Beispielsweise haben Einzelhändler die Möglichkeit, Daten aus Kassensystemen, E-Commerce und Bestand einzubeziehen, um Prognosen zu verbessern, während Unternehmen klinische, Labordaten und Patientenüberwachungsdaten kombinieren können, um die Patientenversorgung und operative Planung zu unterstützen.

Während Unternehmen ihre Dateninfrastruktur modernisieren, spielt die Datenaufnahme eine Schlüsselrolle bei der Übertragung von Daten von Legacy-Systemen, lokalen Datenbanken und Data Warehouses in die Cloud. Aufnahmetools können groß angelegte Migrationen automatisieren und Daten während des Übergangs zwischen Systemen synchronisieren.

Viele Plattformen unterstützen Change Data Capture (CDC), wodurch Unternehmen Aktualisierungen kontinuierlich aus Quellsystemen replizieren können, sodass cloudbasierte Umgebungen auf dem neuesten Stand bleiben, ohne dass ein vollständiges Neuladen der Daten erforderlich ist. Dieser Ansatz kann Finanzinstituten, Regierungsbehörden und anderen Organisationen mit großen Mengen an Altdaten bei der Modernisierung ihrer Analyseumgebungen helfen und gleichzeitig Störungen des Geschäftsbetriebs minimieren.

Viele Unternehmen sind auf die Datenaufnahme angewiesen, um Echtzeitanalysen und ereignisgesteuerte Anwendungen zu unterstützen. Aufnahmetools können kontinuierlich Daten aus Quellen wie Website-Klickstreams, Anwendungsprotokollen, Social-Media-Feeds und IoT-Sensoren sammeln und streamen.

Indem diese Informationen bei Ereignissen verfügbar gemacht werden, können Unternehmen Abläufe überwachen, neue Probleme erkennen und schneller auf sich ändernde Bedingungen reagieren. Telekommunikationsanbieter nutzen beispielsweise Streaming-Daten, um die Netzwerkleistung und die Servicequalität zu überwachen. Hersteller analysieren so währenddessen die Telemetrie des Equipments, um Produktionsengpässe und potenzielle Wartungsprobleme zu identifizieren, bevor sie Ausfallzeit verursachen.

Unternehmen nutzen die Datenaufnahme, um Daten für Daten-Observability-Plattformen bereitzustellen, die Teams dabei helfen, die Zuverlässigkeit, Aktualität, Vollständigkeit und Konstanz von Daten systemübergreifend zu bewerten.

Durch die kontinuierliche Erfassung von Daten aus operativen Datenbanken, Echtzeit-Streaming-Plattformen und anderen Quellen können Unternehmen im Gesundheitswesen und andere Organisationen eine Grundlage schaffen, um Anomalien zu identifizieren, Schemaänderungen zu erkennen und Datenbewegungen über Pipelines hinweg zu verfolgen. Diese Praxis kann auch das Vertrauen in die Daten verbessern, die für Analyse-, Berichts- und KI-Anwendungen verwendet werden.

KI- und maschinelle Lernsysteme sind auf den zeitnahen Zugriff auf große Datenmengen angewiesen. Die Datenaufnahme hilft Unternehmen dabei, Daten aus verschiedenen Quellen zu erfassen, zu integrieren und aufzubereiten, damit sie für das Modelltraining, die Inferenz und die Überwachung verwendet werden können. Sie unterstützt außerdem generative KI-Anwendungen, Retrieval-Augmented Generation (RAG) Systeme und KI-Agenten.

Banken nehmen so beispielsweise Transaktions- und Kontoaktivitätsdaten auf, um Betrugserkennungsmodelle und KI-gestützte Kundenservice-Anwendungen zu unterstützen. Unternehmen aus dem Bereich Gesundheitswesen und Biowissenschaften kombinieren klinische und Forschungsdaten, um die vorausschauende Analyse zu unterstützen, oder verwenden Bilddaten, um die KI-gestützte Entscheidungsfindung zu verbessern. Unternehmen, die RAG-Systeme und KI-Agenten einsetzen, können mithilfe der Datenaufnahme kontinuierlich Dokumente, Wissensdatenbanken und Betriebsaufzeichnungen bereitstellen, die dabei helfen, den relevanten Kontext abzurufen und auf aktuelle Informationen zu reagieren.

Unternehmen nutzen die Datenaufnahme, um Kundeninformationen von Websites, mobilen Anwendungen, CRM-Systemen, Marketingplattformen und Kundensupport-Kanälen zu erfassen und zur Analyse bereitzustellen. Die Kombination dieser Datenquellen ermöglicht ein umfassenderes Verständnis des Kundenverhaltens und der Präferenzen. Unternehmen können die gewonnenen Erkenntnisse nutzen, um Erfahrungen zu personalisieren, den Kundenservice zu verbessern, Marketingkampagnen zu optimieren, ihren Vertrieb zu unterstützen und Wachstumschancen zu identifizieren.

Die Datenaufnahme unterstützt Business Intelligence (BI) und Berichterstattung, indem Daten aus mehreren operativen Systemen zur Analyse verfügbar gemacht und die Datenverfügbarkeit verbessert wird. Unternehmen können die erfassten Daten nutzen, um Dashboards zu erstellen, KPIs zu verfolgen, Trends zu identifizieren und die datengesteuerte Entscheidungsfindung zu unterstützen.

Ob es um die Überwachung der Leistung, die Messung der Effizienz der Lieferkette oder die Verfolgung von Ergebnissen geht – Unternehmen sind auf zuverlässige Datenaufnahmesysteme angewiesen, um sicherzustellen, dass Berichte und Analysen die aktuellen Geschäftsbedingungen widerspiegeln.