Was ist Cloud-Datenintegration?

Ziel der Cloud-Datenintegration ist es, den Cloud-Datenzugriff und die Datenbereitstellung im gesamten Unternehmen zu verbessern und gleichzeitig sicherzustellen, dass die Daten im Rahmen einer umfassenderen Datenverwaltungsstrategie des Unternehmens sicher, kontrolliert und leistungsfähig bleiben. Diese grundlegenden Funktionen sind besonders kritisch, da Unternehmen KI einführen, die Customer Experience verbessern und Echtzeitanalysen angesichts der explodierenden Menge, Geschwindigkeit und Vielfalt der Daten skalieren möchten.

Unter dem Begriff der Cloud-Datenintegration gibt es zwei Unterarten: die Hybrid-Cloud-Datenintegration und die Multicloud-Datenintegration.

• Hybrid-Cloud-Datenintegration: Integriert Daten, die sich in der Public Cloud, Private Cloud und On-Premises-Infrastruktur befinden.
  
  
• Multicloud-Datenintegration: Integriert Daten, die sich in Cloud-Diensten von mehr als einem Cloud-Provider befinden.

Heutzutage arbeiten die meisten Unternehmen in hybriden Multicloud-Umgebungen, die Public- und Private-Cloud-Services von mehreren Anbietern umfassen. In diesem Modell bildet die Cloud-Datenintegration die Grundlage dafür, dass Daten unabhängig von ihrem Speicherort zugänglich, vertrauenswürdig und nutzbar bleiben.

Die Speicherung von Unternehmensdaten in der Cloud bietet klare Vorteile, insbesondere die Beseitigung harter Speicherbeschränkungen und die Möglichkeit, große Mengen an Big Data in der Cloud zu speichern. Weitere häufige Vorteile sind Kosteneffizienz, Skalierbarkeit und verbesserte Geschäftskontinuität.

Aufgrund dieser Vorteile haben Unternehmen Daten in rasantem Tempo in die Cloud verschoben (wobei sie gleichzeitig Daten lokal behalten, um Leistungs- oder regulatorische Anforderungen zu erfüllen). Einige prognostizieren die Ausgaben für Unternehmens-Cloud-Speicher auf 128 Milliarden US-Dollar bis 2028.¹ Andere schätzen, dass die Menge an Daten, die weltweit gespeichert wird, zwischen 2024 und 2029 verdoppelt wird.²

Heute werden Unternehmens-Cloud-Daten – eines der wichtigsten und entscheidendsten Assets eines Unternehmens – zunehmend über Hybrid- und Multicloud-Umgebungen in einer Vielzahl von strukturierten und unstrukturierten Formaten verteilt.

Diese verteilten Daten haben zu einer fragmentierten Datenlandschaft geführt, in der Informationen über Teams, Plattformen und Umgebungen hinweg isoliert sind, was die Nutzung der Daten für die Teams zu einer Herausforderung macht. Gleichzeitig nimmt das Datenvolumen, das von Apps, IoT-Geräten (Internet der Dinge) und Transaktionsdaten generiert wird, sowohl in Cloud- als auch in On-Prem-Systemen weiter zu.

Die Datenintegration in der Cloud kann erheblich dazu beitragen, diese Komplexität zu bewältigen. Sie kombiniert und harmonisiert Daten aus Cloud- und On-Prem-Umgebungen. Diese einheitliche Sichtweise macht Cloud-Daten zugänglich und nutzbar für Analysen und Entscheidungsfindung. In einem Zeitalter rasanter Innovationen und zunehmend fragmentierter Daten ist diese Funktion unerlässlich.

Fragmentierung kann Innovation hemmen und zu langsamen, inkonsistenten oder ungenauen Entscheidungen führen, was die Fähigkeit eines Unternehmens einschränkt, Innovationen umzusetzen, sich anzupassen und Betriebseffizienz zu erreichen. Tatsächlich sagen laut Daten des IBM Institute for Business Value 68 % der befragten CEOs, dass eine integrierte unternehmensweite Datenarchitektur kritisch ist, um eine funktionsübergreifende Zusammenarbeit zu ermöglichen und Innovationen voranzutreiben³

Insbesondere Initiativen im Bereich der künstlichen Intelligenz (KI) sind auf einheitliche, vertrauenswürdige und konsistente Daten angewiesen. Ohne eine solide Strategie zur Datenintegration haben Unternehmen möglicherweise Schwierigkeiten, KI in großem Maßstab zu nutzen.

Die Cloud-Datenintegration folgt den typischen Schritten der Datenintegration, kann sich jedoch in der Reihenfolge der Vorgänge und den technischen Details unterscheiden, insbesondere hinsichtlich der Art und Weise, wie Pipelines konzipiert sind, um Datenbewegungen zu koordinieren und die Verarbeitung über verteilte Cloud- und Hybrid-Umgebungen hinweg.

1. Datenquellenidentifizierung: Bei der Cloud-Datenintegration weisen Datenquellen Cloud-spezifische Merkmale auf. Dazu gehören in der Regel Cloud Data Warehouses, Software as a Service (SaaS) und Cloud-Anwendungen, Cloud Object Storage Systeme und hybride Quellsysteme, die On-Premises-Altlast-Systeme und cloudbasierte Datenspeicher umfassen.
   
   
2. Datenextraktion: Die Daten werden aus Cloud- und Hybrid-Quellen unter Verwendung cloudnativer Tools und Prozesse extrahiert, die üblicherweise inkrementelle und Datenaufnahme nahezu in Echtzeit unterstützen (zusätzlich zur traditionellen Batch-Verarbeitung, wo dies erforderlich ist). Die Extraktion erfolgt typischerweise über sowohl verwaltete als auch integrierte Programmierschnittstellen (APIs) oder Konnektoren.
   
   
3. Datenzuordnung: Zuordnungs-Schemata definieren, wie Datenelemente aus verschiedenen Systemen einander entsprechen. Dieser Schritt trägt dazu bei, den Datenabgleich während der Integration sicherzustellen. Bei der Cloud-Datenintegration müssen Zuordnungs-Prozesse die in Cloud- und SaaS-Quellen übliche Schemaabweichung berücksichtigen.
   
   
4. Laden von Daten: Extract, Load, Transform (ELT) ist der dominierende Ansatz für die Cloud-Datenintegration, bei dem Daten vor der Transformation in das Zielsystem (wie ein Data Warehouse, Data Lake oder Data Lakehouse) geladen werden. Dieser Schritt nutzt skalierbaren Cloud-Speicher und Cloud Computing, um große Mengen an Cloud-Daten effizient zu verschieben.
   
   
5. Datenkonvertierung: Datenkonvertierung wandelt und bereichert Daten in ein gemeinsames Format, um Genauigkeit und Downstream-Kompatibilität zu unterstützen. Die Datenkonvertierung nutzt typischerweise cloudnative-Dienste und folgt einem ELT-Ansatz, wobei Parallelverarbeitung und kontinuierlicher Betrieb für den bedarfsgerechten Datenzugriff in Cloud-Umgebungen genutzt werden.
   
   
6. Datenvalidierung und Qualitätssicherung: Qualitätskontrollen tragen zur Sicherstellung der Genauigkeit und Qualität der Daten bei, indem sie auf Fehler, Inkonsistenzen und Probleme mit der Datenintegrität prüfen. Automatisierte Validierungsprüfungen werden in großem Maßstab eingesetzt, um die Konsistenz zwischen Datenformaten, Codes, Typen und Bereichen zu gewährleisten.

Genau wie die herkömmliche Datenintegration bietet die Cloud-Integration eine Vielzahl von Vorteilen. Dazu gehören:

• Vereinheitlichter Datenzugriff
• Datenqualität und -konsistenz
• Skalierbarkeit und Resilienz
• Beschleunigte Innovation

Unternehmen, die Cloud-Datenintegration implementieren, können mit einer Reihe technischer und betrieblicher Herausforderungen konfrontiert werden, die Governance, Leistung, Echtzeitverarbeitung und Bereitstellungsmodelle umfassen.

• Governance, Sicherheit und Compliance
• Leistung und Skalierbarkeit
• Echtzeit-Datenintegration
• Hybride Bereitstellungen

Die Integration von Daten über verschiedene Systeme hinweg erhöht die Anzahl potenzieller Angriffsvektoren – und damit das Risiko eines unbefugten Zugriffs und der Offenlegung sensibler Informationen. Abgesehen von Bedenken hinsichtlich der Datensicherheit können bei der Übertragung von Kundendaten über Regionen, Gerichtsbarkeiten oder Cloud-Umgebungen hinweg unterschiedliche rechtliche Anforderungen und Anforderungen an den Datenspeicherort gelten. Unternehmen müssen sicherstellen, dass die Datenströme den geltenden Vorschriften wie DSGVO, HIPAA und PCI DSS entsprechen.

Datenverschlüsselung (für Daten während der Übertragung und im Ruhezustand), starke Authentifizierung, Berechtigungen und Autorisierung an jedem Integrationspunkt können dazu beitragen, diese Risiken zu mindern. Ein robustes Data-Governance-Framework kann auch die Sicherheit stärken. Datenintegrationsplattformen mit integrierten Sicherheitsfunktionen und Compliance-Zertifizierungen können dazu beitragen, den operativen Aufwand zu reduzieren, während vom Kunden verwaltete oder lokal gehostete Plattformen eine bessere Kontrolle über Sicherheitsprotokolle, die Durchsetzung von Compliance-Vorgaben und das Infrastrukturmanagement ermöglichen.

Die Balance zwischen Leistung, Kosten und komplexen Daten zu finden, ist eine zentrale Herausforderung der Cloud-Datenintegration. Wenn Datenintegrationstools nicht auf Skalierbarkeit ausgelegt sind, können sie Schwierigkeiten bei der Verarbeitung großer Datenmengen haben. Überlastete Aufnahmepipelines können die Datenverarbeitung verlangsamen, Geschäftsprozesse verzögern, inkonsistente Ausgaben erzeugen und die Kosten in die Höhe treiben.

Unternehmen können Lösungen priorisieren, die Konnektoren mit hohem Durchsatz, Parallelverarbeitung und Partitionierung zur Aufteilung großer Datenmengen unterstützen. Integrierte Überwachungs- und Observability-Funktionen bieten einen umfassenden Einblick in Datenflüsse und die Auslastung von Speicherressourcen, um Engpässe zu vermeiden und unabhängig von Schwankungen im Datenvolumen eine hohe Leistung zu gewährleisten. Die Wahl des richtigen Integrationsansatzes ist ebenfalls kritisch. Zum Beispiel transformieren ELT-Pipelines Daten nach dem Laden und nutzen die elastische Rechenleistung von Cloud-Plattformen oder Data Warehouses, um Daten in großem Maßstab zu verarbeiten.

Datenintegration in Echtzeit oder nahezu in Echtzeit wird für Unternehmen immer wichtiger. Sofortige Entscheidungsfindung, KI-Workloads und andere zeitkritische Vorgänge erfordern kontinuierliche Ströme neuer Daten. Die Echtzeit-Datenintegration ist jedoch technisch herausfordernd, insbesondere bei hohen Datenmengen, bei denen eine Verarbeitung mit geringer Latenz erforderlich ist. Verteilte Cloud-Architekturen können zusätzliche Probleme hinsichtlich Latenz und Netzwerkzuverlässigkeit mit sich bringen.

Cloud-Datenintegrationslösungen, die ereignisgesteuerte Architekturen (EDAs) unterstützen, ermöglichen es Systemen, in Echtzeit miteinander zu kommunizieren und Daten auszutauschen. Die zunehmende Einführung von EDAs in cloudnativen Umgebungen markiert einen bedeutenden Wandel weg von traditionellen, batchorientierten Architekturen hin zu dynamischeren, reaktionsschnelleren Architekturen, die Ereignisse (Datensätze) verarbeiten, sobald sie auftreten.

Change Data Capture (CDC) ist eine weitere Integration in Echtzeit, die viele Lösungen unterstützen. Es erfasst und übermittelt Datenänderungen, sobald sie auftreten, an verschiedene Zielsysteme und ermöglicht so eine Datensynchronisierung nahezu in Echtzeit.

Viele Unternehmen haben regulierte, lokale Workloads (zum Beispiel Datensätze, die in Oracle Database, IBM Db2 oder SQL Server gespeichert sind), die außerhalb der Cloud existieren. In diesen Szenarien ist eine vollständig cloudbasierte Datenintegrationsbereitstellung nicht praktikabel, da Interoperabilitätsprobleme zwischen On-Premises-Systemen und der Cloud-Plattform auftreten können.

Eine hybride Bereitstellung hilft, diese Herausforderungen zu bewältigen, indem sie Daten dort verarbeitet, wo sie sich bereits befinden, und die Pipelines in derselben Umgebung (entweder in der Cloud oder lokal) ausführen. Diese Funktionen tragen dazu bei, die Komplexität der Integration von Altlast- und cloudnativen Systemen zu reduzieren. Sie können zudem kosteneffizient sein und zur Reduzierung der Vielzahl an Tools beitragen. 

Bei der Bereitstellung hybrider Dateneintegrationen kommt die Remote-Engine-Ausführung zum Einsatz, ein cloudnatives Modell zur Entwicklung von Pipelines, das die Entwurfs- und die Laufzeit voneinander trennt. Pipelines werden zentral entworfen und in der Zielumgebung ausgeführt – Cloud zu Cloud, Cloud zu On-Premises und On-Premises zu Cloud-Workloads. Diese Flexibilität bringt kumulative Vorteile mit sich, darunter reduzierter Datenverkehr, geringere Kosten für ausgehende Daten und minimierte Netzwerklatenz.

Es gibt zahlreiche Anwendungsfälle für den Einsatz von KI zur Beschleunigung, Straffung und Optimierung von Datenintegrationsprozessen. Beispiele hierfür sind von maschinellem Lernen unterstützte Schema-Zuordnung, Schnittstellen für die Verarbeitung natürlicher Sprache (NLP) zur Datenkonvertierung, generative KI zur Erstellung synthetischer Daten und KI-gestützte Techniken zur Verbesserung der Data Replication.⁴

Agentische KI ist auch eine aufkommende, moderne Datenintegrationsfunktion, die es Datenteams ermöglicht, Integrationsanforderungen in natürlicher Sprache auszudrücken. Auf Basis dieser Eingaben kann der Agent dann autonom Integrationsdesignpläne vorschlagen und anschließend kontinuierlich bei der Optimierung des Workflows im Laufe der Zeit helfen, wenn sich Datenumgebungen und Geschäftsanforderungen ändern.

Diese agentischen Funktionen helfen Data Engineers, Datenpipelines schneller zu entwickeln und auszuführen und reduzieren zeitaufwändige Arbeiten wie manuelle Dateneingabe und Datenmigration. Sie können auch Verzögerungen für Benutzer ohne technische Kenntnisse reduzieren, die ohne die Hilfe von Datenentwicklungsteams oft nicht auf Daten zugreifen können.

Wie bei anderen KI-Initiativen hängt eine erfolgreiche Einführung davon ab, dass die Menschen weiterhin aktiv einbezogen werden, gleichzeitig aber eine starke KI-Governance und kontinuierliche Transparenz gewährleistet sind.