Was ist Echtzeit-Datenintegration?

Echtzeit-Datenintegration ist die kontinuierliche Übertragung und Verarbeitung von Daten von Quellsystemen zu Zielsystemen, sodass neue oder geänderte Informationen mit minimaler Verzögerung verfügbar sind.

Im Gegensatz zur Batch-Integration, bei der Daten in geplanten Intervallen gesammelt und verarbeitet werden, reagiert die Echtzeit-Datenintegration kontinuierlich auf eingehende Datensätze, Datenbankänderungen oder Ereignisse. Je nach Anwendungsfall und Technologie kann die Latenz auf nur Millisekunden begrenzt werden.

Echtzeitintegration kann Datenbanken, Anwendungen, Cloud-Services, Internet der Dinge (IoT)-Geräte, CRM-Systeme und andere Quellen mit verschiedenen Zielen verbinden, darunter operative Anwendungen, Data Warehouses, Data Lakes, Analyseplattformen und KI-Systeme.

Unternehmen nutzen Integration, wenn der Wert von Daten mit zunehmendem Alter schnell abnimmt. Zum Beispiel bei Betrugserkennung, Überwachung von industriellem Equipment, Nachverfolgung von Beständen, der Reaktion auf Kundenaktivitäten oder der Bereitstellung aktueller Informationen für Machine-Learning- und KI-Anwendungen.

Eine Echtzeit-Integrationspipeline empfängt im Allgemeinen neue Daten, transportiert sie, verarbeitet oder transformiert sie und stellt sie nachgelagerten Systemen zur Verfügung.

Eine typische Architektur für die Integration von Echtzeitdaten kann Folgendes umfassen:

1. Datenquellen: Dazu gehören operative Datenbanken wie PostgreSQL, SQL Server und Oracle; SaaS- und Cloud-Anwendungen; APIs; Transaktionssysteme; Sensoren und IoT-Geräte.
2. Datenerfassung oder -aufnahme: Neue Informationen können über APIs, Messaging-Systeme, Datenbankprotokolle, Konnektoren, Änderungsdatenerfassung oder Event Streams in die Pipeline gelangen.
3. Transport und Pufferung: Event-Streaming- und Messaging-Technologien bewegen kontinuierlich eintreffende Daten zwischen den Systemen. Sie können Daten bei Bedarf temporär speichern und ermöglichen den unabhängigen Betrieb von Quell- und Zielsystemen. Apache Kafka ist zum Beispiel eine verteilte Event-Streaming-Plattform zur Veröffentlichung, Speicherung und Verarbeitung von Ereignisströmen. Google Pub/Sub ist ein asynchroner Nachrichtendienst, der für Ereignisverteilung, Streaming-Analysen und Datenintegrationspipelines verwendet wird.
4. Streamverarbeitung: Die Daten können während der Übertragung gefiltert, aggregiert, angereichert oder auf andere Weise transformiert werden. Apache Flink ist eine verteilte Verarbeitungs-Engine, die kontinuierlich einkommende Daten sowie endliche Datensätze verarbeiten kann. Sie kann auch Informationen über frühere Ereignisse speichern und gleichzeitig neue verarbeiten, was für Aufgaben wie das Verfolgen von Mustern und das Erkennen von Veränderungen im Laufe der Zeit nützlich ist.
5. Zielsysteme: Integrierte Daten können an Anwendungen, operative Speicher, KI-Systeme, Data Warehouse, Data Lake oder Analyseplattformen wie BigQuery und Snowflake fließen.
6. Governance und Observability: Produktionspipelines erfordern in der Regel Überwachung, Lineage, Zugriffskontrollen, Schemaverwaltung, Fehlerbehandlung und Data-Governance, um Zuverlässigkeit und Datenqualität zu gewährleisten.

Diese Architektur unterstützt sowohl Datenverarbeitung als auch nachgelagerte Echtzeitanalyse.

Es gibt keine einzige Methode für die Integration von Daten in Echtzeit. Zu den gängigen Techniken der Echtzeit-Datenintegration gehören Datenstreaming, Änderungsdatenerfassung, Anwendungsintegration und ereignisgesteuerte Integration.

Beim Datenstreaming werden Daten kontinuierlich übertragen, während sie generiert werden, anstatt auf einen geplanten Batch zu warten.

Streaming-Pipelines werden häufig für hochvolumige Telemetrie, Transaktionsdatensätze, Klickströme, Anwendung Protokolle und andere kontinuierlich generierte Informationen verwendet. Sie können betriebliche Anwendungen, Business-Intelligence-Systeme, KI-Anwendungen und Analyseplattformen versorgen.

Streaming-Systeme verwenden oft eine ereignisgesteuerte Architektur, bei der Produzenten Ereignisse veröffentlichen und nachgelagerte Konsumenten unabhängig darauf reagieren.

Apache Kafka wird häufig zum Speichern und Verteilen von Event Streams verwendet, während Apache Flink und ähnliche Stream-Verarbeitungs-Engines Streaming-Daten filtern, kombinieren und anreichern können, während sie sich durch das System bewegen. Sie können auch Informationen aus früheren Ereignissen verfolgen, wie laufende Gesamtwerte, aktuelle Aktivitäten oder Muster im Zeitverlauf. Plattformen wie IBM Confluent kombinieren diese Funktionen mit verwalteten Konnektoren, Governance und anderen Diensten zum Aufbau und Betrieb von Streaming-Pipelines.

Änderungsdatenerfassung (Change Data Capture, CDC) identifiziert Änderungen an einer Datenbank und stellt sie nachgelagerten Systemen zur Verfügung.

CDC ist nicht dasselbe wie Echtzeit-Datenintegration. Es handelt sich vielmehr um eine Methode zur Gewinnung geänderter Daten, die zur Quelle einer Echtzeit-Integration werden können.

Beispielsweise protokolliert SQL Server CDC Einfüge-, Aktualisierungs- und Löschvorgänge in überwachten Tabellen. PostgreSQL bietet eine logische Dekodierung und ein logisches Replikationsprotokoll, das Datenbankänderungen für Replikationsnutzer offenlegen kann. Oracle GoldenGate unterstützt transaktionales CDC und Data Replication auf heterogenen Systemen.

Da CDC Änderungen überträgt, anstatt wiederholt einen ganzen Datensatz zu kopieren, kann es die Informationsmenge reduzieren, die zwischen Quell- und Zielsystem übertragen wird.

CDC wird häufig verwendet, um Betriebsdatenbanken mit Analysespeichern zu synchronisieren, Streaming-Plattformen zu füllen oder Cloud-Datenplattformen auf dem neuesten Stand zu halten.

Anwendungsintegration überträgt Informationen zwischen Anwendungen und Diensten.

APIs sind ein gängiger Mechanismus. Eine CRM-Anwendung könnte beispielsweise eine API bereitstellen, die es einer anderen Anwendung ermöglicht, Kundendaten abzurufen oder zu aktualisieren.

APIs können eine Echtzeit-Integration unterstützen, aber nicht jede API-Interaktion erfolgt in Echtzeit. Die Latenz hängt vom Design, Netzwerkbedingungen, Ratenbegrenzungen und anderen Faktoren ab.

In einer ereignisgesteuerten Architektur veröffentlicht ein Produzent ein Ereignis, wenn etwas passiert, zum Beispiel:

• Ein Kunde schließt einen Kauf ab
• Eine Zahlung wird autorisiert
• Lagerbestand fällt unter eine bestimmte Schwelle
• Ein Sensor überschreitet eine Temperaturgrenze
• Eine Änderung des Datenbankdatensatzes

Verbraucher abonnieren diese Ereignisse oder reagieren anderweitig darauf.

Messaging- und Event-Streaming-Technologien können Produzenten von Nutzern entkoppeln, sodass mehrere Systeme unabhängig voneinander auf dieselben Informationen reagieren können.

Echtzeit-Integration wird mitunter als Alternative zu ETL betrachtet, aber die Konzepte beschreiben verschiedene Aspekte der Datenarchitektur.

ETL steht für Extract, Transform, Load. Daten werden aus Quellsystemen extrahiert, vor der Ankunft umgewandelt und in ein Zielsystem geladen.

ELT steht für Extract, Transform, Load. Die Rohdaten werden zunächst in eine Zielplattform geladen und dort transformiert.

Beide Muster können mit Batch- oder Streaming-Techniken betrieben werden. Moderne ETL-Tools, die Echtzeit-Datenintegration unterstützen, können kontinuierlich ausgeführt oder häufige inkrementelle Updates durchführen, anstatt sich ausschließlich auf geplante Batch-Jobs zu verlassen.

Daher ist es bei Echtzeitintegration und ETL nicht immer eine Entscheidung zwischen dem einen oder dem anderen. Ein Unternehmen könnte CDC verwenden, um Datenbankänderungen kontinuierlich zu extrahieren, Kafka, um sie zu transportieren, Flink, um sie zu transformieren und sie dann in ein Data Warehouse zu laden. Diese Pipeline ist sowohl eine Echtzeitintegration als auch ein ETL-Workflow.

Das gleiche Prinzip gilt für ELT: Streaming- oder CDC-Pipelines können Daten kontinuierlich in ein Cloud-Warehouse laden, bevor Transformationen stattfinden.

Die Echtzeit- und Batch-Verarbeitung ist für unterschiedliche Anforderungen optimiert.

Batch-Verarbeitung bleibt nützlich, wenn Geschwindigkeit oder Unmittelbarkeit das Ergebnis nicht wesentlich verändern. Sie kann außerdem die Abläufe vereinfachen und den Rechenaufwand für große Workloads steuern, die keine kontinuierliche Verarbeitung benötigen.

Viele Unternehmen nutzen beide Ansätze innerhalb derselben Datenintegrationsarchitektur.

Echtzeit-Integration ist am besten geeignet, wenn der Wert von Informationen stark davon abhängt, wie schnell sie verfügbar werden.

Es kann architektonisch gut passen, wenn:

• Downstream-Anwendungen aktuelle Betriebsdaten benötigen
• Eine Entscheidung voraussichtlich innerhalb von Sekunden oder Millisekunden getroffen wird
• Systeme auf Ereignisse reagieren sollten, sobald sie auftreten
• Daten sich so häufig ändern, dass eine wiederholte Batch-Extraktion unnötigen Aufwand verursacht
• Mehrere Anwendungen denselben Event Stream nutzen müssen
• Kontinuierlich aktualisierte Informationen in Echtzeitanalysen, Automatisierungs- oder KI-Systeme einfließen
• Ein Unternehmen einen kontinuierlichen Überblick über Equipment, Transaktionen, Bestand oder Benutzerverhalten benötigt

Beispiele sind Zahlungsautorisierung und Betrugserkennung, industrielle Überwachung, Logistikverfolgung, Online-Personalisierung und Echtzeit-Datenintegration für IoT-Geräte.

Die Echtzeit-Integration bietet möglicherweise weniger Nutzen, wenn eine Verzögerung von mehreren Minuten oder Stunden das Ergebnis nicht beeinflusst. Batch- oder Mikro-Batch-Verarbeitung eignet sich besser für periodische Berichterstattung, historische Analysen, große geplante Transformationen, Abstimmungen und andere Workloads, die keine kontinuierlich aktualisierten Daten erfordern.

In der Praxis verwenden Unternehmen oft beide Ansätze. Ein Finanzinstitut könnte beispielsweise Transaktionen zur Betrugsüberwachung in Echtzeit verarbeiten und gleichzeitig geplante Batches für den Abgleich und die behördliche Berichterstattung verwenden.

Das Ziel ist nicht, die Latenz überall zu minimieren, sondern die Integration und die Latenzanforderung an den Geschäftsprozess anzupassen.

Die Vorteile der Echtzeit-Datenintegration hängen vom Workload und der Architektur ab.

Kontinuierliche Pipelines verkürzen die Zeit zwischen Datenerstellung und nachgelagerter Verfügbarkeit. Das kann die Überwachung, Analyse und Entscheidungsfindung unterstützen.

Anwendungen können auf Ereignisse reagieren, ohne auf den nächsten Batch-Zyklus zu warten. Diese Funktion unterstützt Betrugswarnungen, Equipment-Überwachung, Bestandsupdates und automatisierte Workflows.

Die Datenintegration in Echtzeitanalysen versorgt Analysesysteme kontinuierlich mit neuen Informationen. Dashboards, Modelle und betriebliche Anwendungen können die aktuellsten Änderungen widerspiegeln, anstatt sich ausschließlich auf regelmäßig aktualisierte Schnappschüsse zu verlassen.

CDC und Streaming-Pipelines können die Zeitspanne verkürzen, in der mehrere Systeme unterschiedliche Versionen derselben Information enthalten.

Eine Kategorie der Echtzeit-Datenintegration kommt dem operativen Betrieb zugute, indem sie den Informationsfluss automatisiert, der andernfalls Abfragen, geplante Übertragungen oder manuelle Eingriffe erfordern würde.

Event-Streaming-Architekturen können es mehreren Nutzern ermöglichen, dieselben Ereignisse unabhängig zu nutzen, wodurch der Bedarf an einer separaten Point-to-Point-Integration für jede nachgelagerte Anwendung reduziert wird.

Die Herausforderungen der Echtzeit-Datenintegration hängen mit dem kontinuierlichen Betrieb verteilter Systeme und der Aufrechterhaltung der Genauigkeit bei sich ändernden Daten zusammen.

Streaming-Anwendungen laufen oft kontinuierlich über mehrere Systeme hinweg, was bedeutet, dass Probleme in einem Teil der Datenkette Auswirkungen auf die nachgelagerten Daten haben können. Unternehmen müssen Komponenten wie Message Queues, Konnektoren und Schemata sowie Verarbeitungsfehler und die Verfügbarkeit von Zielsystemen überwachen, um Störungen schnell erkennen und beheben zu können.

Echtzeit-Pipelines bieten weniger Zeit für umfangreiche Vorverarbeitung, bevor Informationen genutzt werden. Validierung, Deduplizierung, Schema-Durchsetzung und Fehlerbehandlung müssen daher in die Pipeline integriert oder nachgelagert durchgeführt werden.

Verteilte Streaming-Systeme müssen doppelte, verzögerte oder veraltete Datensätze berücksichtigen.

Änderungen an Datenbankschemas oder Eventformaten können sich auf nachgelagerte Nutzer auswirken, weshalb Schemaverwaltung und Kompatibilitätsrichtlinien wichtig sind.

Always-on-Infrastruktur kann viel Rechenleistung, Speicher und Netzwerkressourcen beanspruchen. Unternehmen müssen möglicherweise abwägen, ob der Nutzen einer geringeren Latenz die Ressourcen für die jeweilige Workload rechtfertigt.

Das kontinuierliche Replizieren von Informationen kann die Anzahl der Orte und Anwendungen erhöhen, an denen Daten erscheinen.

Daher sollten Governance-Kontrollen den Datenfluss durch die gesamte Datenpipeline begleiten. Wenn personenbezogene Daten (PII) betroffen sind, müssen Architekturen auch Datenschutzregeln berücksichtigen.

Nach der DSGVO müssen beispielsweise Unternehmen, die personenbezogene Daten verarbeiten, Grundprinzipien wie Zweckbegrenzung, Datenminimierung, Genauigkeit und Speicherbeschränkung einhalten. Die aktualisierten CCPA-Vorschriften Kaliforniens, die 2026 in Kraft getreten sind, enthalten auch Anforderungen in Bezug auf Datenschutzrechte, Risikobewertungen und Cybersicherheitsaudits.

Plattformen für Echtzeit-Datenintegration kombinieren in der Regel mehrere Funktionen, darunter Konnektoren, Aufnahme, Messaging, Transformation, Überwachung, CDC und Übertragung an nachgelagerte Systeme.

Beispiele für in Echtzeitarchitekturen verwendete Technologien sind:

• Apache Kafka: Eine verteilte Event-Streaming-Plattform, die zum Veröffentlichen, Speichern und Verarbeiten von Event Streams systemübergreifend genutzt wird.
• Apache Flink: Eine verteilte Engine für die zustandsbehaftete Stream- und Batch-Verarbeitung, einschließlich Ereigniszeitverarbeitung und zustandsbehafteter Berechnungen.
• IBM Confluent: Eine Datenstreaming-Plattform, die auf Apache Kafka und Apache Flink basiert. Confluent bietet verwaltete und selbstverwaltete Optionen für Streaming-Daten, Stream-Verarbeitung, Konnektoren, Schemaverwaltung und Data-Governance über Echtzeit-Datenpipelines hinweg.
• IBM StreamSets: Streaming-Datenpipeline-Software, die Streaming, CDC und Batch-Integration in Hybrid- und Multicloud-Umgebungen unterstützt. IBM bindet StreamSets-Funktionen zudem in die watsonx.data Integration ein.
• Google Pub/Sub: Ein verwalteter asynchroner Nachrichtendienst, der für die Ereignisverteilung und Streaming-Integration genutzt wird.
• BigQuery Speicher Schreib- API: Eine Google Cloud- Aufnahmeschnittstelle, die das kontinuierliche Streamen von Datensätzen in BigQuery unterstützt und Schreiboptionen sowohl mindestens einmal als auch exakt einmal bietet.
• Snowflake Snowpipe Streaming: Ein Echtzeit-Aufnahmedienst zum Streamen von Zeilen in Snowflake. Die aktuelle Architektur von Snowflake dokumentiert einen Durchsatz von bis zu 10 GB pro Sekunde pro Tabelle und eine Latenz von Aufnahme zu Abfrage von nur etwa fünf Sekunden. Elastic Channels ist seit September 2026 allgemein verfügbar.
• Oracle GoldenGate: Eine Plattform für Data Replication und Integration, die transaktionale CDC, Transformationen und Echtzeit-Replikation in heterogenen Umgebungen unterstützt.
• SQL Server CDC: Native SQL-Server-Funktionen zur Aufzeichnung von Einfügungs-, Aktualisierungs- und Löschoperationen auf nachverfolgten Tabellen.
• Logische PostgreSQL-Dekodierung: Eine Möglichkeit, PostgreSQL-Transaktionsprotokolländerungen in einen nutzbaren Datenstrom für die Replikation oder Integration umzuwandeln.

Unternehmen, die Tools zur Echtzeit-Datenintegration oder Software zur Echtzeit-Datenintegration evaluieren, müssen möglicherweise ihre Quellsysteme, Ziele, Cloud-Umgebungen, Durchsatzanforderungen, Latenzanforderungen, Governance-Modelle und Ressourcen berücksichtigen. Weitere wichtige Aspekte sind verfügbare Datenkonnektoren für die Echtzeit-Integration, CDC-Unterstützung, Transformationsfunktionen, Schemaverwaltung, Observability, Liefergarantien, Skalierbarkeit, Bereitstellungsmodell sowie die Integration in bestehende Cloud- und On-Premises-Systeme.

Datenintegration in Echtzeit ist für viele Branchen und Szenarien nützlich. Einige häufige Anwendungsfälle sind:

Die Integration von Finanzdaten in Echtzeit ermöglicht die Kombination von Transaktions-, Konto- und Verhaltensdaten, sodass Betrugserkennungs- oder Risikosysteme neue Aktivitäten kurz nach ihrem Auftreten auswerten können.

Wenn ein Kunde beispielsweise eine Kreditkarte benutzt, kann ein Finanzinstitut die neue Transaktion mit den jüngsten Kontoaktivitäten, Geräteinformationen und bekannten Betrugsindikatoren verknüpfen. Ein Betrugserkennungssystem kann die Transaktion dann vor oder unmittelbar nach der Autorisierung bewerten. Dies kann zusätzliche Überprüfungen auslösen, wenn die Aktivität verdächtigen Mustern entspricht.

Die Echtzeit-Integration für den Einzelhandel kann Verkaufs-, Bestand-, E-Commerce- und Kundendaten synchronisieren, sodass operative Systeme einen aktuellen Überblick über Bestandsniveaus und Kundenaktivitäten erhalten.

Wenn ein Kunde beispielsweise die letzte verfügbare Einheit eines Produkts in einem Ladengeschäft kauft, kann das Kassensystem ein Ereignis erzeugen, das die Lagersysteme und die E-Commerce-Anwendung des Einzelhändlers aktualisiert. Diese Methode kann die Wahrscheinlichkeit verringern, dass ein Online-Kunde versucht, einen Artikel zu kaufen, der nicht mehr auf Lager ist.

Die Echtzeit-Integration von Gesundheitsdaten kann klinische Systeme, Medizinprodukte und operative Anwendungen miteinander verbinden, wenn Pflege- oder Überwachungsworkflows aktuelle Daten erfordern. Implementierungen müssen die geltenden Anforderungen an Datenschutz, Sicherheit und Interoperabilität berücksichtigen.

Ein Krankenhaus könnte beispielsweise Daten von Patientenmonitoren am Krankenbett mit einem zentralen klinischen Überwachungssystem integrieren. Wenn sich Zustandsmessungen ändern, können aktualisierte Messwerte autorisierten klinischen Anwendungen sofort zur Verfügung gestellt werden.

IoT-Sensoren und Equipment können kontinuierlich Temperatur, Vibration, Energieverbrauch und Betriebsdaten generieren. Software zur Integration von Anlagendaten in Echtzeit kann diese Signale an Überwachungs-, Analyse- oder Wartungssysteme weiterleiten.

Zum Beispiel könnten Sensoren auf einer Fertigungsmaschine kontinuierlich Vibrations- und Temperaturwerte übertragen. Eine Streaming-Pipeline kann diese Messungen mit Betriebsdaten von Equipment integrieren und an eine Analyseanwendung senden, die Zustände identifiziert, die mit abnormalem Equipmentverhalten verbunden sind. Das System kann dann eine Wartungswarnung generieren, wenn vordefinierte Schwellenwerte oder Muster erkannt werden.

KI und Echtzeit-Datenintegration überschneiden sich, wenn KI-Systeme Informationen über sich schnell ändernde Bedingungen benötigen (anstatt sich ausschließlich auf statische oder regelmäßig aktualisierte Datensätze zu verlassen).

Die Echtzeit-KI-Datenintegration kann maschinellen Lernmodellen, Empfehlungsmaschinen, Abrufsystemen oder KI-Agenten aktuelle Daten liefern.

Beispielsweise könnte die Echtzeit-Integration einen Unterschied für eine KI-Kundenserviceanwendung ausmachen, die aktuelle Bestell-, Versand- oder Kontoinformationen aus operativen Systemen abruft, bevor sie eine Antwort generiert. Durch die Echtzeit-Integration kann sichergestellt werden, dass das Modell mit den neuesten verfügbaren Geschäftsdaten arbeitet.

Zu den gängigen Best Practices für die Echtzeit-Datenintegration gehören:

• Definieren Sie die Latenzanforderungen, bevor Sie eine Technologie auswählen. Konzipieren Sie nicht für Latenzzeiten im Subsekundenbereich, wenn Sekunden oder Minuten für die Anwendung ausreichen.
• Halten Sie die Datenaufnahme, -verarbeitung und -nutzung als separate Schritte, wenn dies das System einfacher zu skalieren macht oder hilft, einen Ausfall in einem Schritt zu verhindern, der die anderen Schritte stört.
• Wählen Sie die Vorgehensweise des Systems bei doppelten, fehlenden oder nicht in der richtigen Reihenfolge auftretenden Ereignissen basierend darauf, wie sich diese Probleme auf das Unternehmen auswirken könnten.
• Pipelines sollten so konzipiert sein, dass sie sich von Fehlern erholen und bei Bedarf frühere Daten erneut abspielen können, um den korrekten Zustand wiederherzustellen.
• Überwachen Sie die Latenz in der gesamten Pipeline, nicht nur innerhalb einzelner Komponenten.
• Überprüfen Sie, ob die eingehenden Daten dem erwarteten Schema folgen. Definieren Sie außerdem, wie Schemaänderungen im Laufe der Zeit gehandhabt werden sollen.
• Führen Sie Datenqualitätsprüfungen so früh wie möglich im Verarbeitungsprozess durch.
• Integrieren Sie die Anforderungen an die Data-Governance in den Entwicklungsprozess, einschließlich Datenabstammung, Zugriffskontrollen und Aufbewahrungsrichtlinien.
• Identifizieren Sie, welche Datensätze tatsächlich Echtzeitverarbeitung benötigen, und nutzen Sie Batch-Integration, wenn eine schnellere Verarbeitung kaum zusätzlichen Wert bieten würde.

Für Unternehmen, die Echtzeit-Datenintegration in Cloud-Umgebungen implementieren, umfassen diese Praktiken auch die Bewertung der Netzwerkbandbreite, Ausgangskosten, Managed-Service-Limits und der Konnektivität zwischen On-Premises- und Cloud-Systemen.

Ja. Ob Echtzeit-Datenintegration möglich ist, ist in erster Linie eine Frage der Architektur und der Latenzanforderungen. Streaming-Plattformen, CDC, APIs, Messaging-Systeme und andere Technologien können Informationen kontinuierlich zwischen Systemen austauschen, anstatt auf geplante Batch-Jobs zu warten.

„Echtzeit“ bedeutet jedoch nicht unbedingt sofort. Die akzeptable Latenz kann je nach Anwendung zwischen Millisekunden und Sekunden oder Minuten liegen.

Echtzeit-Pipelines ersetzen nicht unbedingt die Batch-Integration. Die meisten großen Datenumgebungen haben Workloads mit unterschiedlichen Latenzanforderungen. Unternehmen können die Echtzeit-Integration für operative Prozesse nutzen und gleichzeitig weiterhin die Batch-Verarbeitung für historische Analysen, Abstimmungen, periodische Berichte und andere Workloads einsetzen, bei denen keine sofortigen Aktualisierungen erforderlich sind.

Änderungsdatenerfassung (Change Data Capture, CDC) ist eine Technik zur Identifizierung von Datenänderungen, insbesondere von Einfügungen, Aktualisierungen und Löschungen in Datenbanken. Echtzeit-Datenintegration ist die umfassendere Architektur, die Informationen zwischen Systemen mit geringer Latenz verschiebt und potenziell transformiert.

Datenstreaming beschreibt die kontinuierliche Bewegung oder Verarbeitung von Daten.

Echtzeit-Datenintegration beschreibt den umfassenderen Prozess der Verbindung von Datenquellen und Zielsystemen, sodass Daten mit minimaler Verzögerung verfügbar werden.

Echtzeit-Datenintegration kann KI- und Machine-Learning-Anwendungen mit aktuellem operativen Kontext versorgen.

Für Anwendungen, bei denen sich die Eingaben schnell ändern (wie Betrugsüberwachung oder Empfehlungen), können kontinuierlich aktualisierte Daten die Lücke zwischen dem, was in der Quellumgebung geschieht, und den dem Modell verfügbaren Informationen verringern.

Die Echtzeit-Datenintegration für IoT-Geräte überträgt Sensor- oder Gerätetelemetrie zu Anwendungen, die sich ändernde Bedingungen überwachen, analysieren oder darauf reagieren können.

Beispiele hierfür sind Fertigung Equipment, Transportsysteme, Energieinfrastruktur, vernetzte Gebäude und Medizinprodukte.

Da IoT-Umgebungen eine große Anzahl kontinuierlich eintreffender Ereignisse erzeugen können, verwenden Systeme häufig Messaging- oder Stream-Processing-Technologien, die für einen hohen Durchsatz ausgelegt sind.