실시간 데이터 통합이란 무엇인가요?

실시간 데이터 통합은 새로운 정보나 변경된 정보를 지연을 최소화하여 사용할 수 있도록 소스 시스템에서 대상 시스템으로 데이터를 지속적으로 전송하고 처리하는 프로세스입니다.

예약된 간격으로 데이터를 수집하고 처리하는 배치 통합과 달리, 실시간 데이터 통합은 새로 유입되는 레코드, 데이터베이스 변경 사항 또는 이벤트에 지속적으로 대응합니다. 사용 사례와 기술에 따라 지연 시간을 수 밀리초 수준으로 줄일 수 있습니다.

실시간 통합을 통해 데이터베이스, 애플리케이션, 클라우드 서비스, 사물인터넷(IoT) 디바이스, CRM 시스템 등의 소스를 운영 애플리케이션, 데이터 웨어하우스, 데이터 레이크, 분석 플랫폼, 인공 지능(AI) 시스템을 비롯한 다양한 대상 시스템에 연결할 수 있습니다.

조직은 시간이 지남에 따라 데이터의 가치가 빠르게 떨어지는 경우 실시간 통합을 활용합니다. 예를 들어 사기 탐지, 산업 장비 모니터링, 재고 추적, 고객 활동에 대한 대응, 머신 러닝 및 AI 애플리케이션에 최신 정보 제공 등에 활용할 수 있습니다.

실시간 통합 파이프라인은 일반적으로 새로운 데이터를 수신하고 전송한 다음 처리하거나 변환하여 다운스트림 시스템에서 사용할 수 있도록 합니다.

일반적인 실시간 데이터 통합 아키텍처에는 다음과 같은 구성요소가 포함될 수 있습니다.

1. 데이터 소스: PostgreSQL, SQL Server, Oracle과 같은 운영 데이터베이스, SaaS 및 클라우드 애플리케이션, API, 트랜잭션 시스템, 센서, IoT 디바이스 등이 포함될 수 있습니다.
2. 데이터 캡처 또는 수집: 새로운 정보는 API, 메시징 시스템, 데이터베이스 로그, 커넥터, 변경 데이터 캡처 또는 이벤트 스트림을 통해 파이프라인으로 유입될 수 있습니다.
3. 전송 및 버퍼링: 이벤트 스트리밍 및 메시징 기술은 지속적으로 유입되는 데이터를 시스템 간에 전송합니다. 필요할 때 데이터를 임시로 저장할 수 있으며, 소스 시스템과 대상 시스템이 독립적으로 작동할 수 있도록 합니다. 예를 들어 Apache Kafka는 이벤트 스트림을 게시, 저장 및 처리하기 위한 분산 이벤트 스트리밍 플랫폼입니다. Google Pub/Sub는 이벤트 배포, 스트리밍 분석 및 데이터 통합 파이프라인에 사용되는 비동기 메시징 서비스입니다.
4. 스트림 처리: 데이터를 전송하는 과정에서 필터링, 집계, 보강 또는 기타 방식으로 변환할 수 있습니다. Apache Flink는 지속적으로 유입되는 데이터뿐만 아니라 유한한 데이터세트도 처리할 수 있는 분산 처리 엔진입니다. 또한 새로운 이벤트를 처리하면서 이전 이벤트에 대한 정보를 유지할 수 있어 시간에 따른 패턴을 추적하고 변화를 탐지하는 등의 작업에 유용합니다.
5. 대상 시스템: 통합된 데이터는 애플리케이션, 운영 데이터 저장소, AI 시스템, 데이터 웨어하우스, 데이터 레이크 또는 BigQuery 및 Snowflake와 같은 분석 플랫폼으로 전송될 수 있습니다.
6. 거버넌스 및 관측 가능성: 프로덕션 파이프라인의 신뢰성과 데이터 품질을 유지하려면 일반적으로 모니터링, 리니지, 액세스 제어, 스키마 관리, 오류 처리 및 데이터 거버넌스가 필요합니다.

이러한 아키텍처는 실시간 데이터 처리와 다운스트림 실시간 분석을 모두 지원할 수 있습니다.

데이터를 실시간으로 통합하는 방법은 한 가지로 정해져 있지 않습니다. 일반적인 실시간 데이터 통합 기술에는 데이터 스트리밍, 변경 데이터 캡처, 애플리케이션 통합 및 이벤트 기반 통합이 있습니다.

데이터 스트리밍은 예약된 배치 처리를 기다리지 않고 데이터가 생성되는 즉시 지속적으로 전송하는 방식입니다.

스트리밍 파이프라인은 대량의 텔레메트리 데이터, 트랜잭션 기록, 클릭스트림, 애플리케이션 로그 및 기타 지속적으로 생성되는 정보를 처리하는 데 자주 사용됩니다. 스트리밍 파이프라인은 운영 애플리케이션, 비즈니스 인텔리전스 시스템, AI 애플리케이션 및 분석 플랫폼에 데이터를 제공할 수 있습니다.

스트리밍 시스템은 생산자가 이벤트를 게시하고 다운스트림 소비자가 해당 이벤트에 독립적으로 반응하는 이벤트 기반 아키텍처를 사용하는 경우가 많습니다.

Apache Kafka는 이벤트 스트림을 저장하고 배포하는 데 널리 사용되며, Apache Flink와 같은 스트림 처리 엔진은 스트리밍 데이터가 시스템을 통과하는 동안 데이터를 필터링, 결합 및 보강할 수 있습니다. 또한 누적 합계, 최근 활동, 시간에 따른 패턴 등 이전 이벤트와 관련된 정보를 추적할 수도 있습니다. IBM® Confluent와 같은 플랫폼은 이러한 기능을 관리형 커넥터, 거버넌스 및 기타 서비스와 결합하여 스트리밍 파이프라인의 구축과 운영을 지원합니다.

변경 데이터 캡처(CDC)는 데이터베이스에서 발생한 변경 사항을 식별하고 다운스트림 시스템에서 사용할 수 있도록 하는 기술입니다.

CDC는 실시간 데이터 통합과 동일한 개념이 아닙니다. CDC는 실시간 통합 파이프라인의 소스로 사용할 수 있는 변경 데이터를 확보하는 방법 중 하나입니다.

예를 들어 SQL Server CDC는 추적 대상 테이블에서 발생하는 데이터 삽입, 업데이트 및 삭제 작업을 기록합니다. PostgreSQL은 데이터베이스의 변경 사항을 복제 소비자에게 제공할 수 있는 논리적 디코딩 및 논리적 복제 프로토콜을 지원합니다. Oracle GoldenGate는 이기종 시스템 간 트랜잭션 CDC 및 Data Replication을 지원합니다.

CDC는 전체 데이터세트를 반복적으로 복사하는 대신 변경 사항만 전송하므로 소스 시스템과 대상 시스템 간에 전송되는 데이터의 양을 줄일 수 있습니다.

CDC는 운영 데이터베이스와 분석 데이터 저장소를 동기화하거나, 스트리밍 플랫폼에 데이터를 공급하거나, 클라우드 데이터 플랫폼을 최신 상태로 유지하는 데 자주 사용됩니다.

애플리케이션 통합은 애플리케이션과 서비스 간에 정보를 전송하는 방식입니다.

API는 이러한 통합에 널리 사용되는 수단입니다. 예를 들어 CRM 애플리케이션은 다른 애플리케이션이 고객 정보를 조회하거나 업데이트할 수 있도록 API를 제공할 수 있습니다.

API는 실시간 통합을 지원할 수 있지만, 모든 API 상호작용이 실시간으로 이루어지는 것은 아닙니다. 지연 시간은 설계, 네트워크 상태, 요청 속도 제한 및 기타 요인에 따라 달라집니다.

이벤트 기반 아키텍처에서는 다음과 같은 상황이 발생하면 생산자가 이벤트를 게시합니다.

• 고객이 구매를 완료하는 경우
• 결제가 승인되는 경우
• 재고가 임계값 아래로 떨어지는 경우
• 센서 측정 온도가 한계값을 초과하는 경우
• 데이터베이스 레코드가 변경되는 경우

소비자는 이러한 이벤트를 구독하거나 다른 방식으로 이벤트에 대응합니다.

메시징 및 이벤트 스트리밍 기술은 생산자와 소비자 간의 종속성을 제거하여 여러 시스템이 동일한 정보에 독립적으로 대응할 수 있도록 합니다.

실시간 통합은 ETL의 대안으로 여겨지기도 하지만, 두 개념은 데이터 아키텍처의 서로 다른 측면을 설명합니다.

ETL은 추출, 변환, 로드를 의미합니다. 소스 시스템에서 데이터를 추출하고, 대상 시스템에 도달하기 전에 변환한 다음 대상 시스템에 로드합니다.

ELT는 추출, 로드, 변환을 의미합니다. 원시 데이터를 먼저 대상 플랫폼에 로드한 다음 해당 플랫폼에서 변환합니다.

두 방식 모두 배치 또는 스트리밍 기술을 사용하여 실행할 수 있습니다. 실시간 데이터 통합을 지원하는 최신 ETL 툴은 예약된 배치 작업에만 의존하지 않고 지속적으로 실행되거나 빈번하게 발생하는 증분 업데이트를 처리할 수 있습니다.

따라서 실시간 통합과 ETL은 반드시 둘 중 하나만 선택해야 하는 관계는 아닙니다. 예를 들어 조직은 CDC를 사용하여 데이터베이스의 변경 사항을 지속적으로 추출하고, Kafka로 전송한 다음 Flink로 변환하여 데이터 웨어하우스에 로드할 수 있습니다. 이러한 파이프라인은 실시간 통합인 동시에 ETL 방식의 워크플로이기도 합니다.

ELT에도 동일한 원칙이 적용됩니다. 스트리밍 또는 CDC 파이프라인을 통해 데이터를 클라우드 데이터 웨어하우스에 지속적으로 로드한 후 변환할 수 있습니다.

실시간 처리와 배치 처리는 서로 다른 요구사항에 맞게 최적화됩니다.

처리 속도나 즉시성이 결과에 큰 영향을 미치지 않는 경우에는 배치 처리가 여전히 유용합니다. 또한 지속적인 처리가 필요하지 않은 대규모 워크로드의 운영을 간소화하고 컴퓨팅 리소스 사용량을 제어할 수 있습니다.

많은 조직이 동일한 데이터 통합 아키텍처 내에서 두 가지 방식을 모두 사용합니다.

실시간 통합은 정보를 얼마나 빨리 사용할 수 있는지가 정보의 가치에 큰 영향을 미치는 경우에 가장 적합합니다.

다음과 같은 경우 실시간 통합이 적합한 아키텍처가 될 수 있습니다.

• 다운스트림 애플리케이션에 최신 운영 데이터가 필요한 경우
• 몇 초 또는 몇 밀리초 이내에 의사결정을 내려야 하는 경우
• 시스템이 이벤트 발생 즉시 대응해야 하는 경우
• 데이터가 자주 변경되어 반복적인 배치 추출로 불필요한 작업이 발생하는 경우
• 여러 애플리케이션이 동일한 이벤트 스트림을 사용해야 하는 경우
• 지속적으로 업데이트되는 정보를 실시간 분석, 자동화 또는 AI 시스템에 제공하는 경우
• 조직이 장비, 트랜잭션, 재고 또는 사용자 행동을 지속적으로 파악해야 하는 경우

대표적인 예로는 결제 승인 및 사기 탐지, 산업 장비 모니터링, 물류 추적, 온라인 개인화, IoT 디바이스를 위한 실시간 데이터 통합 등이 있습니다.

몇 분 또는 몇 시간의 지연이 결과에 영향을 미치지 않는 경우에는 실시간 통합의 이점이 상대적으로 적을 수 있습니다. 배치 또는 마이크로 배치 처리는 정기 보고, 과거 데이터 분석, 예약된 대규모 데이터 변환, 데이터 대사 및 지속적인 데이터 업데이트가 필요하지 않은 기타 워크로드에 더 적합할 수 있습니다.

실제로 조직에서는 두 가지 방식을 함께 사용하는 경우가 많습니다. 예를 들어 금융 기관은 사기 모니터링을 위해 트랜잭션을 실시간으로 처리하는 동시에 데이터 대사 및 규제 보고에는 예약된 배치 처리를 사용할 수 있습니다.

목표는 모든 영역에서 지연 시간을 최소화하는 것이 아니라 비즈니스 프로세스에 맞는 통합 방식과 지연 시간 요구사항을 적용하는 것입니다.

실시간 데이터 통합의 이점은 워크로드와 아키텍처에 따라 달라집니다.

지속적으로 실행되는 파이프라인은 데이터가 생성된 시점부터 다운스트림 시스템에서 사용할 수 있게 되기까지 걸리는 시간을 단축합니다. 이를 통해 모니터링, 분석 및 의사결정을 지원할 수 있습니다.

애플리케이션은 다음 배치 주기를 기다리지 않고 이벤트에 대응할 수 있습니다. 이러한 기능은 사기 경고, 장비 모니터링, 재고 업데이트 및 자동화된 워크플로를 지원합니다.

실시간 분석을 위한 데이터 통합은 분석 시스템에 새로운 정보를 지속적으로 제공합니다. 대시보드, 모델 및 운영 애플리케이션은 주기적으로 갱신되는 스냅샷에만 의존하지 않고 최신 변경 사항을 반영할 수 있습니다.

CDC 및 스트리밍 파이프라인은 여러 시스템이 동일한 정보의 서로 다른 버전을 보유하는 기간을 단축할 수 있습니다.

실시간 데이터 통합의 이점 중 하나는 폴링, 예약된 전송 또는 수동 개입이 필요할 수 있는 정보 전송을 자동화하여 운영 효율성을 높인다는 것입니다.

이벤트 스트리밍 아키텍처를 사용하면 여러 소비자가 동일한 이벤트를 독립적으로 활용할 수 있으므로 각 다운스트림 애플리케이션에 대해 별도의 지점간 통합을 구축할 필요성이 줄어듭니다.

실시간 데이터 통합의 과제는 분산 시스템을 지속적으로 운영하고 데이터가 변경되는 상황에서도 정확성을 유지하는 데 있습니다.

스트리밍 애플리케이션은 여러 시스템에 걸쳐 지속적으로 실행되는 경우가 많으므로 파이프라인의 한 부분에서 발생한 문제가 다운스트림으로 전송되는 데이터에 영향을 미칠 수 있습니다. 조직은 메시지 큐, 커넥터, 스키마 등의 구성요소뿐만 아니라 처리 오류와 대상 시스템의 가용성도 모니터링하여 장애를 신속하게 탐지하고 해결할 수 있어야 합니다.

실시간 파이프라인에서는 데이터가 사용되기 전에 광범위한 전처리를 수행할 시간이 상대적으로 부족합니다. 따라서 유효성 검사, 중복 제거, 스키마 규칙 적용 및 오류 처리를 파이프라인에 통합하거나 다운스트림에서 수행해야 합니다.

분산 스트리밍 시스템은 중복되거나 지연되거나 순서가 뒤바뀐 레코드를 고려해야 합니다.

데이터베이스 스키마나 이벤트 형식의 변경은 다운스트림 소비자에게 영향을 미칠 수 있으므로 스키마 관리와 호환성 정책이 중요합니다.

상시 가동되는 인프라는 많은 컴퓨팅, 스토리지 및 네트워크 리소스를 소비할 수 있습니다. 조직은 각 워크로드에서 지연 시간을 줄임으로써 얻는 이점이 이러한 리소스 사용을 정당화할 만큼 충분한지 판단해야 할 수 있습니다.

정보를 지속적으로 복제하면 데이터가 존재하는 위치와 애플리케이션의 수가 늘어날 수 있습니다.

따라서 데이터가 파이프라인을 통과하는 전 과정에서 거버넌스 제어가 적용되어야 합니다. 개인 식별 정보(PII)를 처리하는 경우에는 아키텍처를 설계할 때 개인정보 보호 규정도 고려해야 합니다.

예를 들어 GDPR에 따라 개인 데이터를 처리하는 조직은 목적 제한, 데이터 최소화, 정확성 및 보관 기간 제한 등의 원칙을 준수해야 합니다. 2026년에 발효된 캘리포니아주의 개정 CCPA 규정에도 개인정보 보호 권리, 위험 평가 및 사이버 보안 감사와 관련된 요구사항이 포함되어 있습니다.

실시간 데이터 통합 플랫폼은 일반적으로 커넥터, 데이터 수집, 메시징, 변환, 모니터링, CDC 및 다운스트림 시스템으로의 데이터 전송을 비롯한 여러 기능을 결합합니다.

실시간 아키텍처에 사용되는 기술의 예는 다음과 같습니다.

• Apache Kafka: 시스템 전반에서 이벤트 스트림을 게시, 저장 및 처리하는 데 사용되는 분산 이벤트 스트리밍 플랫폼입니다.
• Apache Flink: 이벤트 시간 처리 및 상태 기반 연산을 비롯한 상태 저장 방식의 스트림 및 배치 처리를 지원하는 분산 엔진입니다.
• IBM Confluent: Apache Kafka와 Apache Flink를 기반으로 구축된 데이터 스트리밍 플랫폼입니다. Confluent는 실시간 데이터 파이프라인 전반에서 데이터 스트리밍, 스트림 처리, 커넥터, 스키마 관리 및 데이터 거버넌스를 위한 관리형 및 자체 관리형 옵션을 제공합니다.
• IBM StreamSets: 하이브리드 및 멀티클라우드 환경 전반에서 스트리밍, CDC 및 배치 통합을 지원하는 스트리밍 데이터 파이프라인 소프트웨어입니다. IBM은 StreamSets 기능을 watsonx.data integration에도 통합합니다.
• Google Pub/Sub: 이벤트 배포 및 스트리밍 통합에 사용되는 관리형 비동기 메시징 서비스입니다.
• BigQuery Storage Write API: 레코드를 BigQuery로 지속적으로 스트리밍할 수 있도록 지원하며 최소 1회 쓰기와 정확히 1회 쓰기 옵션을 모두 제공하는 Google Cloud 데이터 수집 인터페이스입니다.
• Snowflake Snowpipe Streaming: 행 데이터를 Snowflake로 스트리밍하는 실시간 데이터 수집 서비스입니다. Snowflake의 최신 아키텍처 문서에 따르면 테이블당 초당 최대 10GB의 처리량을 지원하며, 데이터 수집부터 쿼리까지의 지연 시간을 약 5초까지 줄일 수 있습니다. Elastic Channels는 2026년 9월에 정식 출시되었습니다.
• Oracle GoldenGate: 이기종 환경 전반에서 트랜잭션 CDC, 데이터 변환 및 실시간 복제를 지원하는 Data Replication 및 통합 플랫폼입니다.
• SQL Server CDC: 추적 대상 테이블에서 발생하는 삽입, 업데이트 및 삭제 작업을 기록하는 SQL Server의 기본 제공 기능입니다.
• PostgreSQL 논리적 디코딩: PostgreSQL 트랜잭션 로그의 변경 사항을 복제 또는 통합에 사용할 수 있는 데이터 스트림으로 변환하는 방식입니다.

실시간 데이터 통합 툴이나 소프트웨어를 평가하는 조직은 소스 시스템, 대상 시스템, 클라우드 환경, 처리량 요구사항, 지연 시간 요구사항, 거버넌스 모델 및 엔지니어링 리소스를 고려해야 할 수 있습니다. 그 밖에도 실시간 통합에 사용할 수 있는 데이터 커넥터, CDC 지원, 데이터 변환 기능, 스키마 관리, 관측 가능성, 데이터 전송 보장, 확장성, 배포 모델, 기존 클라우드 및 온프레미스 시스템과의 통합 여부 등을 중요하게 고려해야 합니다.

실시간 데이터 통합은 다양한 산업과 시나리오에서 유용하게 활용됩니다. 일반적인 활용 사례는 다음과 같습니다.

실시간 금융 데이터 통합은 트랜잭션, 계좌 및 행동 데이터를 결합하여 사기 탐지 또는 위험 관리 시스템이 새로운 활동이 발생한 직후 이를 평가할 수 있도록 합니다.

예를 들어 고객이 신용카드를 사용하면 금융 기관은 새로운 트랜잭션을 최근 계좌 활동, 디바이스 정보 및 알려진 사기 징후와 통합할 수 있습니다. 그러면 사기 탐지 시스템은 승인 전이나 승인 직후에 해당 트랜잭션을 평가할 수 있습니다. 해당 활동이 의심스러운 패턴과 일치하면 추가 확인 절차가 시작될 수 있습니다.

소매업에서 실시간 데이터 통합을 활용하면 판매, 재고, 전자상거래 및 고객 데이터를 동기화하여 운영 시스템에서 재고 수준과 고객 활동을 더욱 최신 상태로 파악할 수 있습니다.

예를 들어 고객이 오프라인 매장에서 마지막 남은 제품을 구매하면 POS 시스템에서 이벤트를 생성하여 재고 시스템과 소매업체의 전자상거래 애플리케이션을 업데이트할 수 있습니다. 이러한 방식을 통해 온라인 고객이 품절된 제품을 구매하려고 시도하는 상황을 줄일 수 있습니다.

실시간 의료 데이터 통합은 진료 또는 모니터링 워크플로에 최신 데이터가 필요한 경우 임상 시스템, 의료 기기 및 운영 애플리케이션을 연결할 수 있습니다. 이를 구현할 때는 관련 개인정보 보호, 보안 및 상호운용성 요구사항을 고려해야 합니다.

예를 들어 병원은 환자 침상 옆의 모니터링 장치에서 수집한 데이터를 중앙 임상 모니터링 시스템과 통합할 수 있습니다. 환자의 건강 측정값이 변경되면 업데이트된 측정값을 액세스 권한이 있는 임상 애플리케이션에서 즉시 사용할 수 있도록 할 수 있습니다.

IoT 센서와 장비는 온도, 진동, 에너지 사용량 및 운영 데이터를 지속적으로 생성할 수 있습니다. 실시간 시설 데이터 통합 소프트웨어는 이러한 신호를 모니터링, 분석 또는 유지보수 시스템으로 전달할 수 있습니다.

예를 들어 제조 장비에 설치된 센서는 진동 및 온도 측정값을 지속적으로 전송할 수 있습니다. 스트리밍 파이프라인은 이러한 측정값을 장비 운영 데이터와 통합하고, 장비의 비정상적인 작동과 관련된 상태를 식별하는 분석 애플리케이션으로 전송할 수 있습니다. 그러면 시스템은 사전에 정의된 임계값이나 패턴이 감지될 때 유지보수 경고를 생성할 수 있습니다.

AI 시스템이 정적 데이터세트나 주기적으로 갱신되는 데이터세트에만 의존하지 않고 빠르게 변화하는 상황에 대한 정보를 필요로 할 때 AI와 실시간 데이터 통합이 결합됩니다.

실시간 AI 데이터 통합을 통해 머신 러닝 모델, 추천 엔진, 검색 시스템 또는 AI 에이전트에 최신 데이터를 제공할 수 있습니다.

예를 들어 답변을 생성하기 전에 운영 시스템에서 최신 주문, 배송 또는 계정 정보를 검색하는 AI 고객 서비스 애플리케이션에서는 실시간 데이터 통합이 중요한 역할을 할 수 있습니다. 실시간 통합은 모델이 사용 가능한 최신 비즈니스 데이터를 활용하도록 지원할 수 있습니다.

일반적인 실시간 데이터 통합 모범 사례는 다음과 같습니다.

• 기술을 선택하기 전에 지연 시간 요구사항을 정의합니다. 애플리케이션의 요구사항을 초 또는 분 단위의 지연 시간으로 충족할 수 있다면 1초 미만의 지연 시간을 목표로 설계하지 않습니다.
• 데이터 수집, 처리 및 사용 단계를 분리하면 시스템 확장이 용이해지거나 한 단계의 장애가 다른 단계에 영향을 미치는 것을 방지할 수 있는 경우에는 각 단계를 분리하여 유지합니다.
• 이벤트 중복, 누락 또는 순서 오류가 비즈니스에 미칠 수 있는 영향을 고려하여 시스템의 처리 방식을 결정합니다.
• 파이프라인이 장애에서 복구하고 필요할 때 이전 데이터를 재처리하여 올바른 상태로 복원할 수 있도록 설계합니다.
• 개별 구성요소뿐만 아니라 전체 파이프라인의 지연 시간을 모니터링합니다.
• 유입되는 데이터가 예상된 스키마를 준수하는지 확인합니다. 또한 시간이 지남에 따라 발생하는 스키마 변경 사항을 어떻게 처리할지 정의합니다.
• 파이프라인에서 가능한 한 초기 단계에 데이터 품질 검사를 적용합니다.
• 데이터 리니지, 액세스 제어 및 보존 정책을 비롯한 데이터 거버넌스 요구사항을 파이프라인에 통합합니다.
• 실시간 처리가 반드시 필요한 데이터세트를 식별하고, 처리 속도를 높여도 추가적인 이점이 거의 없는 경우에는 배치 통합을 사용합니다.

클라우드 환경에 실시간 데이터 통합을 구현하는 조직의 경우 네트워크 대역폭, 데이터 송신 비용, 관리형 서비스의 제한 사항, 온프레미스 시스템과 클라우드 시스템 간 연결성을 평가하는 것도 이러한 모범 사례에 포함됩니다.

예. 데이터 통합을 실시간으로 수행할 수 있는지는 주로 아키텍처와 지연 시간 요구사항에 따라 결정됩니다. 스트리밍 플랫폼, CDC, API, 메시징 시스템 및 기타 기술을 활용하면 예약된 배치 작업을 기다리지 않고 시스템 간에 정보를 지속적으로 전송할 수 있습니다.

하지만 ‘실시간’이 반드시 즉각적인 처리를 의미하는 것은 아닙니다. 허용 가능한 지연 시간은 애플리케이션에 따라 밀리초에서 초 또는 분 단위까지 다양합니다.

실시간 파이프라인이 반드시 배치 통합을 대체하는 것은 아닙니다. 대부분의 대규모 데이터 환경에는 지연 시간 요구사항이 서로 다른 워크로드가 존재합니다. 조직은 운영 프로세스에 실시간 통합을 활용하면서도 과거 데이터 분석, 데이터 대사, 정기 보고 및 즉각적인 업데이트가 필요하지 않은 기타 워크로드에는 배치 처리를 계속 사용할 수 있습니다.

변경 데이터 캡처는 데이터의 변경 사항, 특히 데이터베이스에서 발생하는 삽입, 업데이트 및 삭제 작업을 식별하는 기술입니다. 실시간 데이터 통합은 시스템 간에 지연 시간을 최소화하여 정보를 전송하고 필요에 따라 변환하는 더 포괄적인 아키텍처입니다.

데이터 스트리밍은 데이터를 지속적으로 전송하거나 처리하는 것을 의미합니다.

실시간 데이터 통합은 데이터 소스와 대상 시스템을 연결하여 지연을 최소화하면서 데이터를 사용할 수 있도록 하는 더 포괄적인 프로세스를 의미합니다.

실시간 데이터 통합은 AI 및 머신 러닝 애플리케이션에 최신 운영 컨텍스트를 제공할 수 있습니다.

사기 모니터링이나 추천 시스템처럼 입력 데이터가 빠르게 변경되는 애플리케이션에서는 지속적으로 갱신되는 데이터를 활용하여 소스 환경에서 실제로 발생하는 상황과 모델에서 사용할 수 있는 정보 간의 차이를 줄일 수 있습니다.

IoT 디바이스를 위한 실시간 데이터 통합은 센서 또는 디바이스의 텔레메트리 데이터를 변화하는 상황을 모니터링하고 분석하거나 이에 대응할 수 있는 애플리케이션으로 전송합니다.

대표적인 예로는 제조 장비, 운송 시스템, 에너지 인프라, 커넥티드 빌딩 및 의료 기기 등이 있습니다.

IoT 환경에서는 대량의 이벤트가 지속적으로 발생할 수 있으므로 높은 처리량을 지원하도록 설계된 메시징 또는 스트림 처리 기술을 사용하는 경우가 많습니다.