실시간 데이터 스트리밍이란 무엇인가요?

실시간 데이터 스트리밍은 데이터 포인트가 도착하는 즉시 처리하는 것을 의미하며 보통 생성된 지 몇 밀리초 안에 처리됩니다.

이러한 낮은 지연 시간 방식은 작업을 묶어 정해진 시간에 실행하는 기존 배치 처리와는 다릅니다. 반대로 실시간 데이터 스트리밍에서는 “이동 중인 데이터”를 즉시 처리하므로 기업이 최신의 실시간 정보에 접근할 수 있습니다. 실시간 데이터 소스에는 다음이 포함됩니다.

• 사물 인터넷(IoT) 장치와 센서
• 금융 시장 데이터 피드
• 소셜 미디어
• POS 및 이커머스 시스템
• 클릭스트림(웹사이트에서의 사용자 행동 기록)

이러한 정보를 분석하면 적시에 의사 결정을 지원하고 에이전틱 인공지능(AI)을 포함한 실시간 애플리케이션을 구동할 수 있는 인사이트를 생성합니다. 실시간 데이터 스트리밍의 추가적인 이점으로는 운영 효율성 향상, 데이터 보존 개선, 위험 관리 강화, 고객 개인화가 있습니다.

실시간 데이터 스트리밍은 데이터 수집 계층, 실시간 처리 엔진, 저장 및 제공 계층으로 구성된 인프라를 통해 가능해집니다. 오픈 소스 프레임워크와 데이터 스트리밍 플랫폼과 같은 솔루션은 실시간 스트리밍 인프라를 지원하며 기업이 수천 개의 데이터 파이프라인 전반에서 수백만 개의 레코드를 효율적으로 관리하도록 돕습니다.

세차게 물이 분출되는 분수를 떠올려 보세요. 목이 마른 행인이 멈춰 서서 몇 모금 마시려 하지만 물이 너무 세차게 흐르기 때문에 거의 삼킬 수 없습니다. 대부분의 물은 입 밖으로 튀어 발 아래에 물웅덩이를 남깁니다. 갈증을 해소하려면 한동안 그 자리에 서 있어야 하며 결국 그 노력이 처음부터 할 가치가 없다고 느낄 수도 있습니다.

오늘날 가장 가치 있는 비즈니스 인텔리전스의 원천 중 하나인 빠르게 흐르는 정보 스트림의 힘을 활용하려 할 때 기업이 직면하는 딜레마도 이와 같습니다.

기존 방식으로 이러한 데이터를 수집하고 처리하려는 시도는 통제되지 않는 분수 앞에서 갈증을 해소하려는 여행자의 상황과 비슷합니다. 실행 가능한 인사이트든 충분한 수분 섭취든 목표에 도달하려면 매우 오랜 시간이 걸리는 복잡한 과정이 될 수 있습니다.

실시간 데이터 스트리밍은 이러한 복잡함 없이 기업이 실시간 데이터를 빠르게 활용할 수 있는 방법을 제공합니다.

실시간 데이터 수집과 처리를 통해 기업은 빠르게 흐르는 연속 데이터를 실시간 분석 시스템에 공급할 수 있으며 이러한 시스템은 즉시 활용 가능한 실행 가능한 인사이트를 생성합니다. 이러한 실시간 인사이트는 다양한 산업과 분야에서 경쟁 우위를 제공합니다.

소매업체는 소비자 수요에 대한 즉각적인 정보를 기반으로 가격을 동적으로 조정할 수 있습니다. 은행은 거래 데이터를 분석하고 실시간으로 사기 탐지를 수행할 수 있습니다. 제조업체는 기계 고장을 감지하고 큰 가동 중단이 발생하기 전에 대응할 수 있습니다.

실시간 데이터가 제공하는 민첩성은 에이전틱 인공지능과 결합될 때 더욱 강화됩니다. 에이전틱 인공지능은 실시간 데이터를 활용하여 사이버 보안 위협을 식별하고 대응하거나 교통 지연이 발생할 때 배송 경로를 조정하는 것과 같은 빠르고 자율적인 현실 세계 의사 결정을 지원합니다.

실시간 데이터 스트리밍이 없다면 기업은 이러한 이점을 실현할 수 없습니다. 대신 기존의 더 느린 데이터 수집과 처리 방식에 의존하게 됩니다.

최신 데이터 처리 솔루션으로서 실시간 데이터 스트리밍과 전반적인 스트리밍 데이터 관리는 기존의 데이터 처리 방식인 배치 처리와 대비됩니다.

실시간 데이터 스트리밍에서는 유입되는 개별 데이터 포인트가 대상 시스템에 들어오는 즉시 처리됩니다. 배치 처리에서는 조직이 고정된 간격으로 데이터 세트를 배치(배치 데이터) 단위로 집계하고 분석합니다.

배치 처리는 정기 보고서 생성과 같은 반복 워크로드를 자동화할 수 있습니다. 또한 시스템 사용량이 많지 않은 야간과 같은 시간에 배치 작업을 예약하여 리소스 사용을 최적화할 수 있습니다.

하지만 다음 예정 실행까지 기다릴 수 없는 비즈니스 요구 사항에는 배치 처리가 적합하지 않습니다. 더 빠른 처리 속도가 필요할 때 기업은 실시간 데이터 스트리밍을 포함한 더 빠른 처리 방식으로 전환합니다.

실시간 데이터 스트리밍을 사용하는 기업은 다음과 같은 다양한 이점을 경험합니다.

실시간 데이터 스트리밍은 종종 “이벤트 스트리밍”이라는 용어와 서로 바꿔 사용되며 그 이유는 두 개념의 차이가 미묘하기 때문입니다.

이벤트 스트리밍은 애플리케이션과 사물 인터넷(IoT) 장치와 같은 다양한 데이터 소스에서 발생하는 시스템 또는 환경의 변화나 사건을 의미하는 “이벤트”라는 레코드 흐름을 수집한 후 이를 즉시 처리하고 이후 분석이나 저장을 위해 전달합니다. 이벤트 스트림은 일반적으로 실시간 데이터로 구성됩니다.

그러나 이벤트 스트리밍에서는 데이터가 이동하기 전에 필터링이 이루어지므로 대상 시스템에 대한 요구 사항이 크게 줄어듭니다. 이는 일부 조직에 중요한 이점이 될 수 있지만 이벤트 스트리밍에는 단점도 있습니다. 시계열 분석과 신호 처리(센서 데이터와 기타 정보를 처리하여 가치를 도출하는 작업)는 실시간 데이터 스트리밍보다 이벤트 스트리밍에서 더 어렵습니다.

이러한 차이에도 불구하고 실시간 데이터 스트리밍과 이벤트 스트리밍을 위한 솔루션은 동일합니다. Apache Kafka, Amazon Web Services(AWS)의 Amazon Kinesis, Redpanda와 같은 주요 데이터 스트리밍 플랫폼은 이벤트 스트리밍 플랫폼으로도 알려져 있습니다.

실시간 데이터 스트리밍을 지원하는 데이터 아키텍처는 스트리밍 아키텍처이며 데이터가 계속 흐르도록 하고 데이터가 오래되지 않도록 설계된 데이터 엔지니어링 구성 요소로 이루어져 있습니다. 세 가지 기본 구성 요소는 다음과 같습니다.

• 수집
• 처리
• 대상

다양한 소스가 지속적으로 데이터 포인트를 생성하고 전송합니다. 이렇게 유입되는 데이터는 종종 무한 스트림 형태이며 이는 고정된 끝점 없이 생성되고 계속 흐른다는 의미입니다. 이 정보는 스트리밍 커넥터가 있는 데이터 수집 툴에 의해 수집된 후 처리기로 전달됩니다. 애플리케이션 프로그래밍 인터페이스(API)도 다양한 소스에서 실시간 데이터 전송을 자동화하는 데 도움을 줄 수 있습니다.

스트림 처리(때로는 실시간 데이터 처리라고도 함)에서는 데이터가 도착하는 즉시 필터링되고 강화되며 변환되거나 분석됩니다. 인공지능과 머신 러닝은 데이터 분석을 수행하고 패턴과 기타 핵심 인사이트를 식별하는 데 활용될 수 있습니다.

처리된 데이터는 즉시 사용(예: 애플리케이션이나 대시보드) 또는 저장을 위해 대상 시스템으로 전달됩니다. 조직은 스트리밍 데이터를 저장하기 위해 데이터 레이크와 데이터 레이크하우스를 자주 활용하는데 이는 비교적 낮은 비용으로 대량의 데이터를 수용할 수 있기 때문입니다. 스트리밍 데이터는 데이터 변환, 정리 및 시각화를 위해 ETL(추출, 변환, 적재) 프로세스를 사용하는 데이터 웨어하우스에도 저장될 수 있습니다.

적절한 스트리밍 툴과 처리 기능은 실시간 데이터 스트리밍 파이프라인을 구축하는 데 매우 중요합니다. 여기에는 오픈 소스 스트리밍 프레임워크, 클라우드 기반 데이터 스트리밍 플랫폼과 툴, 그리고 데이터 통합 솔루션이 포함됩니다.

Apache Kafka, Apache Flink, Apache Spark Streaming은 실시간 데이터 스트리밍을 위한 핵심 오픈 소스 프레임워크와 툴입니다.

• Apache Kafka: 애플리케이션이 데이터 또는 이벤트 스트림을 게시하거나 구독할 수 있도록 하며 높은 처리량의 데이터 전달을 지원하는 분산 플랫폼입니다.

• Apache Flink: 상태 기반 연산(이벤트 간 데이터 컨텍스트 유지)과 복잡한 이벤트 처리(이벤트 스트림에서 패턴과 관계 탐지)를 위한 분산 처리 엔진입니다.

• Apache Spark Streaming: Spark Streaming은 Spark 데이터 처리 엔진의 확장 기능입니다. 이는 실시간 데이터 스트림을 확장 가능하고 장애 허용 방식으로 처리할 수 있도록 지원합니다.

오픈 소스 스트리밍 솔루션은 실시간 데이터 스트리밍의 기반을 제공할 수 있습니다. 그러나 기업은 스트리밍 데이터를 관리하고 스트리밍 애플리케이션을 구축하며 확장성을 보장하기 위해 클라우드 공급자와 특화된 클라우드 기반 플랫폼의 추가 지원에 의존하는 경우가 많습니다.

대표적인 툴과 플랫폼으로는 Amazon Kinesis, Confluent, Microsoft Azure Stream Analytics, Google Cloud의 Dataflow, IBM® Event Streams가 있습니다.

서로 다른 유형의 데이터 처리는 서로 다른 유형의 데이터 통합 툴을 필요로 합니다. 스트리밍 데이터 플랫폼에는 통합 기능이 포함되어 있지만 보다 포괄적인 통합 솔루션이 등장하면서 기업은 실시간 스트리밍 데이터 워크플로와 배치 및 ETL과 같은 다른 유형의 처리 워크플로를 하나의 솔루션 내에서 통합할 수 있게 되었습니다. 이 기능은 툴 난립을 줄이는 데 도움이 될 수 있습니다.

실시간 데이터 스트리밍을 성공적으로 활용하려면 구현 과정에 내재된 과제를 고려하고 이에 대한 계획을 세우는 것이 도움이 될 수 있습니다.

온디맨드 방식의 데이터 수집, 처리 및 분석은 특히 빅데이터라고도 불리는 대규모 복잡한 데이터 볼륨의 경우 비용이 많이 들고 리소스를 많이 요구하는 작업입니다. 실시간 데이터 스트리밍에 자금과 리소스를 투자할지 결정할 때 기업은 그 비용을 오래된 데이터와 느린 의사 결정으로 발생하는 비용과 비교해 균형 있게 판단해야 합니다.

장애 허용성(구성 요소 일부가 실패하더라도 시스템이 계속 작동할 수 있는 능력)은 성공적인 실시간 데이터 스트리밍에 매우 중요합니다. 실시간 데이터 스트리밍 시스템에서 발생하는 장애나 중단은 데이터 손실을 초래할 수 있으며 스트리밍을 다른 처리 방식과 구별하는 속도를 저하시킬 수 있습니다.

스트리밍 데이터 파이프라인에 대한 종합적인 가시성은 파이프라인 장애를 방지하고 최적의 성능을 보장하는 데 필요합니다. 핵심 데이터 품질 지표를 모니터링하고 스키마 변경이나 데이터 드리프트와 같은 문제를 신속하게 식별하면 기업이 데이터 무결성과 파이프라인 신뢰성을 보장하는 데 도움이 됩니다.

실시간 데이터 스트리밍에는 데이터 개인정보 보호 규정의 적용을 받는 민감한 데이터나 개인 식별 정보(PII)가 지속적으로 흐를 수 있습니다. 데이터 암호화와 액세스 제어를 포함하여 파이프라인 보안을 보장하기 위한 조치는 기업이 규제 요구 사항을 준수하고 데이터 유출을 방지하는 데 도움이 됩니다.