스트림 처리는 데이터가 생성되는 즉시 이를 수집하고 분석하는 방식입니다.
정적인 데이터 세트를 처리하는 기존 배치 처리와 달리 스트림 처리는 센서, 소셜 미디어 플랫폼, 금융 거래 및 사물인터넷(IoT) 장치와 같은 다양한 소스에서 지속적으로 흐르는 데이터를 처리합니다. 이러한 소스 시스템 내의 각 변경, 작업 또는 발생 사항은 “이벤트”로 표현될 수 있으며, 이 때문에 스트림 처리는 때때로 “이벤트 스트림 처리”라고도 불립니다.
이러한 실시간 접근 방식은 조직이 새로운 정보에 즉시 대응할 수 있도록 지원하며, 스트림 처리는 사기 탐지, 예측 분석 및 개인화된 고객 경험과 같은 애플리케이션에 이상적입니다. Apache Kafka와 같은 플랫폼은 시스템이 대량의 실시간 데이터를 안정적이고 확장 가능한 방식으로 게시, 전송 및 처리할 수 있도록 지원함으로써 스트림 처리를 지원하는 데 널리 사용됩니다.
스트림 처리 아키텍처에는 데이터 스트림을 실시간으로 수집, 전송, 처리 및 분석하는 기술과 패턴이 포함됩니다.
일반적인 아키텍처에서 연속적인 데이터 스트림은 스트리밍 데이터 플랫폼을 통해 이동하며, 이 과정에서 수집, 저장되고 다운스트림 시스템에서 사용할 수 있도록 제공됩니다. 스트림 처리 프레임워크와 애플리케이션은 이후 데이터를 실시간으로 처리하고 다운스트림 대상에 전달합니다.
일부 스트림 처리 아키텍처는 Lambda 또는 Kappa와 같은 아키텍처 패턴을 따릅니다. Lambda 아키텍처는 배치 처리와 스트림 처리를 결합한 이중 파이프라인 접근 방식을 사용하며, 주로 과거 데이터 분석과 낮은 지연 시간 처리를 지원하는 데 활용됩니다. Kappa는 모든 데이터에 대해 단일 스트리밍 파이프라인을 사용하며, 이를 통해 전체 아키텍처를 단순화할 수 있어 이벤트 기반 데이터 처리에 자주 선택됩니다.
스트리밍 데이터 플랫폼
스트리밍 데이터 플랫폼은 실시간 데이터 파이프라인과 애플리케이션의 기반을 제공합니다. 이러한 플랫폼은 이벤트를 생성하는 시스템 또는 애플리케이션과 해당 이벤트를 처리하거나 분석하는 서비스 또는 애플리케이션 간에 데이터가 흐를 수 있도록 지원하는 메시징 고속도로이자 스토리지 계층 역할을 합니다.
Apache Kafka는 이벤트 스트리밍을 위한 가장 널리 사용되는 오픈 소스 플랫폼 중 하나입니다. Kafka는 분산형의 내구성 있는 이벤트 로그를 통해 애플리케이션이 데이터 스트림을 게시하고 구독하며 저장하고 재생할 수 있도록 지원합니다. 이러한 기능은 실시간 분석, 애플리케이션 통합, 사기 탐지, IoT 데이터 처리 및 이벤트 기반 아키텍처에 유용하게 활용됩니다.
Confluent는 Apache Kafka를 기반으로 구축된 데이터 스트리밍 플랫폼입니다. Confluent는 조직이 Kafka를 대규모로 운영할 수 있도록 관리형 서비스, 커넥터, 거버넌스, 스키마 관리, 보안 및 스트림 처리 툴을 제공합니다.
기타 스트리밍 데이터 플랫폼 및 서비스에는 다음이 포함됩니다.
- 관리형 Kafka 서비스: 사용자를 대신해 Kafka 인프라를 운영하는 클라우드 호스팅 서비스입니다.
- Amazon Kinesis: 실시간 데이터 스트리밍 및 수집을 위한 클라우드 네이티브 서비스입니다.
- Google Cloud Pub/Sub: 스트리밍 분석 및 애플리케이션 통합을 위한 서버리스 메시징 및 이벤트 수집 서비스입니다.
- Microsoft Azure Event Hubs: 스트리밍 데이터 워크로드를 위한 고처리량 이벤트 수집 서비스입니다.
스트림 처리 프레임워크
스트림 처리 프레임워크는 개발자가 이동 중인 데이터를 처리하고 분석하기 위해 사용하는 툴입니다. Kafka와 같은 스트리밍 플랫폼이 이벤트 수집, 저장 및 전송에 중점을 두는 반면, 스트림 처리 프레임워크는 데이터가 파이프라인을 따라 이동하는 동안 이를 필터링, 변환, 조인, 집계 및 분석하는 연산 작업에 중점을 둡니다.
많은 스트림 처리 프레임워크는 Kafka와 통합되며, Kafka 토픽을 들어오는 이벤트의 소스이자 처리 결과의 대상 위치로 사용합니다.
스트림 처리 프레임워크 및 툴의 예시는 다음과 같습니다.
- Kafka Streams: Apache Kafka에서 직접 스트림 처리 애플리케이션을 구축하기 위한 Java 라이브러리입니다.
- ksqlDB: Kafka Streams 기반으로 구축된 SQL 기반 스트림 처리 엔진으로, 개발자가 SQL 구문을 사용해 스트리밍 데이터를 처리하고 쿼리할 수 있도록 지원합니다.
- Apache Flink: 상태 기반 연산 및 복잡한 이벤트 처리를 위해 설계된 인메모리 관리 기능을 갖춘 스트림 처리 프레임워크입니다. 이는 사기 탐지 및 모니터링과 같은 사용 사례에 일반적으로 활용됩니다.
- Apache Spark Structured Streaming: 기존 Apache Spark Streaming 솔루션 기반으로 구축된 스트림 처리 엔진으로, 배치 처리와 함께 실시간 분석을 지원합니다. 이는 스트리밍 데이터와 과거 데이터 분석을 결합하는 데 자주 사용됩니다.
- Apache Storm: 매우 낮은 지연 시간으로 무한 데이터 스트림을 처리하기 위한 분산형 실시간 연산 시스템입니다.
환자의 활력 징후를 모니터링하면서도 몇 시간마다 한 번씩만 데이터를 확인한다고 생각해 보세요. 의료 서비스 제공자는 즉각적인 조치가 필요한 중요한 변화를 놓치게 될 것입니다.
여러 산업의 조직도 지연되거나 배치 기반인 데이터 처리에만 의존할 경우 이와 유사한 위험에 직면합니다. 신속하고 정확하게 대응하기 위해서는 정보가 발생하는 즉시 액세스할 수 있어야 합니다. 스트림 처리 시스템은 데이터를 지속적으로 실시간 수집 및 분석함으로써 이러한 요구를 충족하며, 예약된 배치 추출, 변환, 로드(ETL) 워크로드에 내재된 지연 시간을 줄입니다.
스트림 처리는 하이브리드 및 멀티클라우드 환경 전반의 분산 시스템에서 생성되는 데이터를 실시간으로 처리함으로써 조직이 운영 데이터를 거의 실시간에 가까운 통합된 형태로 파악할 수 있도록 지원합니다. 여기에는 관계형 데이터베이스, 데이터 레이크, 메시지 큐, IoT 장치 및 기업 애플리케이션이 포함됩니다. 이는 이상 탐지, 사기 방지, 동적 가격 책정 및 실시간 개인화와 같은 사용 사례를 지원합니다.
스트림 처리는 지속적으로 업데이트되는 데이터에 의존하는 AI 이니셔티브를 확장하는 데에도 점점 더 중요해지고 있습니다. 데이터 규모와 모델 복잡성이 증가함에 따라 기업 데이터 인프라는 높은 처리량을 지원하고 분산 환경 전반에서 빠르게 확장될 수 있어야 합니다.
IBM 기업가치연구소(IBV)의 연구에 따르면 설문에 참여한 조직의 약 절반은 최신 워크로드를 지원하기 위해 네트워크 최적화, 더 빠른 데이터 처리 및 분산 컴퓨팅을 우선순위로 두고 있습니다. 실시간 대용량 데이터를 처리하고 제공할 수 있는 역량이 없으면 조직은 분석 정보 도출 지연, 모델 정확도 저하 및 경쟁 우위 확보 기회 상실의 위험에 직면하게 됩니다.
전문가의 인사이트를 바탕으로 한 최신 기술 뉴스
Think 뉴스레터를 통해 AI, 자동화, 데이터 등 가장 중요하고 흥미로운 업계 동향에 대한 최신 소식을 받아보세요. IBM 개인정보 보호정책을 참조하세요.
스트림 처리는 실시간 응답성이 필요한 AI 애플리케이션에서 중요한 역할을 합니다. 예를 들어 예측 유지보수, 사기 탐지, 자율 시스템 및 개인화 추천을 위한 AI 시스템은 시의적절한 예측이나 의사 결정을 생성하기 위해 최신의 빠르게 생성되는 데이터에 의존하는 경우가 많습니다.
스트림 처리는 산업 장비의 센서 판독값이든 웹사이트의 사용자 행동 데이터이든 관계없이 데이터가 생성되는 즉시 AI 애플리케이션이 이를 수집하고 활용할 수 있도록 함으로써 AI 시스템이 변화하는 상황에 실시간으로 대응할 수 있도록 지원합니다. 이러한 기능은 AI 결과물의 정확성과 관련성을 모두 향상시킵니다. 실제로 IBM 기업가치연구소(IBV)에 따르면 설문에 참여한 조직의 약 55%는 실시간 AI 기능을 통한 고객 경험 향상을 AI 인프라 투자 주요 동인으로 꼽았습니다.
스트림 처리는 AI 모델 배포 및 개선도 지원합니다. 스트리밍 파이프라인은 실시간 데이터를 데이터 레이크, 데이터 웨어하우스 또는 피처 스토어에 전달함으로써 모델 모니터링, 평가 및 재학습을 위한 지속적인 데이터 소스를 생성합니다.
스트림 처리는 조직이 이벤트에 실시간으로 즉시 대응하고 리소스를 최적화하며 데이터 에코시스템 전반에서 다양한 데이터를 통합하고 데이터 기반 애플리케이션을 지원할 수 있도록 하는 폭넓은 이점을 제공합니다. 주요 이점은 다음과 같습니다.
- 더 빠른 의사 결정을 위한 실시간 분석 정보
- 확장성과 유연성
- 향상된 고객 경험
- 운영 효율성
- 데이터 에코시스템과의 통합
- 하이브리드 아키텍처 지원
더 빠른 의사 결정을 위한 실시간 분석 정보
스트림 처리는 조직이 데이터가 생성되는 즉시 이를 분석할 수 있도록 지원하며, 이를 통해 추세, 이상 징후 또는 기회를 더 빠르게 탐지할 수 있게 합니다. 데이터 생성과 분석 사이의 지연 시간을 줄임으로써 기업은 밀리초 단위로 이벤트에 대응할 수 있으며, 이는 사이버 보안, 사기 탐지, 모니터링 및 기타 시간 민감형 워크로드에 매우 중요합니다.
확장성 및 유연성
스트림 처리 기술은 분산 시스템 전반에서 방대한 양의 데이터를 처리할 수 있으며 수요 변화에 따라 용량을 확장할 수 있습니다. 이러한 탄력성은 기업이 인프라를 전면 개편하지 않고도 변화하는 워크로드에 대응하고 다양한 데이터 소스를 통합하며 새로운 사용 사례를 지원할 수 있는 유연성을 제공합니다.
향상된 고객 경험
스트림 처리는 추천 엔진 및 반응형 인터페이스를 통해 실시간 개인화를 지원할 수 있습니다. 이러한 기능은 기업이 더욱 매력적이고 관련성 높은 고객 상호작용을 제공할 수 있도록 지원합니다.
운영 효율성
시스템, 공급망 및 인프라에 대한 지속적인 실시간 모니터링은 조직이 사전 예방적 유지보수와 프로세스 최적화를 수행할 수 있도록 지원하며, 이를 통해 다운타임을 줄이고 비용을 절감할 수 있습니다.
데이터 에코시스템과의 통합
스트림 처리는 실시간 데이터를 데이터 레이크, 데이터 웨어하우스, 레이크하우스 및 파이프라인에 지속적으로 공급할 수 있으며, 이를 통해 데이터 엔지니어링, 분석, 머신 러닝 및 비즈니스 인텔리전스 워크플로를 지원합니다.
하이브리드 아키텍처 지원
스트림 처리 기술은 배치 처리 시스템을 보완할 수 있으며, 이를 통해 조직은 과거 데이터와 실시간 데이터를 모두 분석할 수 있습니다. 예를 들어 Apache Spark는 배치 및 스트리밍 분석을 모두 지원하며, Apache Kafka는 다운스트림 처리를 위한 이벤트 데이터를 처리하는 이벤트 스트리밍 기반 역할을 할 수 있습니다.
기본적으로 스트림 처리는 3단계 모델을 따릅니다.
- 수집
- 처리
- 아웃풋
수집
수집 단계에서는 스트리밍 커넥터 또는 이벤트 스트리밍 플랫폼이 센서, 연결된 장치, 모바일 애플리케이션 또는 기업 시스템과 같은 소스에서 실시간 데이터를 수집합니다. 수신 데이터는 일반적으로 무한 데이터이며 지속적으로 유입됩니다. 즉, 고정된 종료 지점 없이 생성되며 새로운 이벤트가 발생함에 따라 무한정 증가할 수 있습니다. Kafka Connect 및 Apache Pulsar와 같은 툴은 고속 데이터 수집을 처리하기 위한 핵심 툴입니다.
처리
아웃풋
출력 스트림은 마지막 단계로, 처리된 데이터가 모니터링용 실시간 대시보드, 저장용 데이터베이스 또는 워크플로와 알림을 시작하는 자동화 시스템과 같은 다운스트림 시스템에 전달됩니다. 많은 경우 처리된 데이터는 유연한 탐색을 위해 데이터 레이크로 전달되거나 구조화된 쿼리 및 보고를 위해 데이터 웨어하우스로 전달되기도 합니다.
다양한 소스에서 생성되는 대규모 고속 데이터 관리
다양한 시스템과 장치에서 입력되는 데이터는 낮은 지연 시간 처리가 필요한 방대한 양의 고속 데이터를 생성합니다. 이를 효과적으로 처리하기 위해 조직은 수평 확장이 가능하고 노드 전반에 워크로드를 분산하며 데이터 규모 변화에도 성능을 유지할 수 있는 스트림 처리 엔진과 설계 시스템이 필요합니다.
더 광범위한 데이터 전략에 스트림 처리 통합
조직은 또한 스트림 처리가 더 광범위한 데이터 에코시스템에 어떻게 적합하게 통합될 수 있는지도 고려해야 합니다. 이러한 통합은 데이터 팀이 어떤 데이터를 실시간으로 처리할지, 어떤 데이터를 이후 분석을 위해 저장할지, 그리고 스트리밍 시스템이 기존 애플리케이션 및 파이프라인과 어떻게 상호작용해야 할지를 결정해야 하기 때문에 어려울 수 있습니다.
안정적인 API 및 실시간 애플리케이션 로직 설계
스트리밍 애플리케이션은 일반적으로 낮은 지연 시간 통신과 장애 허용성을 위해 설계된 애플리케이션 프로그래밍 인터페이스(API), 이벤트 기반 인터페이스 및 마이크로서비스를 통해 다른 서비스와 상호작용합니다. 또한 개발자는 이상 탐지, 예측 모델링 또는 실시간 의사 결정을 위해 이동 중인 데이터를 분석하는 데 사용되는 알고리즘의 복잡성도 고려해야 합니다.
적절한 프로그래밍 언어 선택
스트림 처리는 팀이 성능, 확장성 및 개발 요구 사항에 적합한 툴과 언어를 선택할 것을 요구합니다. 개발자는 종종 Java와 Python을 사용하며, 각각은 스트림 처리 에코시스템 내에서 서로 다른 목적을 수행합니다. Java는 일반적으로 Apache Kafka 및 Apache Flink와 같은 프레임워크에서 확장 가능한 프로덕션급 파이프라인을 구축하는 데 사용되며, Python은 빠른 프로토타이핑 및 머신 러닝 모델을 스트리밍 워크플로에 통합하는 데 사용됩니다.
데이터 일관성 및 스키마 거버넌스 유지
스트림 처리 플랫폼은 시스템을 통해 흐르는 데이터의 일관성과 해석 가능성을 유지하기 위해 데이터 형식, 유형 및 구조를 정의하는 스키마에 의존합니다. 이러한 스키마는 분산 노드 전반에서 데이터를 검증하고 실시간 쿼리를 지원하는 데 도움이 됩니다. 강력한 스키마 거버넌스가 없으면 이벤트 형식 변경으로 인해 다운스트림 애플리케이션, 대시보드 또는 머신 러닝 파이프라인이 중단될 수 있습니다.
실시간 쿼리 및 하이브리드 분석 지원
많은 스트림 처리 플랫폼은 사용자가 복잡한 코드를 작성하지 않고도 스트리밍 데이터를 필터링, 집계 및 조인할 수 있도록 SQL과 유사한 인터페이스를 제공합니다. 하지만 이동 중인 데이터를 쿼리하는 작업은 어려울 수 있습니다. 또한 조직은 실시간 분석 정보와 과거 컨텍스트를 결합하기 위해 스트리밍 시스템을 배치 및 과거 데이터 분석 환경과 통합해야 하며, 이로 인해 복잡성이 추가될 수 있습니다.
여러 산업의 조직은 데이터가 생성되는 즉시 이를 활용하기 위해 스트림 처리 애플리케이션을 도입하고 있습니다. 다음은 다양한 산업이 스트림 처리를 활용해 효율성, 환자 결과, 고객 참여 등을 개선하는 사례입니다.
은행은 스트림 처리를 사용해 거래가 발생하는 즉시 이를 분석하고 비정상적인 패턴이나 이상 징후를 빠르게 탐지합니다. 시스템은 위치, 장치 및 거래 기록과 같은 여러 데이터 포인트를 연관 분석함으로써 의심스러운 활동이 확대되기 전에 이를 식별할 수 있습니다. 실시간 분석 정보는 트레이더와 위험 관리자도 변동성에 즉시 대응할 수 있도록 지원합니다. 조직은 거래소 및 내부 시스템의 실시간 피드를 통합함으로써 더 빠르게 정보에 기반한 의사 결정을 내리고 위험을 완화할 수 있습니다.
스트림 처리는 보험 약관 세부 정보, 사진, IoT 센서 및 기타 데이터 소스의 데이터를 실시간으로 수집함으로써 청구 검증을 가속화합니다. 자동화된 워크플로는 단순한 청구를 즉시 승인하는 동시에 복잡한 사례는 검토 대상으로 전달할 수 있습니다. 이를 통해 처리 시간이 단축되고 고객 만족도가 향상되며 운영 비용이 절감됩니다.
병원과 의료 서비스 제공자는 스트림 처리를 활용해 패혈증, 심부전 또는 폐렴과 같은 합병증을 나타낼 수 있는 패턴을 식별하며, 이를 통해 적시에 사전 개입을 수행하고 환자 결과를 개선할 수 있습니다. 예를 들어 Emory University Hospital은 IBM의 스트리밍 분석 플랫폼을 사용해 중환자실(ICU)에서 환자당 초당 10만 개 이상의 데이터 포인트를 처리하고 생명을 위협하는 변화를 즉시 탐지함으로써 더 빠른 개입을 가능하게 했습니다.1
통신 서비스 공급자는 스트림 처리를 사용해 네트워크 성능과 고객 상호작용을 실시간으로 모니터링합니다. 통신사는 스트리밍 분석을 활용해 매일 수십억 건의 통화 상세 기록을 처리하고 서비스 이상 징후 및 사기 활동을 즉시 탐지할 수 있습니다. 시스템은 통화가 발생하는 동안 음성 및 이벤트 스트림을 분석함으로써 이탈 위험도 예측하고 고객을 선제적으로 고객 유지 전문 담당자에게 연결합니다.
소매업체는 더 빠른 분석 정보를 확보하고 데이터 기반 의사 결정을 개선하기 위해 스트림 처리를 도입하고 있습니다. 한 식료품 소매업체는 하루 한 번 데이터 배치 처리 방식에서 거의 실시간에 가까운 메시지 수집 방식으로 전환했습니다. 2,400개 이상의 스토어에서 하루 5천만 건의 메시지를 처리하는 이벤트 기반 메시징 아키텍처를 통해 도난과 같은 문제를 신속하게 탐지하고 더 나은 정보 기반 의사 결정을 수행할 수 있게 되었습니다.
스트림 처리와 배치 처리 중 어떤 방식을 선택할지는 데이터의 특성, 분석 정보의 긴급성 및 분석 복잡성에 따라 달라집니다.
스트림 처리는 실시간 또는 거의 실시간에 가까운 응답성이 필요한 워크로드에 적합합니다. 예를 들어 스트림 처리는 데이터가 데이터 파이프라인을 통해 흐르는 동안 방대한 양의 데이터를 지속적으로 처리할 수 있기 때문에 실시간 데이터 분석, 라이브 모니터링, 개인화 추천 및 동적 재고 관리를 가능하게 합니다.
반면 배치 처리는 대규모 과거 데이터를 다루거나 지연 시간이 덜 중요한 경우에 더 적합합니다. 배치 처리는 일반적으로 보고, 데이터 웨어하우징 및 장기 추세 분석과 같은 작업에 사용되며, 이러한 작업에서는 여러 데이터 소스의 데이터가 정해진 일정에 따라 수집, 저장 및 처리됩니다.
배치 처리는 즉각적인 결과가 필요하지 않은 워크로드의 경우 구현이 더 간단하고 비용 효율적일 수 있습니다. 많은 최신 아키텍처에서 조직은 두 접근 방식을 함께 사용합니다. 즉, 즉각적인 분석 정보를 위해 스트림 처리를 사용하고 더 심층적인 회고 분석을 위해 배치 처리를 사용합니다. 이러한 하이브리드 모델은 실시간 데이터와 과거 데이터의 가치를 모두 극대화합니다.
리소스
IBM DataOps 플랫폼 솔루션으로 데이터를 구성하여 신뢰할 수 있고 비즈니스에 바로 사용할 수 있는 AI를 확보하세요.
직관적인 그래픽 인터페이스를 통해 스트리밍 데이터 파이프라인을 생성하여 하이브리드 및 멀티클라우드 환경 전반에서 완벽한 데이터 통합을 촉진합니다.
IBM Consulting을 통해 엔터프라이즈 데이터의 가치를 실현하여 비즈니스 이점을 제공하는 인사이트 중심의 조직을 구축하세요.
각주
1 Emory University Hospital explores ‘intensive care unit of the future’, Emory University News Center, 2013년 11월 5일