Apache Kafka와 Apache Flink: 하늘이 내린 오픈 소스 조합

지속적인 디지털 혁신의 시대에 조직은 비즈니스 속도를 높여 경쟁에서 뒤쳐지지 않고 이상적으로는 능가할 수 있는 전략을 세워야 합니다. 고객들은 빠르게 움직이고 있으며 역동적인 수요를 따라잡기가 점점 어려워지고 있습니다. 따라서 실시간 데이터에 대한 액세스는 비즈니스 민첩성을 구축하고 의사 결정을 개선하는 데 필수적인 기반이라고 생각합니다.

스트림 처리는 실시간 데이터의 핵심입니다. 이를 통해 기업은 연속적인 데이터 스트림이 발생할 때 이를 수집하고 분석을 위해 최전선으로 가져와 지속적인 변경 사항을 따라잡을 수 있습니다.

스트림 처리 에코시스템에 익숙한 사람이라면 누구나 오픈 소스 이벤트 스트리밍의 사실상의 엔터프라이즈 표준인 Apache Kafka를 잘 알고 있습니다. Apache Kafka는 높은 처리량을 제공하고 애플리케이션 장애 시 높은 내결함성을 유지하는 등 많은 강력한 기능을 자랑합니다.

Apache Kafka 스트림은 데이터를 필요한 곳으로 가져오지만 Apache Kafka를 분리하여 배포할 때는 이러한 능력이 최대화되지 않습니다. 현재 Apache Kafka를 사용하고 있다면 Apache Flink는 실시간 데이터에서 필요한 것을 추출할 수 있도록 하는 기술 스택의 중요한 부분이 되어야 합니다.

Apache Flink와 Apache Kafka를 결합하면 오픈 소스 이벤트 스트리밍 가능성이 지수적으로 증가합니다. Apache Flink를 사용하면 적시에 조치를 취해야 하는 비즈니스 요구 사항이 증가함에 따라 신속하고 정확하게 대응할 수 있으므로 지연 시간이 짧아집니다. 이 두 가지를 결합하면 실시간 자동화와 통찰력을 생성하는 능력을 손쉽게 얻을 수 있습니다.

Apache Kafka를 사용하면 비즈니스 내에서 발생하는 모든 이벤트의 원시 스트림을 얻을 수 있습니다. 그러나 모든 것이 반드시 실행 가능한 것은 아니며 일부는 대기열이나 빅데이터 일괄 처리에 갇히게 됩니다. 원시 이벤트에서 관련 이벤트로 작업할 수 있는 Apache Flink가 필요한 이유는 바로 여기에 있습니다. 또한 Apache Flink는 패턴을 감지하여 데이터를 컨텍스트화하여 서로 어떻게 발생하는지 이해할 수 있도록 합니다. 이벤트에는 유효 기간이 있고 과거 데이터를 처리하면 이벤트의 가치가 무효화될 수 있기 때문에 이는 중요합니다. 항공편 지연을 나타내는 이벤트에 대한 작업을 고려하세요. 즉각적인 조치가 필요하며, 이러한 이벤트를 너무 늦게 처리하면 일부 고객이 매우 불만스러워할 수 있습니다.

Apache Kafka는 일종의 이벤트 소방수 역할을 하며 비즈니스 내에서 항상 일어나는 일을 전달합니다. 이 이벤트 소방수와 Apache Flink가 제공하는 패턴 감지 기능을 결합하면 관련 패턴을 감지하면 다음 대응을 신속하게 처리할 수 있습니다. Apache Flink와 함께 Apache Kafka를 사용할 때 얻을 수 있는 광범위한 기능의 몇 가지 예를 들자면, 적시에 적절한 제안을 하여 고객의 관심을 사로잡고, 고객의 긍정적인 행동을 강화하고, 공급망에서 더 나은 의사 결정을 내릴 수 있습니다.

이제 Apache Kafka 와 Apache Flink가 함께 작동하는 관련성을 확인했으니, 누가 이 기술을 활용하여 이벤트 작업을 할 수 있는지 궁금하실 것입니다. 오늘날에는 보통 개발자가 그 대상입니다. 하지만 워크로드가 많은 숙련된 개발자를 기다리다 보면 진행 속도가 느려질 수 있습니다. 또한 비용은 항상 중요한 고려 사항입니다. 기업은 부가가치에 대한 증거 없이는 가능한 모든 기회에 투자할 수 없습니다. 복잡성을 가중시키는 것은 개발 또는 데이터 과학 프로젝트를 맡을 수 있는 적절한 기술을 갖춘 적절한 인력을 찾는 것이 부족하다는 것입니다.

그렇기 때문에 더 많은 비즈니스 전문가들이 이벤트의 혜택을 누릴 수 있도록 지원하는 것이 중요합니다. 이벤트 작업을 더 쉽게 만들면 분석가 및 데이터 엔지니어와 같은 다른 사용자가 실시간 인사이트를 얻고 가장 중요한 순간에 데이터 세트로 작업할 수 있습니다. 따라서 중요한 정보가 데이터 웨어하우스에 갇히는 것을 방지하여 기술 장벽을 줄이고 데이터 처리 속도를 높일 수 있습니다.

이벤트 스트리밍 및 스트림 처리 애플리케이션에 대한 IBM의 접근 방식은 Apache Flink의 기능을 혁신하고 이러한 대규모 업계 문제를 해결하기 위한 개방적이고 구성 가능한 솔루션을 만듭니다. Apache Flink는 모든 Kafka와 함께 작동하며, IBM의 기술은 고객이 이미 보유하고 있는 기술을 기반으로 구축되어 공급업체에 종속되는 것을 방지합니다. Apache Kafka를 이벤트 배포의 업계 표준으로 삼으면서 IBM은 주도권을 잡고 Apache Flink를 이벤트 처리 솔루션으로 채택하여 이 매치를 최대한 활용했습니다.

자동화를 실험해 볼 수 있는 자유를 누리면서 이벤트를 지속적으로 볼 수 있다면 어떨까요? 이러한 정신을 바탕으로 IBM은 SQL, Java 또는 python에 대한 교육을 거의 또는 전혀 받지 않은 사용자도 역할에 관계없이 이벤트를 활용할 수 있는 직관적이고 사용하기 쉬운 노코드 형식의 IBM® Event Automation을 도입했습니다. IBM® Automation의 제품 관리 담당 부사장인 Eileen Lowry는 IBM이 Apache Flink를 통해 수행하고 있는 혁신에 대해 다음과 같이 설명합니다.

이 사용자 인터페이스는 비즈니스 가치를 더할 수 있는 모든 사람에게 Apache Flink를 제공할 뿐만 아니라 데이터 분석 및 데이터 파이프라인의 속도를 높일 수 있는 혁신을 주도할 수 있는 실험을 가능하게 합니다. 사용자는 스트리밍 데이터에서 이벤트를 구성하고 일시 중지, 변경, 집계, 재생을 누르고 데이터에 대해 솔루션을 즉시 테스트하는 등 도구에서 직접 피드백을 받을 수 있습니다. 이커머스 모델을 개선하거나 제품의 실시간 품질 관리를 유지하는 등 이를 통해 얻을 수 있는 혁신을 상상해 보세요.