Apache KafkaとApache Flink：オープンソースの最高のコンビネーション

絶え間ないデジタル・トランスフォーメーションの時代において、組織は競合他社に追いつき、理想的には競合他社を上回るためにビジネスのペースを高める方法を戦略化する必要があります。顧客の動きは速く、そのダイナミックな要求に対応することが難しくなってきています。結果として、リアルタイム データへのアクセスは、ビジネスの俊敏性を構築し、意思決定を強化するために必要な基盤であると私は考えています。

ストリーム処理は、リアルタイム・データの中核をなします。これにより、ビジネスは継続的なデータ・ストリームを必要に応じて取り込み、分析のために最前線に置くことができるため、絶え間ない変化に対応することができます。

ストリーム処理のエコシステムに詳しい人なら誰でも、オープンソースのイベント・ストリーミングの事実上のエンタープライズ・スタンダードであるApache Kafkaをよく知っているはずです。Apache Kafkaには、高スループットの提供やアプリケーション障害時の高い耐障害性の維持など、多くの強力な機能があります。

Apache Kafkaストリームはデータを必要な場所に届けますが、Apache Kafkaが単独でデプロイされている場合、これらの機能は最大化されません。現在Apache Kafkaを使用しているのであれば、リアルタイムデータから必要なものを確実に抽出するために、Apache Flinkはテクノロジースタックの重要なピースとなるはずです。

Apache Flink と Apache Kafkaを組み合わせることで、オープンソース イベント・ストリーミングの可能性が飛躍的に高まります。Apache Flink は、タイムリーなアクションを求めるビジネス ニーズの高まりに迅速かつ正確に対応できるようにすることで、低遅延を実現します。これらを組み合わせることで、リアルタイムのオートメーションと洞察を生成する機能がすぐに利用できます。

Apache Kafka を使用すると、ビジネス内で発生するすべてのイベントの生のストリームを取得できます。ただし、必ずしもすべてが実行可能であるわけではなく、キューやビッグデータのバッチ処理でスタックするものもあります。ここで Apache Flink の出番です。生のイベントから関連イベントの処理へと移行します。さらに、Apache Flink はパターンを検出してデータをコンテキスト化し、物事がどのように同時に発生するかを理解できるようにします。イベントには有効期限があり、履歴データを処理することでイベントの価値が損なわれる可能性があるため、これが重要です。航空機の遅延を表すイベントへの対応を考えてみてください。これらのイベントには即時の対応が必要であり、これらのイベントの処理が遅すぎると、確実に顧客の不満を招くことになります。

Apache Kafka は、イベントの消火ホースのような役割を果たし、ビジネス内で何が起こっているかを常に伝えます。このイベントの消火ホースと、Apache Flink を利用したパターン検知との組み合わせは、まさに理想的な組み合わせです。関連するパターンを検知すると、次の応答も同様に迅速になります。適切なタイミングで適切なオファーを行って顧客を魅了したり、顧客の前向きな行動を強化したり、サプライチェーンでより適切な意思決定を行ったりすることができます。これらは、Apache Flink を Apache Kafkaと一緒に使用することで得られる広範な機能のほんの一例です。

Apache Kafka と Apache Flink が連携することの関連性が明らかになったので、このテクノロジーを活用してイベントを操作できるのは誰なのかと疑問に思うかもしれません。今日では、通常は開発者です。ただし、大量のワークロードを持つ経験豊かな開発者の好きにさせていると、進歩が遅くなる可能性があります。さらに、コストは常に重要な考慮事項です。付加価値の証拠がなければ、企業はあらゆる可能性のある機会に投資する余裕はありません。こうした問題に加え、開発やデータサイエンスのプロジェクトを引き受ける適切なスキルを持つ適切な人材も不足しています。

だからこそ、より多くのビジネスプロフェッショナルがイベントからメリットを受けられるようにすることが重要なのです。イベントの処理が容易になると、アナリストやデータエンジニアなどの他のユーザーがリアルタイムで洞察を得て、最も重要なときにデータセットを扱えるようになります。その結果、重要な情報がデータウェアハウスに滞留することがなくなるので、スキルの壁を減らし、データ処理のスピードを上げることができます。

IBMのイベント・ストリーミングとストリーム処理アプリケーションに対するアプローチは、Apache Flinkの機能を革新し、これらの大規模な業種・業務の問題に対処するオープンでコンポーザブルなソリューションを作り出します。Apache FlinkはどのApache Kafkaでも動作し、IBMのテクノロジーは顧客がすでに持っているものの上に構築されるため、ベンダー・ロックインを避けることができます。Apache Kafkaがイベント配信の業界標準となっている中、IBMは先陣を切って Apache Flink をイベント処理の頼みの綱として採用し、この理想的な組み合わせを最大限に活用しました。

オートメーションを自由に実験しながら、イベントを継続的に表示できるとしたらどうなるかを想像してみてください。この精神に基づき、IBM は、直感的で使いやすいノーコード形式のIBM Event Automationを導入しました。これにより、SQL、Java、Pythonのトレーニングをほとんど受けていないユーザーでも、役割に関係なくイベントを活用できるようになります。IBM Automation、統合ソフトウェア製品管理担当副社長の Eileen Lowry 氏は、IBM Apache Flink で行っているイノベーションについて次のように述べています。

このユーザー インターフェースにより、Apache Flink を誰もが利用してビジネス価値を付加できるようになるだけでなく、データ分析とデータ パイプラインの速度を上げてイノベーションを推進する可能性のある実験も可能になります。ユーザーは、ストリーミング データからイベントを構成し、ツールから直接フィードバックを取得できます。一時停止、変更、集計、再生ボタンを押し、データに対してソリューションをすぐにテストできます。これにより、eコマース モデルの改善や製品のリアルタイム品質管理の維持など、どのようなイノベーションが生まれるかを想像してみてください。