データ・オーケストレーションとは

データ・オーケストレーションとは、さまざまなシステム、プロセス、ツールにまたがるデータ・フローの管理と調整を指します。データの収集、取り込み、変換、統合、保存など、データ・パイプラインのステージを整理し、合理化するのに役立ちます。

データ・オーケストレーション・プロセスが成功すると、情報はさまざまなターゲットの宛先に確実かつ効率的に流れ、到着時にデータ分析やその他の用途に使用できる状態になります。これらの中核的な機能により、ビッグデータのワークロードとデータ主導の意思決定の時代において、データ管理はクリティカルなプラクティスとなっています。

データ・エンジニアは、データの移動を合理化し、エンタープライズ・データ・イニシアチブの拡張性をサポートするために、データ・オーケストレーション・ツールとオーケストレーション・プラットフォームを活用しています。オートメーションは、多くの最新のデータ・オーケストレーション・ソリューションの中心となっています。これにより、データの統合や変換などのデータ・タスクを、人間の介入なしに論理的な順序で実行できます。

増え続けるデータ量の力を活用するには、企業はますます複雑化するデータ・エコシステムをナビゲートする必要があります。多くの場合、データは異なるソースに由来し、データ形式も異なります。

また、世界中のデータレイクやデータウェアハウスなど、クラウドベースとオンプレミスの両方のリポジトリーに一般的に保管されています。また、多くの組織では、営業チーム用のCRMシステム、マーケティング担当者用の分析プラットフォームなど、異なるチームや従業員によって異なるツールでデータが使用されています。ITおよび事業部門のリーダーを対象とした2024年のIDC調査によると、運用データは平均35の異なるシステムから供給され、18の異なる分析データリポジトリーに統合されています。¹

このような複雑なデータ環境では、データのサイロ化、低品質データ、その他の問題が発生しやすく、データ・パイプラインのボトルネックとなり、下流の分析にエラーをもたらします。効果的なデータ・オーケストレーションは、企業がこれらの課題を克服し、データから価値を解き放つのに役立ちます。

データ・オーケストレーションは、企業がデータを貴重な洞察、情報に基づいた意思決定、イノベーションに活用できるよう支援します。具体的には、以下のようなメリットがありました。

データ・オーケストレーションとデータ統合は密接に関連していますが、同一の概念ではありません。どちらも分析ユースケース向けのデータの統合と一元化を可能にしますが、データ統合はよりきめ細かく、データ・オーケストレーションは包括的な実践です。

データ・オーケストレーションは、さまざまなシステムやプロセスを通じてデータの移動を最適化します。データ統合は、さまざまなソースからのデータを結合・統合し、ターゲットシステムにロードするために、さまざまな手法（抽出、変換、ロード、つまりETLなど）を使用するプロセスの一つです。

データ・オーケストレーションは、組織がデータ・エコシステムの非常に複雑な作業に取り組むのに役立ちます。この実践自体は、通常、次の3つの基本的なステップに分類されます。

• 組織：データは社内外のさまざまなソースから収集され、多くの場合は一元的な場所で整理され、トランスフォーメーションの準備が整います。
  
  
• 変換：未加工データを統一された形式に変換し、クリーニングと検証を行って一貫性と正確性を確認します。
  
  
• アクティベーション：データは、分析、ダッシュボード・ツールへのルーティング、およびその他の目的で利用できるようになります。

データ・オーケストレーションの基本的なステップを支えるのは、いくつかの重要な機能です。その中には、以下のようなものがあります。

• タスクの依存関係の定義とタスクの順序付け
• データ・ワークフローの自動化
• アラートの監視と送信

データ・オーケストレーションは、多くの場合、データ処理タスクを定義し、データ・パイプラインとワークフローにおける実行順序を指定することから始まります。これにより、あるタスクが別のタスクの結果に依存する場合、後者のタスクが最初に完了するようにすることができます。このような依存関係に基づくタスクのシーケンスにより、組織はコストのかかるパイプラインの障害を回避できます。

タスクシーケンスを設計し整理するために、データ・エンジニアはしばしば有向非巡回グラフ、またはDAG（ノードが一方向の接続で結ばれ、サイクルを形成しないグラフ）を使用します。DAG内のさまざまなノードは、データ取り込みやデータ変換などのさまざまなデータ処理、およびそれらを実行するシーケンスを表すことができます。ノード接続のエッジは、プロセス間の依存関係を表します。

タスクの定義と順序付けにおいてDAGに代わる方法として、コード中心のアプローチがあります。一般的なコード中心のアプローチでは、オープンソースのプログラミング言語であるPythonを使用して、ワークフロー管理の関数を作成します。このアプローチは、多くの場合、動的なワークフローに対応するのに適していると一般的に考えられています。

最新のデータ・オーケストレーションは、ETL、ELT（抽出、ロード、変換）、データウェアハウス内でのデータ変換など複数のデータ・ワークフローを自動化し、一貫性を確保し、人間の介入を最小限に抑えるか排除します。ユーザーは自動化されたデータ・タスクを開始できますが、次の3種類のトリガーを通じてタスクをスケジュールすることもできます。²

• 時間ベースのトリガー：タスクは指定された間隔または時間で実行されます。
  
  
• 依存関係ベースのトリガー：タスクは、他の指定タスクが完了した後にのみ実行されます。
  
  
• イベント駆動型トリガー：API呼び出しなどの実際のシグナルによってタスクがアクティブ化されます。

データ・パイプラインの監視は、データ・オブザーバビリティーの実践と見なされることが多いですが、データが意図したとおりに流れ、処理されるようにすることで、データ・オーケストレーションでも貢献します。

組織はレイテンシーやスループットなどのパフォーマンス指標を含む複数の指標、CPUやメモリー使用量などのリソースの利用状況に関する指標、精度、完全性、一貫性といったデータ品質指標を監視できます。³

タスクの失敗など、データ・パイプラインの問題が検出されると、通知ツールがデータチームにタイムリーにアラートを送信するため、データチームは問題に迅速に対処できます。オーケストレーション・ソリューションでは、通知が配信される前に、問題を軽減するために再試行することもできます。つまり、失敗したタスクを指定された回数だけ自動的に再実行することができます。

データ・オーケストレーションは、他の2種類のオーケストレーション、つまりワークフロー・オーケストレーションとプロセス・オーケストレーションと似ていますが、特に異なるものです。これらのプラクティスはどちらもデータ・オーケストレーションよりも広範囲であり、データ・オーケストレーションは両方の一種と考えることができます。
 
ワークフロー・オーケストレーションは、特定の結果を達成するために、一連の相互接続されたタスク、システム、ツールの調整と管理に重点を置いています。エンドツーエンドの実行とさまざまな環境にわたるワークフローの統合を重視し、依存関係を満たしながらタスクが正しい順序で実行されるようにします。

プロセス・オーケストレーションとは、複数のビジネス・プロセスを管理・統合することであり、多くの場合、ワークフローと人とシステムが関与します。ワークフロー管理に焦点を当てるのではなく、ビジネス・プロセス全体のエンドツーエンドの調整が必要となり、組織の目標との整合性が促進されます。

組織やデータチームは、データ処理方法の合理化を目指すときにさまざまなデータ・オーケストレーション・ソリューションの中から選択できます。組織にとって最適なソリューションは、コスト（オープンソースと商用）などの特定の優先順位、オブザーバビリティーのニーズ、他の一般的なデータ・ソリューション（dbtなどの分析ツール、Snowflakeなどのクラウドベースのデータプラットフォーム）との統合によって変わります。

最も広く使用されているデータ・オーケストレーション・ツールとプラットフォームは通常、他のデータ・ソリューションに接続するためのオプションを提供しますが、その他の点で異なります。データ・オーケストレーション・ソリューションを以下に詳しく示します。

• Apache Airflow
• AWS Step Functions
• Azure Data Factory
• Dagster
• IBM DataOpsプラットフォーム
• Prefect

最も有名なデータ・オーケストレーション・ソリューションであるApache Airflowは、主にバッチ処理向けに設計されたオープンソース・プラットフォームです。これにより、ワークフローをDAGとして定義して、データ・ワークフロースケジューリングが可能になります。Airflowはスケーリングと並列実行をサポートするアーキテクチャーを備えており、複雑でデータ集約型のパイプラインの管理に適しています。

AWS Step Functionsは、分散アプリケーションやマイクロサービスを調整するための視覚的なインターフェースを特徴とするAmazonのサーバーレス・オーケストレーション・サービスです。多くの場合、すでにAmazonインフラストラクチャーに依存している組織に推奨されますが、サードパーティーのアプリケーションと統合することもできます。

MicrosoftのAzure Data Factoryは、他のAzureサービスとネイティブに統合される、フルマネージドのサーバーレス・データ統合サービスです。データ・ソースとETLおよびELTデータ・パイプライン・オーケストレーションを統合するためのビジュアル・ユーザー・インターフェースを備えています。

Dagster社は、データ・リネージュやメタデータのトラッキングなどの機能により、観測可能性とデータ品質に重点を置いていることで知られています。その機能には、AI対応のデータ製品と最新のソフトウェア・エンジニアリングの手法をサポートするローカル・テストや再利用可能なコンポーネントも含まれています。

IBMは、データ・オーケストレーション機能を備えたDataOpsツールとプラットフォームの選択肢を提供しています。IBM watsonx.data intelligenceは、データ・ディスカバリーとデータ品質管理を自動化するデータ・カタログを提供します。IBM watsonx.data integrationは、再利用可能なパイプラインを構築するための統合制御プレーンを提供します。また、IBM Cloud Pak for Dataは、データ仮想化、パイプライン、コネクターを使用して、物理的なデータ移動の必要性を排除しながら、サイロ化されたソースからのデータを結合します。

Prefectは、オープンソース・バージョンのデータ・オーケストレーション・ツールで、企業向けの追加機能を備えたクラウド管理ソリューションです。他のデータ・オーケストレーション・ソリューションとは異なり、PrefectはDAGに依存せず、代わりにコード中心のアプローチを採用しています。これにより、より動的なオーケストレーションを好む人もいます。