Astronomer with IBM：エンタープライズ・グレードの拡張性、セキュリティー、サポートでAirflow環境をアップグレード

IBMは最近、企業内でのApache Airflowの導入を促進および拡大するために、エンタープライズ・グレードのApache Airflowソフトウェア、Astronomerとの提携を発表しました。最新のデータ取り込みとオーケストレーションに加えて、MLOpsワークロードや生成AIワークフローなど、Airflowのユースケースは急速に拡大しており、その結果、毎月のダウンロード数は31件を超えています。おそらく貴社内でも、オープンソースのApache Airflowが分析やオペレーションを実行する複数のチームによって使用されているでしょう。ではなぜApache AirflowからAstronomer with IBMへと移行するのでしょうか？主な理由として、拡張性、セキュリティー、サポート、デプロイメント・レジリエンスが挙げられます。

この答えを理解するために、レガシーのデータ・スケジューラーからAirflowに移行し、最終的にAstronomer with IBMを選択した米国銀行業のお客様事例をお話しします。

当社の米国の銀行顧客の標準化されたデータ・スケジューラーは、DataOps要件を満たしていませんでした。クライアントの新しいクラウド中心の環境と、絶えず変化する規制報告は、スケジューリングのニーズを満たそうとする多くのチームに課題をもたらしました。既存のスケジューラーはクラウドでの使用に最適化されておらず、カレンダーに基づかないカスタム・スケジュールにも対応できる柔軟性が欠けていました。

その結果、いくつかのチームがAirflowを検討し始めました。Airflowは、限られた分析とレポートのユースケース向けに、プログラマティックでクラウドフレンドリーなワークフロー・オーケストレーション機能を提供します。しかし、これらのワークフローとパイプラインが複数のプロジェクトやチームにまたがるようになると、クライアントは新たな問題を経験しました。Airflowの拡張には手動での調整が必要であり、インテグレーションによってセキュリティーとサポートのリスクが発生し、これらの重要なDataOps要件に対する全体的なレジリエンス（回復力）が懸念されるようになりました。

ここで: Astronomer with IBMの出番です。: Astronomer with IBMは、拡張性、セキュリティー、サポート、デプロイメント・レジリエンスに関する企業のニーズに合わせて、Airflow環境をアップグレードしました。

Astronomer with IBMは、Airflowを複数の機能で強化し、運用効率を向上させるエンタープライズ規模の一元的なデプロイメントをサポートします。

これらの専用機能の一部をご紹介します。

• マルチテナントAirflow：デプロイメント間コミュニケーションを備えた分離されたAirflow環境を使用して、リソース使用率と運用効率を最大化します。
• インプレース・アップグレードとアップグレード・ユーティリティー：DAG、構成、データを保持しながらAirflowをアップグレードし、ダウンタイムを最小限に抑えます。
• デプロイメントのロールバック：Airflowのデプロイメントを以前のバージョンまたはコード・デプロイメントに簡単に戻すことができます。
• DBアーカイブ：Airflowデータベースに自動化されたAPIベースのアーカイブジョブを活用します。
• ユニバーサル・ログ・エクスポーター：サポートされている複数の外部システムにログをシンクするベクター・サイドカー方法論。

お客様の当初のスケジューラーはクラウド・ファーストのセキュリティーをサポートしていなかったため、クラウドを活用したデータ資産を活用する能力が制限されていました。その結果、チームがこれらの制限を回避し始めたため、運用の非効率性とセキュリティー・リスクの増大につながりました。

その結果、Airflowはクラウド環境との互換性から、より多くのチームに推奨されるオーケストレーターとして浮上しました。しかし、Airflowのプロジェクトとチームの数が増えるにつれて、大きな課題が生じました。企業全体でAirflowを安全にプロビジョニングする一元的な方法はありませんでした。

Astronomer with IBMは、次のような機能を備えた堅牢なエンタープライズ・グレードのセキュリティーを提供しました。

• マルチテナント・セキュリティー：ロールベースのアクセス制御（RBAC）は、DAGのワークスペース、デプロイメント、およびシステム・レベルで分離されたスペースです。
• SSO [OIDC/SCIM]：イベントベースの認証およびユーザーとチームを自動削除するためのOIDCおよびSCIMサポート。
• Cloud Identity：デプロイメントをクラウドネイティブのIDメカニズム（AWS IAMとGKE Workload Identity）と統合します。

クライアントが使用していた従来のスケジューラーには、ジョブや障害の管理・監視を効果的に行うために、現在のデータチームが求める可視性や多様な統合機能が欠けていました。さらに、習得に時間がかかるという点も相まって、開発者の生産性を向上させるために必要なレジリエンス（耐障害性）を備えていませんでした。

Airflowは、従来のスケジューラーに代わる有力な選択肢であることが示されました。しかし、Airflow には問題を迅速に解決し、ダウンタイムを最小限に抑えるために必要なサポートが不足しているため、課題は引き続き発生しています。クライアントは、以下のようなAstronomer独自の機能を評価したうえで、IBMと連携してAstronomerを採用する決定を下しました。

• デプロイメント全体の可視化と健全性：すべてのAirflowデプロイメントにおけるDAGおよびメタデータの完全な可視性を実現します。
• データ中心のアラート：DAGの実行とタスクの状態に関するアラートを構成し、SMTPまたはSMS経由でリアルタイムの通知を受信します。
• ロギング・ライフサイクル：ElasticSearchベースのロギング・ストレージと、外部エクスポートおよび保持クリーンアップ・ジョブ。
• メトリクスの保持：すべてのAirflowデプロイメントにおけるPrometheusメトリクスの保持。
• Airflowのサポート：AstronomerはAirflowのリリースを100%主導しており、Airflowのコード全体の約60%を記述しています。そのAirflowサポートは他に類を見ません。

最終的に、チームはレガシー・スケジューラーからAstronomerへ移行する決断を下したことで、ワークロードの可視性を高め、実行時間を20％削減することに成功しました。さらに、クライアントはIBMのDatabandによるデータ・オブザーバビリティー（可観測性）を活用することで、Airflowを含むさまざまなパイプラインに対するエンドツーエンドのデータ監視を実現し、デプロイメントの耐障害性を向上させています。

Databandはチームを次のように支援します。

• 実用的なビューとアラートを取得して、正常性を理解し、必要に応じてアクションを実行します。
• データ・プロダクトとその依存関係全体にわたる豊富な監視、追跡、アラートを解き放つ。
• Airflowのベスト・プラクティスを活用し、最適化やコスト削減の機会を示すプロアクティブな推奨を提供します。
• データ製品全体でSLAを設定・追跡し、ボトルネックや異常を検知して、問題がデリバリーに影響を及ぼす前に的確な対応を取ることができます。

Airflowの多用途性と、Astronomerのエンタープライズ対応およびIBMの堅牢なデータ管理tテクノロジーを組み合わせることで、AstronomerとIBMの連携は、Airflowを大規模に実行するための理想的な選択肢となります。

Astronomerとの連携により、Airflowの導入と管理が合理化され、複数のチーム間でデータ・パイプラインを構築、デプロイ、拡張したいクライアントに、シームレスでかつサポートの行き届いたエクスペリエンスを提供できます。

企業におけるAirflowの活用方法について詳しくは、「State of Airflow Report 2025」をダウンロードして、IBMの担当者にお問い合わせください。