データを洞察に変換

データは企業にとって戦略的優位性の源となり得ますが、それはデータの潜在能力を最大限に引き出すことができた場合に限られます。ここに明確なパラドックスが存在します。つまり、データの複雑さが増すと可視性が低下し、大規模に価値を引き出すことが困難になるというものです。

IBMチーフ・データ・オフィス（CDO）にとって、データから価値を引き出すことは重要です。データは、より生産性の高い企業になるためのIBMの目標を後押ししています。この目標を達成するための戦略の中核となるのは、さまざまなソースからのデータをパイプラインに統合し、有意義な洞察を生み出すことです。データ・パイプラインは、多様なソースからデータを抽出、変換し、データウェアハウスまたはデータレイクにロードする一連のオペレーションのことで、一貫性を確保し、大規模に分析を可能にします。

約4,000のデータ・パイプラインを管理しなければならないため、CDOチームにとって従来のアプローチは煩雑で時間のかかるものした。たとえばデータ・パイプラインの手作業による監視や、問題のトラブルシューティングにはかなりの時間がかかり、人為的エラーが発生しやすくなっていました。「大規模なパイプラインの健全性を管理することは、特にチームがさまざまな製品を使用している場合には大きな課題でした」と、CDOのシニア・エンジニアリング・マネージャーであるAshley Delportは説明しました。「データの正常な状態を継続的に監視するソリューションが必要でした。特に、データ欠落などの問題を事前に特定して解決し、サービスが影響を受ける可能性がある場合にはチームに通知することが重要でした」。

チームは、ビジネス分析情報とAIユースケースのためのデータ・パイプラインを継続的に拡張していく中で、より効率的で効果的な取り組み方を必要としていました。求めていたのは、パイプラインのパフォーマンスをリアルタイムで可視化し、監視を自動化し、コラボレーションを強化する革新的なソリューションでした。最も重要なのは、毎日の正確でタイムリーな高品質のデータをCDOに依存している何千人ものユーザーの信頼をチームが維持する必要があったことです。

CDOチームは、継続的なデータ・オブザーバビリティーを提供する統一コントロールプレーン、IBM® watsonx.data integrationを選択しました。チームはまず、IBMの合併と買収の活動データに焦点を当てた試験的な取り組みから始めました。目標は、パイプラインの性能をリアルタイムで可視化することでした。

「リアルタイム監視およびアラート機能により、時間と労力が節約されました。具体的には、試験運用においては、手動による監視とトラブルシューティングが推定85%削減されたことがわかりました」と上級技術スタッフのSheeba Prakashは語ります。

このソリューションの直感的なインターフェースにより、チームはパイプラインの健全性を簡単に追跡し、問題を特定して迅速に解決できました。自動化されたワークフローとカスタマイズ可能なダッシュボードにより、パイプライン管理が大幅に合理化されました。このソリューションにより、エンジニアは買収シナリオにおけるデータ統合の加速化に集中できるようになりました。

試験運用が成功した後、CDOチームは会社全体のデータ・パイプライン・パフォーマンスに対する洞察を得る信頼できる唯一の情報源としてデータ・オブザーバビリティー機能の採用を拡大することを決定しました。「データ・オブザーバビリティーは、オペレーショナル・エクセレンスを向上させました。これにより、データ・パイプラインの問題に対して事後対応ではなく、事前対応を行うことができるようになりました」とDelportは語ります。