データ品質のためのデータ・アーキテクチャ戦略

データ品質の低下は、データ駆動型を目指す組織が直面する最大の障壁の1つです。タイミングの悪いビジネス上の意思決定や誤った情報に基づいたビジネス・プロセス、収益機会の逸失、ビジネス・イニシアチブの失敗、複雑なデータ・システムはすべて、データ品質の問題に起因する可能性があります。これらの問題が1つあるだけでも、組織にとって大きな損失につながる可能性があります。これらすべてに対処しなければならない場合、壊滅的な事態となる可能性があります。

企業データの品質は、精度、完全性、一貫性など、いくつかの要因によって決まります。しかし、データ品質には十分な評価を受けていないもう1つの要素があります。それが、データ・アーキテクチャです。

適切なデータ・アーキテクチャは、Business Intelligence（ビジネス・インテリジェンス）やデータサイエンスのユースケースでデータを収集、転送、保管、保護、使用、共有する方法を決定するフレームワークを提供するため、組織のデータ品質の向上に役立ちます。

エンタープライズ・データウェアハウスおよびBusiness Intelligenceプラットフォームに代表される第一世代のデータ・アーキテクチャは、数千ものETLジョブ、テーブル、レポートを特徴としています。これらは少数の専門データエンジニアしか理解していなかったため、ビジネスへのプラスの影響は十分に実現されていませんでした。次世代のビッグデータプラットフォームと、中央のデータエンジニアチームが運用する長時間のバッチジョブは、しばしばデータレイクのスワンプ化を招いてきました。

どちらのアプローチも、通常はデータ取り込み、処理、クレンジング、集約、サービスなどの機械的な機能を中心に編成されたモノリシックで集中型のアーキテクチャでした。このため、データ・ランドスケープの絶え間ない変化、データ・ソースとデータ・コンシューマーの急増、ユースケースが必要とするトランスフォーメーションとデータ処理のダイバーシティー、変化への対応スピードなど、いくつかの次元でデータ統合とスケールを妨げる組織的・技術的ボトルネックが数多く発生しました。

データ・メッシュやデータ・ファブリックのような最新のデータ・アーキテクチャは、オンプレミス、ハイブリッド、マルチクラウド環境全体で新しいデータ・ソースを簡単に接続し、ユースケース固有のデータ・パイプラインの開発を加速することを目的としています。プロダクト管理としてデータに進化する効果的なデータ・ライフサイクル管理と最新のデータ・アーキテクチャを組み合わせることで、組織は次のことが可能になります。

• データ・スチュワードがデータのコンプライアンス、保護、セキュリティーを確保できるようになる
• データの発信元、変更の経緯、使用者を可視化することで、データの信頼性を強化する
• データ品質の問題を発生源に近い場所で監視・特定することで、下流のプロセスやワークロードへの潜在的な影響を軽減する
• データプラットフォームと新しいテクノロジーを効率的に採用して効果的なデータ管理を実現する
• メタデータを適用して既存データと新規データをコンテキスト化し、検索可能かつ発見可能にする
• データ・プロファイリング（データセットの調査、分析、要約の作成プロセス）を実施する
• データの重複と断片化を減らす

データ・アーキテクチャは、データ資産とデータ管理リソースの構造化を規定するため、組織がこれらのタスクをどの程度効果的に実行できるかにおいて重要な役割を果たします。つまり、データ・アーキテクチャは、より高いデータ品質を実現するためのビジネス戦略の基礎となります。モダンで高品質なデータ品質管理ソリューションの重要な機能において、組織は次を行う必要があります。

• 手動のデータ品質プロセスをメタデータとAI関連テクノロジーで強化することで、組織全体のデータ・ガバナンスを強化します （ibm.com外部へのリンク）。
  
• 事前設定されたルールに基づいてデータ品質の監視を実行する
• データ・モデリングのリネージュを構築し、データ品質の問題の根本原因分析を実行する
• データセットの価値をすぐに理解できるようにする
• インターフェース全体で適切なデータ・ハイジーンを実践

データストラテジーは、Data Architectがデータ品質を向上させるデータアーキテクチャを作成し、実装するのに役立ちます。効果的なデータ・ストラテジーを策定するための手順は以下のとおりです。

たとえば、金融機関は、規制遵守の改善、コストの削減、収益の増加を目指す場合があります。利害関係者は、データが取り込まれたリアルタイムデータに対してデータ分析を実行するなど、特定のデータタイプのビジネスユースケースを特定して、意思決定を自動化し、コスト削減を推進します。

このステップには、組織全体の全データを特定し、一元化された、または連携されたインベントリー・リストにカタログ化することが含まれ、これによりデータのサイロが解消されます。このリストには、各データセットがどこにあるか、およびどのアプリケーションやユースケースがそのデータセットに依存しているかを詳しく説明する必要があります。次に、主要なユースケースに必要なデータを選択し、それが含まれるデータ・ドメインに優先順位を付けます。

組織全体で使用されるデータの命名規則と整合したデータ形式（データクラス）は、部門（ドメイン）やユースケース全体でのデータの一貫性と相互運用性を確保するのに役立ちます。

ビジネス目標を達成するために、データを最適化する変更を決定します。データ・ファブリックやデータメッシュなど、さまざまな現代のデータアーキテクチャを研究することで、ビジネスニーズに最適なデータ構造を決めることができます。

KPIを作成し、アーキテクチャーの成功の尺度として、データ品質をどの程度サポートしているかに関連付ける高度な分析を使用します。

企業は、四半期ごとに3～4つのデータ・ドメインでデータ・アーキテクチャーとガバナンスを実装するロールアウト計画を策定できます。

適切に設計されたデータ・アーキテクチャーは、組織がデータについて、どのように認識、使用、議論するかを決定する透明性と標準化を通じて、データ品質の基盤を構築します。

前述のとおり、データ・ファブリックはそのようなアーキテクチャーのひとつです。データ・ファブリックは、データ検出、ガバナンス、データ品質管理を自動化し、ハイブリッドクラウド環境に分散しているデータへのセルフサービス・データ・アクセスを簡素化します。データを生成・利用するアプリケーションだけでなく、データウェアハウス、データレイク（大量のビッグデータを保管）、NoSQLデータベース（非構造化データを保管）、SQLを利用するリレーショナルデータベースなど、さまざまなデータ・ストレージ・リポジトリを含みます。

データ・ファブリックと IBM Cloud Pak for Data のメリットに関する詳細はこちら。