データ品質、価値、信頼性を確保する方法

下流のデータの品質は、初期段階のマイルのデータ品質に直接依存します。取り込みの早い段階で、正確で信頼性の高いデータが、下流で分析、視覚化、データサイエンスに利用されるデータの価値の高いものとなることを保証します。

企業にとって、これはデータからメリットを得るか、意思決定の際に二番手にされるかの大きな違いを生みます。このブログ記事では、データ品質の重要性、データを監査および監視する方法、リーダーシップ、同僚、取締役を参加させる方法について説明します。

対象トピック：

• プロアクティブなデータの可観測性
• 品質監査データ
• データ品質かデータ価値か
• 経営幹部や取締役会へのアプローチ方法
• 社内トレーニングの方法
• 「その他」の呪縛
• 開始するためのベスト・プラクティス：企業全体でデータ品質を確保する

データ管理はマラソンを走るようなものです。最終結果は多くの要因によって決まり、それは長いプロセスです。しかし、あるランナーがその最初の1マイルでつまずいたり、滑走路を怪我したとします。その場合、マラソンを完走することはできません。同様に、データが取り込まれてもできるだけ早い段階でモニタリングされないと、パイプラインの残りの部分に悪影響が生じます。

このデータジャーニーの最初の1マイルで、どのようにしてデータ・ガバナンスを確実にできるでしょうか。

データは、外部 API 、外部プロバイダーからのデータ ドロップ、データベースからの取得など、さまざまなソースからパイプラインに入ります。取り込みポイントでデータを監視することで、データ・エンジニアは受信するデータのオブザーバビリティーをプロアクティブに取得できるようになります。

これにより、データを駆動して修正し、プロセスが最初から健全で信頼性が高いことを保証できるようになります。

データパイプラインのオブザーバビリティーを実現することで、データエンジニアは次のことが可能になります。

• データを信頼する
• 限界点を簡単に特定
• 問題をウェアハウスやダッシュボードに到着する前に迅速に修正

パイプラインをレビューしたり、外部データソースを監査および監視したいデータエンジニアは、評価中に次の質問を使用できます。

1. カバー範囲はどのくらいですか。
2. データはどのように追跡されていますか。
3. 要件とメタデータを含むマスター・データ・リファレンスはありますか。
4. 顧客は正しい方法で定義されていますか。
5. 共通の階層はありますか。
6. 分類法はビジネス要件を活用していますか。
7. 地域は正しく設定されていますか。
8. 重複はありますか。
9. 新しいエンティティーを作成する前にデータが検索されましたか。
10. データはシームレスな統合と相互運用性を可能にするように構造化されていますか。

データ・エンジニアがデータ品質に取り組む方法について説明したので、企業内の他の利害関係者から同意を得る方法を見てみましょう。

データエンジニアはしばしばデータの質について語ります。しかし、話をデータの価値に変えることで、組織内の他の利害関係者がデータプロセスにより重要な役割を果たすよう促すことができます。これは、注目を集め、リソースを獲得し、継続的な支援を得るために重要です。

そのためには、データがビジネス目標とどのように一致しているかについて話し合うことをお勧めします。そうでない場合、外部の利害関係者は会話がデータのクリーンアップだけに集中していると考えるかもしれません。

• 関連性：データはビジネス目標を満たしているか。
• 範囲：データは市場全体をカバーしており、企業がそれを活用できるか。
• 構造：データは企業が使用できるように構造化されているか。
• 正確性：データは完全で正しいか。

データの品質ではなくデータの価値に会話を移すことで、経営陣と取締役会はデータ・パイプラインにより多くの参考情報を投資するよう促せます。それにアプローチする方法は次のとおりです。

1. まずは、データの管理が企業にとって戦略的に重要である理由から始めましょう。データが戦略的意図の実行にどのように役立つかを示します。
2. データの管理と分析が、企業が目的地を達成するのにどのように役立つかを説明します。データがどのようにビジネスを成長させ、改善し、保護できるかを示します。前の4つの基準を織り交ぜて、自分のポイントを強調できます。
3. データを特定の部門に接続します。データが業務効率の改善、売上の拡大、リスクの軽減にどのように役立つかを示します。データ・エンジニアリングと同じ範囲ですべての部門の成長、改善、保護を支援できる部門は他にありません。
4. プロセスやテクノロジーに焦点を当てないでください。オーディエンスが非常に少なくなります。

企業のリーダーシップに加えて、社内に従業員を参加させることも重要です。これは、データ分析と監視に役立ちます。データエンジニアはしばしば、会社の従業員に継続的なデータ管理の取り組みに参加してもらう必要があります。たとえば、新しいオポチュニティーを追加する場合、営業担当者はCRMの複数のフィールドに入力する必要があります。

トレーニングを実施したり、データ品質の重要性について全員が同じ認識を持つようにするなど、人材管理に時間を投資することをお勧めします。例えば、不一致を正確に特定することが、ビジネスの異常（データの異常ではなく、人がデータを一貫して包括的に更新しなければ発生する可能性がある）の発見に役立つ方法を説明することです。

データ価値監査は、データに基づいて意思決定を行う能力に直接影響するため、非常に重要です。データ管理への参加を従業員に説得するための例が必要な場合は、「その他」の呪縛について思い出してください。

マーケティング、製品、販売などの事業単位がダッシュボードを監視し、大きなスライスに「その他」というタイトルが付けられている場合、必要なデータがすべて揃っているわけではなく、意思決定が妨げられています。データ管理とデータ・ガバナンスが不足している結果です。

データ・エンジニアがデータ品質を抽象理論から実践に変えるにはどうすればよいでしょうか。ここまで説明したすべてを実行可能な計画にまとめましょう。

まず、どのドメインをカバーする必要があるか、およびそれらがどの程度適切に管理されているかを評価します。これには、次のような種類のデータが含まれます。

• 顧客、ベンダー、パートナー、潜在顧客、市民、患者、クライアントとの関係データ
• 製品、サービス、オファリング、バナーなどのブランドデータ

取り込みから始まるさまざまなパイプライン段階での間違いを特定します。

さまざまな利害関係者にデータの状況を提示します。エントリー・ポイントから最終製品までデータがどのように管理されるかを示します。次に、現在のデータの価値が意思決定にどのような影響を与えているかについて説明します。エラー・ポイントを提示し、それを修正する方法を提案します。

変化を推進するための優先順位を付けた計画を構築します。最初に修正する問題を判断します。データの送信元と送信方法の特定、データ管理、従業員のトレーニングなども含まれます。計画に賛同を得て、実行に移します。

データ品質の確保は、データ・エンジニアと組織全体の責任です。データ品質の監視はソースから始まります。ただし、従業員や経営陣から賛同を得ることで、データ・エンジニアはパイプライン全体のデータの問題を監視および修正するために必要なリソースと注意を確保し、ビジネスの成長を支援することができます。