データリーダーは、すぐに使えるようにデータが流れ込むことで、多くの機会と課題が生まれることをご存じでしょう。AIモデルをトレーニングし、重要なユースケースに取り組むためのデータは増えていますが、データ資産全体の複雑さの増大にも対処する必要があります。
目的に合った最新のデータ・アーキテクチャーがあれば、差し迫ったデータの増加に対応するために必要な拡張性を提供できるため、AIテクノロジーを運用し、データ資産を最適化できます。それはエンタープライズグレードのAIを拡張するための鍵であり、最大の競争上の差別化要因になる可能性があります。
データ・アーキテクチャーとは
データ・アーキテクチャーは、組織によって設定されたモデル、ポリシー、ルール、基準を使用して、収集から消費に至るまでデータがどのように管理されるかを説明します。これによってデータアナリストは、データの場所に関わらず、ビジネスの成長に合わせて新しい導入やアプリケーションの要件を念頭に置きながら、データに対する真の理解を深めることができます。
現代の組織の専門的なニーズを満たし、高度な分析を適用し、データとAIを大規模に使用するためには、データ・アーキテクチャーが不可欠です。
企業で管理されているデータのうち、未使用のデータの割合1
ビジネス上の必須事項である理由
IBVは次のように報告しています。「信頼できるデータがなければ、たとえ最高のAIであっても、誤った、偏った、または危険な結果をもたらすことになります。しかし、データ・ハウスを整えることは小さな仕事ではなく、多くの企業にとって完全とは言い難いものです」2
言い換えれば、データの品質、セキュリティー、アクセシビリティーがこれまで以上に重要になっています。
効果的なデータ・アーキテクチャーは、変化する組織のニーズのスピード、規模、方向性をサポートする柔軟性と高レベルのフレームワークを備えており、生成AIを使用したプロセスの自動化からデータの最適化まで、複数のユースケースをサポートします。
データ管理に必要なテクノロジー、プロセス、人材を定義する詳細なデータ戦略を策定することが、目的に合ったアーキテクチャー、つまりあらゆるユースケースで一貫して質の高いデータを供給するアーキテクチャーを構築するための第一歩です。
最新のデータ・アーキテクチャーを構築する場合は、次の要素を考慮してください。
データレイクハウス
データレイクハウス・アーキテクチャーによって、単一のエントリーポイントからハイブリッドクラウド全体でデータ・アクセスが可能になり、AIモデル用のデータを統合、キュレート、準備できます。データレイクの柔軟性と、データウェアハウスの性能と構造を兼ね備えています。ほとんどのレイクハウス・ソリューションには、非構造化データを簡単に分類できるインテリジェントなメタデータ・レイヤーがあります。
データレイクハウスは、組織がデータと実際のビジネス要件を真に理解したうえで、コストパフォーマンスのよいワークフローを構築するのにも役立ちます。これにより、ワークフローの最適化が可能になり、コストとパフォーマンスが向上し、データ内の隠れたつながりを発見できます。
データレイクハウスによって最適化され、管理されているデータに誰でもアクセスできるようにするには、データ・ファブリックの実装を検討する必要があります。
データ・ファブリック
データ・ファブリックは、データ・アーキテクチャーと管理ツールの進化における次のステップです。さまざまなデータ・パイプラインやクラウド環境間で流動性を高めるように設計されており、エンド・ユーザーがデータに安全にアクセスできるようにして、セルフサービスのデータ消費を促進します。
データ・ファブリック・アーキテクチャーは、データ・パイプラインから学習するインテリジェントで自動化されたシステムを使用して、エンドツーエンドの統合を合理化します。さまざまなデータ・ソースを統合することで、データサイエンティストは顧客の全体像を作成し、1つのダッシュボードでアクセスできます。次に、このアーキテクチャーは、データの価値をより適切に捉えて生産性を向上させるための推奨事項を作成し、すべてのデータ製品の価値実現までの時間を短縮します。
データベース
データベースは、データ・セットを保管、管理、保護するためのデジタル・リポジトリーであり、データ・アーキテクチャーの重要な要素です。
アプリケーションは、高度な分析やAIのユースケースをサポートするために、ハイブリッドクラウド環境全体で大量の構造化・非構造化データを保管、管理、規制できる必要があります。
AIの運用を成功させるには、組織は適切なワークロードに適したデータベースを適切な価格で見つける必要があります。すべてのデータベースは、信頼性が高く、安全で、応答性が高く、特定のワークロードと要件に合わせて構築されている必要があります。
データへのアクセスと管理の方法を計画する際には、データがアクセスされ管理されるインフラストラクチャーについて特別な考慮が必要になります。
AIを拡張し、データ・エンジニアが最新のワークロードと需要に対応できるようにするために、インフラストラクチャーのモダナイズが必要になる場合があります。多くの組織が、テクノロジーをビジネス目標に整合させ、拡張性を高め、全体的な業績を向上させることに重点を置いた、意図的なハイブリッドクラウド・アプローチに移行しています。
ハイブリッドクラウド・プラットフォームは、環境、ワークフロー、チームの全体で一貫したエクスペリエンスを生み出します。
1 データバランスシートはどの程度強力ですか?、Scott A. Snyder、Knowledge at Warton、2022年11月。
2 AI時代のCEOの意思決定、グローバル経営幹部シリーズ、IBM Institute for Business Value、2023年6月。