データ取り込みとは

データ・ソースには、金融システム、サード・パーティーのデータ・プロバイダー、SNSプラットフォーム、IoTデバイス、SaaSアプリケーション、エンタープライズ・リソース・プランニング（ERP）や顧客関係管理（CRM）などのオンプレミス・ビジネス・アプリケーションが含まれます。

これらのソースには、構造化データと非構造化データの両方、および半構造化データが含まれます。データが取り込まれた後、それはデータレイク、データウェアハウス、データレイクハウス、データマート、リレーショナルデータベース、その他の下流アプリケーションにルーティングされます。

一般的なデータ取り込みツールはこのプロセスを自動化し、複数のソースから未加工データを収集して移動します。アーキテクチャーによっては、取り込みパイプラインは、データが移動するときにデータを検証、フィルタリング、フォーマット、または変換し、データ分析ソフトウェアやその他のビジネス・アプリケーションで使用するために準備することもできます。

データ取り込みには通常、データサイエンス、データエンジニアリング、ソフトウェア開発の専門知識が求められる複雑なパイプラインが含まれることがあります。データは、抽出、変換、読み込み（ETL）プロセスまたは抽出、読み込み、変換（ELT）プロセスを使用してサニタイズされた後、統一された形式に変換され、データ・ライフサイクルにわたり効果的に管理されることになります。

データ取り込みは、今日の企業が収集する大量のデータからデータを処理し、価値を引き出すための最初のステップです。適切に計画されたデータ取り込みプロセスは、システム間を移動するデータの正確性、一貫性、信頼性を維持するのに役立ち、データ分析、AIアプリケーション、運用ワークフロー、その他のビジネスプロセスをサポートします。データ取り込みが不可欠な理由は3つあります。

データ取り込みとは、さまざまなソースから生データを取得し、分析用に準備するプロセスです。その正確な手順は、ソース、送信先、および取り込み方法によって異なります。シンプルな取り込みパイプラインでは、変換をほとんどまたはまったく行わずにデータをキャプチャして配信できます。一方、より複雑なパイプラインでは、途中でデータを検出、検証、フィルタリング、変換、エンリッチ化することもできます。パイプラインにおける一般的なステップは次のとおりです。

組織全体で利用可能なデータを特定する探索段階。データの状況、構造、品質、潜在的な用途を理解することが、データ取り込みを成功させる基盤となります。

データ・ソースが特定されると、データ取得ではデータの収集が行われます。このステップには、多数のソースからのデータの取得が含まれる場合があります。これらのソースには、MySQLのような構造化データベース、アプリケーションプログラミングインターフェース (API)、CSVやJSONなどのファイル形式、画像や紙での記録などの非構造化ソースが含まれます。さまざまなデータ形式と潜在的に大量のデータを処理し、取得プロセス全体を通じてデータの一貫性を保護することは複雑な作業です。

データを取得したら、検証です。これはエラーを特定し、設定されたルールとの整合性を確保するのに役立ちます。データはエラー、不整合、欠損値がないかチェックされます。また、データは、データ型の検証、範囲の検証、一意性の検証などのさまざまなチェックを通じてクリーンアップされ、信頼性が高まり、さらに処理する準備が整います。

ここでは、検証されたデータが分析に適した形式に変換されます。これには、正規化（冗長性の削除）、集約（データの要約）、標準化（一貫したフォーマット）が含まれる場合があります。その目的は、データを理解し、分析しやすくすることです。

最後のステップでは、変換されたデータが指定された場所（通常はデータウェアハウスまたはデータレイク）に配置され、分析やレポート作成にすぐに使用できるようになります。この読み込みプロセスは、特定のニーズに応じて、バッチまたはリアルタイムで実行できます。データの読み込みは、データ取り込みパイプラインの完了を意味します。この段階で、データが準備され、情報に基づいた意思決定と貴重なビジネス・インテリジェンスの生成の準備が整います。

データ品質は、誤り、不整合、不完全な記録、その他の問題が結果に影響を与えるため、データ取り込みにとって重要です。データ取り込みプロセスの一環として、組織は多くの場合、フォーマットの標準化、不正確なデータの削除、欠落値や重複値の修正、その他のデータ品質問題の解決などを行うことによってデータをクレンジングします。

データ・ガバナンスは、データ処理に関するポリシーと標準を確立することで、取り込み中のデータ品質を維持するのに役立ちます。これにより、役割と責任が明確となることで、説明責任が確保されます。また、メトリクスや監視システムの導入による問題の追跡と対処、GDPRやHIPAAなどのコンプライアンス遵守の促進、データの定義や形式の標準化による一貫性の促進も含まれます。

データ取り込みのメリットの一つは、異種のソースからのデータを組織全体でよりアクセスしやすく、使いやすくするのに役立つことです。その他のメリットは次のとおりです。

データ取り込みツールは、さまざまな形式と構造を持つさまざまなソースからデータを収集して移動するという、複雑なタスクを簡素化できます。一部のプラットフォームでは、パイプラインの一部としてデータを検証、変換、または標準化することもできます。

効果的な低遅延のデータ取り込みパイプラインは、リアルタイムの取り込みを含め、大量のデータを高速で処理できます。このようにして、組織は急速に変化する情報を処理し、対応することができます。

企業は、データ取り込みを通じてデータの収集とクレンジングを自動化することで、従来は手動のデータ集約プロセスに必要だった時間とリソースを削減できます。また、サービスとしてのデータ取り込みソリューションは、インフラストラクチャーの先行投資の必要性を排除することで、コスト面でのさらなるメリットを提供できます。

適切に設計されたデータ取り込みプロセスは、データ量、ソース、ビジネス要件の増大に合わせてビジネスを拡張するのに役立ちます。拡張性が高まれば、組織は新しいワークロードとユースケースをサポートしながら、データ環境の進化に応じてデータに効果的にアクセスして分析し続けることができます。

多くの最新のデータ取り込みツールは、クラウド、オンプレミス、ハイブリッド環境を横断して動作するように設計されており、組織が必要な場所にデータを移動および統合するのに役立ちます。クラウドベースのデータ取り込みサービスは、インフラストラクチャ管理のオーバーヘッドを削減し、データ量の増加に伴う拡張性を向上させると同時に、分散システムやチーム間でのデータアクセスをサポートします。

データ取り込みには、各種ソースからデータを指定されたシステムに取り込むための多種多様な方法があります。

この取り込み方法では、特定の期間（毎日の売上レポート、毎月の財務諸表）にわたってデータを蓄積してから、それを全体的に処理します。一括処理は、オフピーク時間にスケジュールできるため、シンプルかつ信頼性が高く、システム・パフォーマンスへの影響が最小限であることで知られています。ただし、リアルタイム用途には適していません。

この方法では、データが生成されると同時に取り込めるため、最小限の遅延で処理や分析に利用できるようになります。リアルタイムのデータ取り込みは、より迅速な意思決定をサポートでき、変化する状況への迅速な対応が最も重要となる不正アクセス検知や株式取引プラットフォームなど、即時の対応が重要な用途に最適です。

CDCは、挿入、更新、削除など、ソースシステム内のデータに加えられた変更を識別して取得するデータ取り込み手法です。その後、それらの変更を下流のシステムに配信します。CDCは、データ・セット全体ではなく段階的な変更を転送するため、データの移動を減らし、定期的なフルデータロードよりも効率的に、ほぼリアルタイムのデータ可用性をサポートできます。

ストリーミング取り込みとストリーム処理は密接に関連した概念です。ストリーミング取り込みでは、データが生成されると継続的にキャプチャして配信します。ストリーム処理は、データが到着すると継続的に分析します。リアルタイム処理とストリーム処理の両方で、かなりの計算能力とネットワーク帯域幅リソースが必要になる場合があります。

APIベースのデータ取り込みは、アプリケーションプログラミングインターフェース（API）を介して、アプリケーション、サービス、プラットフォームからデータを収集します。この方法は一般的に、クラウド・アプリケーション、SaaSプラットフォーム、ソーシャル・メディア・サービス、ビジネス・システムからデータを取り込むために使用されます。APIベースの取り込みでは、オンデマンドで現在のデータにアクセスできますが、レート制限、認証要件、APIの可用性などの要因によって、取り込みのパフォーマンスと信頼性に影響を与える可能性があります。

マイクロバッチ方式は、一括処理とリアルタイム処理のバランスをとります。データを小規模かつ頻繁に一括処理で取り込み、本格的なリアルタイム処理のリソース制約なしに、ほぼリアルタイムの更新を提供します。データの鮮度とシステム・パフォーマンスのトレードオフを最適化するには、慎重な計画と管理が必要です。

Lambdaアーキテクチャーは、別々のバッチ層とリアルタイム処理層を使用するデータ処理アーキテクチャーです。バッチ層は完全な履歴データ・セットを処理し、ストリーミング層は新しく生成されたデータが到着するとすぐに処理します。サービング層は両方の層のアウトプットを組み合わせ、過去のデータと現在のデータを統一したビューを提供します。

データ取り込みツールは、さまざまなニーズと技術的専門知識に対応する幅広いソリューションを提供します。

オープンソース・ツール：ソフトウェアのソース・コードに無料でアクセスでき、ユーザーがツールを完全に管理し、カスタマイズできるツールです。例えば、Apache Kafkaは、ストリーミングデータのデータ取り込みと統合のための広く利用されているオープンソースプラットフォームです。

独自ツール：ソフトウェア・ベンダーによって開発およびライセンス供与されるソリューションです。あらかじめ構築された機能とさまざまな価格プランが提供されますが、他のベンダーに変えることが難しくなるベンダー・ロックインや、ライセンスの継続コストが発生する可能性があります。

クラウドベースのツール: クラウド・サービスとして提供される取り込みツール。事前のインフラストラクチャー投資を必要とせずに拡張性を提供しながら、デプロイメントと保守を簡素化します。例としては、AWS GlueやAmazon Kinesisなどのマネージド・サービスや、大規模なデータの取り込み、処理、管理機能を提供するSnowflakeなどのクラウド・データ・プラットフォームが挙げられます。

オンプレミス・ツール：これらのツールは、ローカルまたはプライベートクラウド・ネットワークにインストールおよび管理され、データ・セキュリティーをより厳密に管理できますが、ハードウェアへの投資と継続的な IT サポートが必要です。

ニーズと専門知識のバランスを取りながら、データ取り込みパイプラインを構築するためのアプローチはいくつかあります。

手動でコーディングされたパイプライン：これらのカスタム・パイプラインは最大限の管理を提供しますが、高度な開発に関する専門知識が必要です。

事前に構築されたコネクターおよび変換ツール: このアプローチは、あらかじめ設定されたコネクターと変換機能を使用して、データパイプラインを簡単に構築する方法を提供します。例えば、IBM Confluent®は、組織がデータ取り込みおよびストリーミングパイプラインを構築・管理するのに役立つツールとマネージドサービスを提供しています。

データ統合プラットフォーム: これらのプラットフォームは、データ統合、データ取り込み、変換、オーケストレーション、移動などのタスクに統合環境を提供しますが、セットアップや保守には開発の専門知識が必要な場合があります。

データ・パイプラインの基本であるとはいえ、データ取り込みプロセスには複雑さが伴います。一般に、次の6つの課題があります。

データ・セキュリティー：露出度が増すと、機密データのセキュリティー侵害のリスクが高まります。データ・セキュリティー規制を遵守すると、複雑さとコストが増加します。

規模と多様性：データの量、速度、多様性がますます増大するため、パフォーマンスのボトルネックが発生する可能性があります。

データ取り込みの拡大とコスト管理：データフローの変動や取り込みワークロードの増加は、インフラストラクチャ要件や運用コストに影響を与える可能性があるため、コストの監視と最適化は重要な検討事項となります。

データの断片化：データが複数のアプリケーション、データベース、プラットフォーム、その他のソースに分散していると、統一されたビューを作成することが困難になる場合があります。データが断片化していると、矛盾や重複レコードが生じ、データ統合や分析に支障をきたす可能性があります。

スキーマ・ドリフト：フィールドの追加、削除、変更など、ソース・データの構造の変更により、ソース・システムとターゲット・システムの間に不一致が生じる可能性があります。取り込みパイプラインがこれらの変更に対応するように更新されていない場合、スキーマ・ドリフトによってワークフローが中断され、他の問題が発生する可能性があります。

データ品質保証：データ取り込みプロセスの複雑さにより、データの信頼性が損なわれる可能性があります。

データ取り込み、抽出、変換、読み込み（ETL）、抽出、読み込み、変換（ELT）は、データを入手して使用できるようにするという目的は共通ですが、アプローチは異なります。

データ取り込みとは、ソースシステムからデータを収集し、送信先環境でストレージ、処理、または利用のために使用できるようにする広範なプロセスを指します。ETLとELTは、そのプロセスの一環としてデータがいつどのように変換されるかを定義する具体的なアプローチです。

抽出、変換、読み込み（ETL）とは、ソース・システムからデータを抽出し、ターゲット・システムの要件を満たすようにデータを変換し、その後、送信先に読み込ませるプロセスです。

抽出、読み込み、変換（ELT）とは、ソース・システムからデータを抽出し、変換前にターゲット・システムに読み込ませるアプローチです。未加工データはターゲット環境に保管され、必要に応じて変換されます。

データ取り込みとデータ統合は、データ・パイプライン内で異なる目的を果たします。

データ取り込みは、多くの場合、より広範なデータ統合プロセスの1つの構成要素です。これは、1つまたは複数のソースからのデータの入り口として機能します。主な目標は、データを効率的に取得して配信することですが、取り込みには検証、フィルタリング、フォーマット、品質チェックなどのタスクも含まれる場合があります。

複数のソースからのデータを結合し、調和させることで、統一された一貫性のある形式にする手法です。データ統合には、データ・セット全体の一貫性と正確性を確保するためのデータのクレンジング、標準化、エンリッチメントが含まれる場合があります。

多くの組織がより多くのデータを生成して消費するようになるにつれて、データ取り込みは、情報にアクセスして使用できるようにする上で重要な役割を果たしています。一般的なユースケースには、次のようなものがあります。

組織はデータ取り込みを使用して、データベース、アプリケーション、API、ファイル、接続されたデバイスからデータを収集し、クラウドデータレイク、データウェアハウス、データレイクハウスで利用できるようにします。複数のソースから情報を統合することで、組織は自社の業務、顧客、ビジネスパフォーマンスをより包括的に把握できます。

例えば、小売業者は販売時点情報管理 (POS)、Eコマース、インベントリーデータを取り込んで需要予測を改善し、医療機関は臨床、検査、患者モニタリングデータを組み合わせてケア提供やオペ計画を支援することができます。

組織がデータインフラストラクチャをモダナイズするにつれて、データ取り込みは、レガシー・システム、オンプレミスデータベース、データウェアハウスからクラウドへデータを移行する上で重要な役割を果たします。データ取り込みツールは、大規模な移行を自動化し、移行中にシステム間でデータを同期させることができます。

多くのプラットフォームは変更データ・キャプチャー（CDC）をサポートしており、組織はソース・システムから更新を継続的にレプリケートできるため、完全なデータの再読み込みを必要とせずにクラウドベースの環境を最新の状態に維持できます。このアプローチは、金融機関、官公庁・自治体、その他のレガシー・データを大量に保有する組織が、業務の中断を最小限に抑えながら、分析環境をモダナイズするのに役立ちます。

多くの組織は、リアルタイム分析やイベント駆動型アプリケーションをサポートするためにデータ取り込みを利用しています。データ取り込みツールは、ウェブサイトのクリックストリーム、アプリケーションログ、ソーシャルメディアフィード、IoT（モノのインターネット）センサーなどのソースからデータを継続的に収集し、ストリーミング配信することができます。

イベントの発生時にこの情報を利用できるようにすることで、組織は業務を監視し、新たな問題を検知し、変化する状況により迅速に対応することができます。例えば、電気通信事業者は、ストリーミングデータを使用してネットワークのパフォーマンスとサービス品質を監視できます。一方、製造業者は設備のテレメトリデータを分析することで、生産上のボトルネックや潜在的な保守上の問題を、ダウンタイムが発生する前に特定することができます。

組織はデータ取り込みを使用して、データ・オブザーバビリティー・プラットフォームでデータを利用できるようにすることができます。これにより、チームはシステム全体でデータの信頼性、鮮度、完全性、一貫性を評価できるようになります。

医療企業やその他の企業は、運用データベース、リアルタイムストリーミングプラットフォーム、その他のソースからデータを継続的に取り込むことで、異常を特定し、スキーマの変更を検知し、パイプライン間のデータ移動を追跡するための基盤を構築できます。これを実践することにより、分析、レポート作成、AIアプリケーションに使用されるデータの信頼性を向上させることもできます。

AIと機械学習システムは、大量のデータへのタイムリーなアクセスに依存しています。データ取り込みにより、組織は複数のソースからデータを収集、統合、準備し、モデルのトレーニング、推論、監視に使用できます。また、生成AIアプリケーション、検索拡張生成 (RAG) システム、AIエージェントもサポートしています。

例えば、銀行は取引や口座のアクティビティデータを取り込んで、詐欺検出モデルやAI搭載カスタマー・サービス・アプリケーションをサポートすることができます。医療機関やライフサイエンス組織は、臨床データと研究データを組み合わせて予測分析に役立てたり、画像データを使用してAIを活用した意思決定を強化したりすることがあります。組織がRAGシステムとAIエージェントをデプロイすると、データ取り込みを使用して、関連するコンテキストを取得し、最新の情報に基づいて行動するのに役立つドキュメント、ナレッジベース、運用記録を継続的に提供できます。

企業はデータ取り込みを利用して、ウェブサイト、モバイルアプリケーション、CRMシステム、マーケティングプラットフォーム、カスタマー・サポート・チャネルから顧客情報を収集し、分析に利用できます。これらのデータ・ソースを組み合わせることで、顧客の行動や好みをより詳細に理解することができます。企業は得られた洞察を活用して、エクスペリエンスのパーソナライズ、カスタマー・サービスの向上、マーケティング・キャンペーンの最適化、営業のサポート、成長機会の特定に役立てることができます。

データ取り込みは、複数の運用システムからのデータを分析に利用できるようにし、データの可用性を向上させることで、ビジネスインテリジェンス（BI）とレポート作成を支援します。組織は取り込んだデータを活用してダッシュボードを作成し、主要業績評価指標（KPI）を追跡し、傾向を特定し、データ駆動型の意思決定をサポートできます。

販売実績の監視、効率の測定、財務成果の追跡など、組織は信頼できるデータ取り込みパイプラインを大いに活用し、レポートや分析に現在のビジネス状況を確実に反映させることができます。