抽出、ロード、変換（ELT）とは

ELTは、ETL（または抽出、変換、ロード）データ統合に相対する製品として一般的に知られています。ただし、ETLとは異なり、ELTパイプラインでは、データ変換がデータ統合プロセスの中間ではなく、最後に行われます。このアプローチにより、ソースからターゲットへのデータ移動が速くなり、データ変換がターゲットシステム内で行われます。

組織はクラウド環境内で増大するデータ資産を処理する際に、ELTに依存しています。ELTにより、企業はクラウド・プラットフォームのコンピューティング能力と弾力性を活用し、必要に応じて大規模にデータを変換することができます。 このような柔軟性により、企業は多様なソースや形式からデータを取り込んで変換し、将来のユースケースに備えて未加工データへのアクセスを保持できるようになります。また、低い初期費用で、パイプラインを構築することもできます。

ELTは当初バッチベースのプロセスでしたが、Apache Kafkaのようなリアルタイムデータ・ストリーミングプラットフォームを用いてストリーミングデータの統合をサポートすることができます。その他の主要なELTツールには、主要なデータ・リポジトリーと統合するデータ統合およびデータ変換ソリューションが含まれています。

ELTを使用することで、企業は大量のデータを迅速に保管し、クラウドネイティブなデータ・アーキテクチャーのメリットを活用できます。

ELTは、少なくとも2つの主な理由により、2010年頃から不可欠な統合プロセスになりました。

• データ量の急増
• クラウド・コンピューティングの利用開始

組織はこれまでにないほど大規模なデータ資産の管理を試みる中、クラウド環境に目を向けました。クラウド環境は、オンプレミスサーバーよりも安価でスケーラブルなストレージを提供できます。言い換えれば、増大し多様なデータ・セットにとって理想的な保管と見なされることがよくあります。

同様に重要なことは、クラウド・プラットフォームとクラウド・ベースのデータウェアハウスにより、大規模なデータ変換が可能になったことです。このモデルにより、従来のETLパイプラインのように、データ・パイプラインの途中でデータを変換する必要がなくなりました。代わりに、データはターゲット・システムで効率的に変換できます。これが、ELTアプローチです。

データ・エンジニアは、従来のETLよりも大量のデータを処理することに優れ、半構造化データや非構造化データを含む多様なデータに対応できるELTを好んで使用します。 未加工データの可用性を維持する利点もあります。変換を実行する前に、異なるチームやデータサイエンティストが自分たちのニーズに合わせて変換ロジックを調整しつつ、 分析 から 機械学習まで将来のニーズに備えて未加工データを保持できます。

IBMのシニア・テクニカル・アドバイザーであるJamil Spainは、「重要なのは、ユースケースと達成しようとしていることです。」と語りました。最初に読み込みを行ってからサンドボックスにアクセスして、どのようなデータを持っているかを把握するのは理にかなっています。そこから、自分が望む形式に変換する作業ができます」

従来、ELTはバッチ指向のプロセスでした。しかし、データエンジニアリングの進歩により、ELTをApache Kafkaなどのイベント・ストリーミングプラットフォームにデプロイして、ストリーミングデータを統合し、リアルタイム分析をサポートできるようになりました。

「未加工データが入ってくると、特定のKafkaトピックに取り込まれます。一歩進んだ、進化するストリームのようなものです」とSpainは説明します。「その後、要約したり計算を行ったりするためのプログラミング ロジックを作成できます。データが増えるにつれて分析できるのです。」

Kafkaはオープンソースのソリューションですが、IBMグループ企業のConfluentのようなエンタープライズ・グレードのソリューションは、データ管理機能の向上、安全なガバナンス、事前構築されたコネクター、カスタマー・サポートを通じてKafkaの実装を強化できます。

ELTは、抽出、ロード、および変換の3つの主要な段階で構成されています。これらの各段階について、次のセクションで詳しく説明します。

データ抽出時には、データはソースの場所からコピーまたはエクスポートされます。データは多数のデータ・タイプで構成され、事実上すべての構造化または非構造化データから取得されます。この一部には以下が含まれますが、これに限定されません。

• SQL および NoSQL サーバー
• 顧客関係管理（CRM）システム
• 企業資源計画 (ERP) システム
• API
• Eメール、テキスト、文書ファイル
• JSONファイルとCSVファイル
• Webページ

抽出されたデータは、データウェアハウスやデータレイクなどのデータ・ストレージ・エリアに移動されます。この段階では、欠損値の対処などの一部のデータ・クレンジングを含む、ごく一部のデータ処理が行われます。

通常、読み込みは、消費者が時間的制約のある分析や洞察にデータを使用しようとしており、従来のETLプロセスを待つ時間がない営業時間中に行われます。

この段階では、SQLや Data Build Tool (dbt)などのツールを用いてターゲットシステム内でデータを変換します。この段階では以下が行われます:

• データのクレンジング、重複排除、フィルタリング、検証、認証。

• 未加工データに基づいた計算、翻訳、データ分析、または要約の実行。これには、一貫性を保つために行と列のヘッダーを変更すること、通貨や測定単位を変換すること、テキスト文字列を編集すること、値を追加または平均化することなど、組織固有のビジネスインテリジェンスや分析のニーズに適合するために必要なものがすべて含まれる場合があります。

• 官公庁・自治体または業種・業務の規制によって管理されるデータの削除、暗号化、非表示化、またはその他の保護、例えば欧州連合の一般データ保護規則（GDPR）や医療保険の相互運用性と説明責任に関する法律（HIPAA法）。

ELTは、ほぼ同じ略語で知られる関連プロセスと混同されることがあります。しかし、ELT（抽出、ロード、変換）とETL（抽出、変換、ロード）には明確な違いがいくつかあります。

2つの主な違いは操作の順序です。ELTとは異なり、ETLはロード関数の前に変換関数を実行します。この2つのプロセスの最も大きな違いは、次のとおりです。

ELTは、プロセスをワークフローに統合するユーザーにいくつかのメリットを提供します。

• データ移動の高速化： 転送中の変換によってデータ移動が遅くなることなく、在庫切れのアラートから株式取引まで、時間に敏感なユースケースでデータがより迅速に到着します。

• パイプラインのレジリエンスの向上：変換とロードの段階を分離することで、変換段階のコーディング・エラーやその他のエラーによってパイプラインが中断されることを防ぎます。

• より多様なデータ：ELTは、さまざまなソースからさまざまな形式のデータを抽出してロードできます。

• データの再利用性: データは未加工の状態で保管されるため、ニーズの異なるさまざまな利害関係者が同じデータにアクセスし、独自の変換ロジックをそのデータに適用できます。

• 拡張性の向上： ELTは、クラウド・ベースのリポジトリーの能力とサイズを活用して、大規模な変換を可能にします。

• コスト効率：初期費用を抑え、必要に応じて柔軟なクラウド・コンピューティングとストレージ・リソースを活用することで、コスト効率を実現できます。

ELTの実装には多くのメリットがある一方で、課題が生じる可能性もあります。

データをクリーンアップして整理するための転送中の変換がなければ、企業はターゲット・システムに配信される未加工データでデータ品質、コンプライアンス、およびセキュリティー上の懸念に直面する可能性があります。データ・ガバナンスプログラムは、データ品質や コンプライアンス基準の施行、データ暗号化 やロールベースの アクセス制御などのセキュリティ実践を通じてこれらの懸念に対応することができます。

柔軟なクラウド・リソースを使用するとコスト効率は高くなりますが、データ量の増加につれてコストが時間の経過とともに増加する可能性があります。クラウド・コストの最適化（クラウド費用の削減を支援するための戦略とツールで構成されています）を使用することで、企業は予想を上回る請求額を回避できます。

ELTは最新のクラウド・インフラストラクチャーで機能するように設計されているため、オンプレミスのインフラストラクチャーとレガシー・システムを使用している企業では、データ統合のニーズに適した従来のパイプライン・アーキテクチャー（ETLパイプライン）の方が適していることが一般的です。

ELTワークフローの実装には、データ統合および変換ツールが必要です。

主要なデータ統合ソリューションは、多くの場合、ELTおよび従来のETLパイプラインの両方をサポートする柔軟性を提供します。その他の主要な機能には、次のようなものがあります。

• 多様なデータソースからデータを取り込むための幅広いコネクタ群
• 変換ツールおよびデータウェアハウスとの統合
• データ・ストリーミングソリューションとの統合
• ノーコードおよびローコードのオプションとAI支援パイプライン設計により、より多くのユーザーがより速くパイプラインを構築できるようになります
• より信頼性の高いパイプラインを実現するための、統合されたオブザーバビリティー、品質、リネージ、ガバナンス

ELTをサポートするデータ統合ツールは、IBM DataStage®やFivetranなどの商用ソリューションから、Airbyteなどのオープンソース・ソリューションまで多岐にわたります。

データ変換のための業界標準ツールはData Build Tool(dbt)です。dbtによって実現される主なデータ関連タスクは次のとおりです。

• データ変換の複雑なワークフローの管理
• 未加工データを構造化された形式に変換することによる、レポート作成や分析用のデータの準備
• 異なるデータ変換の段階を表す層状で再利用可能なモデルの作成
• データ変換が正しい順序で実行され、より大規模なデータ・ワークフローと統合できるようにする。

企業では、多くの場合、dbtを使用して、Amazon RedshiftやGoogle BigQueryなどのデータウェアハウス、Snowflakeなどのデータ管理プラットフォーム、watsonx.data®などのデータレイクハウスにデータを変換します。

ELTは通常、大容量データやリアルタイム・データを使う環境で使用されます。例えば、以下のような例が挙げられます。

ELTは、人工知能や機械学習のワークロードにとってクリティカルな多様なデータの迅速な取り込みを可能にします。データは未加工の形式で読み込まれるため、さまざまなAIモデルの構築やトレーニングに再利用できます。MITのスローン・スクール・オブ・マネジメントの報告によると、データの再利用可能性によりAI駆動型ビジネスイニシアチブの効率が向上します。

ELTを使用すると、企業はさまざまなソースからの顧客データを統合し、セグメンテーションやパーソナライゼーションの取り組みに役立てることができます。たとえば、顧客の購入履歴、閲覧行動、人口統計的特性に関する情報を取り込んで分析することで、eコマース小売業者はカスタマイズされたオファーや割引を設計することができます。

企業はELTを使用して、システム全体のデータを効率的に集約し、特定の規制要件を満たすように変換を適用できます。その際、監査証跡や元の未加工データへのアクセスを維持できます。ある調査によると、ハイブリッドクラウドのELTシステムは、リスク、財務、規制に関する報告の待ち時間を40％短縮できることがわかりました。

ELTはセンサー、 IoT（モノのインターネット） デバイス、 在庫管理 システムからのデータの取り込みをサポートします。このアプローチにより、配送ルーティングと在庫管理を改善する情報を分析できます。例えば、販売と注文のフルフィルメントに関する取り込みデータを分析することで、小売業者は在庫を最適化し、在庫切れを回避できます。