データ変換とは

専門家は手動でデータ変換を実現できますが、現代のエンタープライズ・アプリケーションを動かすために必要な大量のデータには通常、ある程度の自動化が必要です。データを変換するプロセスを通じて展開されるツールやテクノロジーは、単純なものもあれば複雑なものもあります。

例えば、データ変換は、日付フィールド（MM/DD/YY など）を別のフィールドに変換したり、Excelの1つの列を2つに分割したりするのと同じくらい簡単かもしれません。しかし、複雑なデータ変換になると、複数の異種ソースからのデータをクリーンにして標準化する作業があり、複数のワークフローで構成されるため、高度なデータサイエンス・スキルが必要になることがあります。

これらの高度なデータ・エンジニアリング機能には、データ・ポイント間の関係を定義するデータ正規化や、既存の情報をサードパーティーのデータ・セットで補完するデータ・エンリッチメントが含まれます。

今日のデジタル・ファーストのグローバル経済では、データ変換により、組織はさまざまなソースからの大量のデータを、サービスの向上、機械学習モデルのトレーニング、ビッグデータ分析の展開に利用することができます。

データ変換は、データ・セットを標準化し、その後の処理に備えることで、いくつかの重要な企業データ・プラクティスを可能にします。ビジネスの世界においてデータ変換を行う一般的な理由は、次のとおりです。

データ変換は通常、構造化されたプロセスに従い、未加工の状態から使用可能で価値のあるデータを生成します。データ変換プロセスの一般的な手順は次のとおりです。

検出プロセス中に、ソース・データが収集されます。このプロセスには、API、SQL Database、または異種形式の内部ファイルからの未加工データのスクレイピングが含まれる場合があります。この情報を特定して抽出する際、データ専門家は、収集された情報が包括的であり、最終的な用途に関連したものであることを確認します。検出時に、エンジニアはデータ・プロファイリングと呼ばれるプロセスで、データの特性と構造も理解し始めます。

データ準備とクリーニングでは、未加工データのエラー、矛盾、不正確さを特定して修正する必要があります。この手順では、重複や外れ値を削除したり、欠損値を処理したりすることで、データ品質および信頼性を確保します。

データ・マッピングには、変換プロセスをガイドするスキーマまたはマッピング・プロセスの作成が含まれます。このプロセスで、データ・エンジニアは、ソース・システムの要素がターゲット・フォーマットの特定の要素にどのように対応するかを定義します。

この手順では、サードパーティー・ツールを使用するか、内部でコードを生成することで、データを変換するコードを作成します。

この段階では、コードが未加工データに適用されるときに実際の変換が行われます。変換されたデータはターゲット・システムに読み込まれ、さらに分析または処理されます。次に、変換されたデータとデータ・モデルが検証され、一貫性と正確性が確認されます。

レビュー・プロセスでは、データ・アナリスト、エンジニア、またはエンドユーザーが出力データをレビューし、要件を満たしていることを確認します。

ETL（抽出、変換、ロード）とELT（抽出、ロード、変換）は、頻繁に使用される2つのデータ変換プロセスで、展開するデータ・パイプライン技法がわずかに異なります。それぞれ、変換の規模と複雑さに応じて長所と短所があります。

ETLプロセスでは、構造化データの既定のサブセットがソースから抽出され、ターゲット・システムにロードされる前に、ステージング領域または2次処理サーバーで変換されます。ETLは、オンプレミスのストレージや小規模なデータ・セットに適しています。ただし、より厳格なデータ・クリーニングと検証の手順を導入できるため、特定のデータ品質と一貫性が求められるシナリオにおいて、ETLの方が望ましい場合もあります。また、ETLは、HIPAAで保護された情報などの機密データを保護するために、移行中に必要になることもあります。

ELTプロセスでは、情報はデータ・ソースから抽出され、クラウドベースのターゲット・システムにロードされ、そこで変換されます。このアプローチはクラウド・コンピューティングのパワーを活用するため、通常、より高速な処理とよりアジャイルなデータ管理が可能になります。また、画像などの非構造化データにも使用できます。クラウドベースのコンピューティングとストレージ・パワーの利点により、ELTプロセスでは拡張性の向上も見られます。

データサイエンティストとエンジニアは、データ変換プロセス全体で、いくつかの異なる手法を使用します。どの手法を用いるかは、プロジェクトとデータの使用目的によって異なりますが、複雑なプロセスの一部として、いくつかの手法が併用されることもあります。

• データ・クリーニング： データ・クリーニングは、重複レコードの排除など、エラーや不整合を修正することでデータ品質を向上させます。

• データ集約：データ集約は、複数のレコードを1つの値またはデータ・セットにまとめることによってデータを要約します。

• データ正規化：データ正規化はデータを標準化し、すべての値を1から10までの数値のような共通の尺度や形式にします。

• データ・エンコーディング：データ・エンコーディングは、カテゴリー・データを数値フォーマットに変換して、分析を容易にします。例えば、データ・エンコーディングでは、データの各カテゴリーに一意の番号を割り当てる場合があります。

• データ・エンリッチメント：データ・エンリッチメントは、第三者の人口統計データや関連するメタデータなど、外部ソースから関連情報を追加することでデータを強化します。

• データ・インピュテーション：データ・インピュテーションは、欠損データを妥当な値に置き換えます。例えば、欠損値を中央値や平均値に置き換えたりします。

• データ分割：データ分割は、データを異なる目的のためにサブセットに分割します。例えば、エンジニアはデータ・セットを分割して、一方を機械学習のトレーニング用に、もう一方をテスト用に使用する場合があります。

• データの離散化：データの離散化では、データを離散的なバケットまたは区間に変換します。一例として、医療現場では、患者の年齢などのデータを「幼児」や「成人」といったカテゴリーに変換するために、離散化が使用される場合があります。

• データの一般化：データの一般化は、大規模なデータ・セットをより高いレベル、または要約の形に抽象化することで、詳細情報を減らし、データを理解しやすくします。

• データの可視化：データの可視化は、データをグラフィカルに表現し、すぐにはわからないパターンや洞察を明らかにします。

社内のエンジニアだけでデータ変換を実行することは可能ですが、多くのサードパーティー・サービスが変換および移行プロセスの円滑化を支援しています。最も一般的なものは次のとおりです。

• ETLおよびELTツール：Apache NiFiやInformaticaなどのツールは、プラグ・アンド・プレイETLまたはELTプロセスを促進します。

• データ統合プラットフォーム：IBM® Cloud Pak for Dataなどの多数のツールが、データ統合とリアルタイム処理をサポートします。

• データ準備ツール：これらのツールは、データ変換やデータ移行の前に、データ・クリーニングと変換を行うために特別に設計されています。

• プログラミング言語：PythonやRなどのプログラミング言語と、オープンソースのpandasなどのライブラリーは、データ変換のための堅牢な機能を提供します。

データ変換は、データ処理における重要なステップです。これにより、組織の分析、報告、意思決定、保存の能力が向上します。主要なメリットには以下のようなものがあります。