Data Refinery の Impala に保管されているデータの詳細化

前提条件

Hadoop クラスターへの接続を作成します。 「 Impala via Execution Engine for Hadoop 」の接続については、こちらをご覧ください。

制約事項

• Data Refinery フローのソースとターゲット、および Hadoop 環境 は、同じ Hadoop ・システムを参照する必要があります。

• Hadoop クラスター上で Data Refinery ジョブを実行するには、 Hadoop 環境を使用する必要があります。

• Impala では、 Data Refinery は、Parquet 形式のファイルを含むテーブルに書き込みを行うジョブのみをサポートしています。

• ターゲット・データ・セットを上書きまたは再作成する場合は、 Impala 表の HDFS ・データ・ディレクトリーに対する write 権限 (具体的には delete 権限) が必要です。

  例えば、 Impala 表の HDFS ・データ・ディレクトリーが /user/hive/warehouse/table_name で、そのディレクトリー内のデータ・ファイルに対する delete 権限がない場合は、次のコマンドを実行して所有者を変更します。

  hdfs dfs -chown -R new_owner:hive /user/hive/warehouse/table_name

• ターゲットとして外部表で「表の置換」アクションを使用する場合は、外部表が空でなければなりません。

手順

1. ソース （精査したいデータ）に対して、関連付けられたデータアセットを作成します：

   1. プロジェクト・ページに移動します。
   2. 資産資産 をクリックします。
   3. 「ソースを選択」 をクリックします。
   4. 「 Impala via Execution Engine for Hadoop 」接続を選択してください。 目的のデータに移動し、 「選択」 をクリックします。
   5. 名前と説明を入力してください。
   6. 「Create」をクリックします。 そのアセットは、プロジェクトの「 アセット 」ページに表示されます。

2. 手順 1 を繰り返して、「 Data Refinery 」フロー の出力先となるターゲットファイル用の接続済みデータアセットを作成します。

3. 「 Data Refinery 」フローを作成します：

   1. 手順 1 で作成したソースの、関連付けられたデータアセットをクリックします。
   2. データの準備 をクリックして、 Data Refinery を開きます。
   3. データを精査するために操作を適用します。

4. 出力ファイルの保存先を変更します：

   1. ツールバーの フロー設定 アイコン をクリックします。 ターゲット・データ・セット タブに移動し、 ターゲットの選択 をクリックします。
   2. データ資産 をクリックし、 ターゲット出力 ・ファイルの接続済み データ資産 を選択して、 次へ(N) をクリックします。
   3. ターゲットと書き込み形式のプロパティーの選択 ウィンドウで、 書き込みモード と 表のアクション を選択します。
   4. 「保存」 をクリックしてから、 「適用」 をクリックします。

5. Hadoop 環境で Data Refinery ・フローを実行する ジョブ を作成します。

   1. Data Refinery ツールバーから、 ジョブ アイコン をクリックし、 ジョブ の保存と作成 を選択します。
   2. 名前と説明を入力してください。 Hadoop 環境を選択します。
   3. オプション：1回限りのスケジュールまたは定期的なスケジュールを追加します。
   4. ジョブを作成してすぐに実行するか、ジョブを作成して後で実行します。

6. ジョブが完了したら、 Impala のメタデータを再同期してください。 Hadoop クラスタ上で、データベースの impala-shell に接続し、次のコマンドを実行します：

   REFRESH table_name

既知の問題

Hadoop 環境のトラブルシューティング

詳細情報

• 接続からプロジェクトにデータを追加する
• データの絞り込み
• プロジェクト内の仕事