サンプル INGEST ユーティリティー・スクリプト

INGEST ユーティリティーのサンプル・スクリプトを使用することにより、新しいファイルを処理するたびに新規の INGEST コマンドを記述する作業を自動化できます。

サンプル・スクリプト ingest_files.sh は、新規ファイルをチェックして、そのファイルを処理するための INGEST コマンドを生成する操作を自動化するシェル・スクリプトです。このスクリプトは、以下のタスクをこの順序で実行します。

ディレクトリーをチェックして、処理すべき新規ファイルがあるかどうか調べる。ファイルがないとスクリプトは終了する。
注: スクリプトは、指定されたディレクトリーには、データを追加するテーブルのファイルのみが含まれていると想定します。
新規ファイルの名前を取得して、それぞれのファイル用に別個の INGEST コマンドを生成する。
INGEST コマンドを実行して、戻りコードを処理する。
処理されたファイルを成功ディレクトリーまたは失敗ディレクトリーに移動する。

スクリプトは、インストール・ディレクトリー下の samples/admin_scripts ディレクトリーにあります。

環境に合わせたスクリプトの変更

ingest_files.sh スクリプトは、独自のスクリプトを作るためのベースとして使用することができます。重要な変更点としては、以下のものがあります。

スクリプトは、単一の表に取り込むためのデータを含むファイルを処理します。複数の表にデータを取り込むためには、取り込み先の表ごとにメカニズムを複製するか、複数の表を扱えるようにメカニズムを一般化します。

新規 INGEST コマンドの生成を自動化するためにサンプル・スクリプトをユーザーのデータウェアハウスに適合させる方法を示すため、資料にはサンプル・シナリオが含まれています。