LOADDEST

標準データベース

特に追加キーワードはありません。 宛先が標準 Db2 データベースであることを指定できます。 これはデフォルト宛先であり、LOADDEST 節が明示的に指定されていない場合に考慮されます。 Db2 宛先は、出力形式 DEL、DELIMITED、ASC、IXF、DSNTIAUL、および XML と整合しています。

Db2 Load コマンドが LOADFILE 節で指定されたファイルに書き込まれる場合、そのようなファイルには以下が含まれます。

• オプションの Db2 接続ステップ (WITH STANDARD AUTH オプションが LOADDEST 節に指定されている場合)
• Db2 Load コマンド自体
• オプションの Db2 切断ステップ (WITH STANDARD AUTH オプションが LOADDEST 節に指定されている場合)

Db2 Load コマンドを認証ステップで準備する必要がある場合、その内容は alias オプションの指定に依存するかどうかによって異なります。 alias オプションが指定されている場合、このステップは、「db2hpu.dest」構成ファイル内の Db2 宛先の関連セクションに値を設定する必要があるさまざまなパラメーターの使用に基づいています。 alias オプションが指定されていない場合、「db2hpu.dest」構成ファイルでは何も設定しません。

自動マイグレーションを考慮する場合は、ローカル・タイプの資格情報を「db2hpu.creds」ファイルで定義する必要があります。

「alias」オプション

これは任意指定のオプションです。 このオプションの目的は、宛先の構成ファイル内で構成された Db2 宛先に関連するいくつかのセクションをサポートすることです。 別名は、それらのセクションを識別する手段となります。 その別名は、「db2hpu.dest」構成ファイル内で構成された考慮対象の宛先タイプに関連するセクションに設定された別名と一致しなければなりません。 値の大/小文字は区別されます。 このようなオプションを指定すると Optim™ High Performance Unload は、' db2hpu.dest ' 設定ファイルの中から、エイリアスを考慮した 'alias' パラメータが設定されている Db2 というセクションを検索する。

標準 Db2 宛先への自動データ・マイグレーションのシナリオを検討する場合は、対応する LOADDEST 節に適切な別名を指定するか、TARGET ENVIRONMENT 節を指定する必要があります。

標準 Db2 宛先を考慮する場合、別名を持つ LOADDEST 節と TARGET ENVIRONMENT 節を一緒に指定することはできません。

ローカルでカタログされたリモート・データベース

REMOTE キーワードを指定する必要があります。 これにより、宛先がローカルにカタログされたリモート Db2 環境であることを指定できます。 リモート Db2 宛先は、出力フォーマット DEL、DELIMITED、ASC、および IXF と整合しています。

LOADFILE 節と OUTFILE 節の両方がリモート Db2 宛先に関連付けられている場合、リモート・データベースの Db2 Load コマンドは絶対ファイル名を参照する必要があるため、OUTFILE 節には絶対パス指定が含まれている必要があります。

Db2 Load コマンドが LOADFILE 節で指定されたファイルに書き込まれる場合、そのようなファイルには以下が含まれます。

• オプションの Db2 接続ステップ (WITH STANDARD AUTH オプションが LOADDEST 節に指定されている場合)
• Db2 Load コマンド自体
• オプションの Db2 切断ステップ (WITH STANDARD AUTH オプションが LOADDEST 節に指定されている場合)

認証ステップを使用して Db2 Load コマンドを準備する必要がある場合、このステップは、「db2hpu.dest」構成ファイル内のリモート Db2 宛先のセクションに設定する必要があるさまざまなパラメーターの使用に基づいています。

自動マイグレーションを考慮する場合は、「db2hpu.creds」ファイル内にリモート・タイプの資格情報を定義する必要があります。

注: LOADMODE 節の WITH オプションは、リモート Db2 宛先と不整合です。

「ノード」オプション

これはオプションであり、REMOTE オプションを用いる場合にのみ指定できます。 このオプションの目的は、宛先の構成ファイル内に構成されているリモート Db2 ノードに関連するいくつかのセクションをサポートすることです。 ノード名は、それらのセクションを識別する手段となります。 これは、「db2hpu.dest」ファイルに構成されているリモート Db2 ノードの名前に対応している必要があります。 値の大/小文字は区別されます。 このようなオプションを指定すると、 Optim High Performance Unload 「 db2hpu.dest 」という設定ファイルの「 RemoteDB2 」というセクションを検索し、考慮するノード名が設定された「node」パラメータを見つけます。

このオプションが指定されていない場合、' db2hpu.dest ' 設定ファイル内で見つかった最初のセクション RemoteDB2 がタスクで考慮されます。 Optim High Performance Unload タスクに考慮されます。

Db2 Warehouse データベース

WAREHOUSE キーワードを指定する必要があります。 これにより、宛先が Db2 Warehouse 環境であることを指定できます。 WAREHOUSE オプションは、DEL 出力フォーマットおよび DELIMITED 出力フォーマットとのみ整合性があります。

IBM Db2 Warehouse on Cloud 環境 (IBM Bluemix®) と IBM Db2 Warehouse 環境の両方がサポートされます。 これらの環境に関する情報はすべてここで入手できる： https://www.ibm.com/us-en/marketplace/cloud-data-warehouse

LOADFILE 節を使用して指定するアップロード・コマンドを生成する必要がある場合は、以下の 2 つのツールを使用できます。

• CLPPlus。これは、 Db2 インストール済み環境のバイナリー・ディレクトリー、または Db2 Warehouse ドライバー・パッケージ ( IBM Web サイトからダウンロード可能) のいずれかにあります。
• cURL, 公式ウェブサイトからダウンロードできる http://curl.haxx.se/download.html

このような場合、生成されたファイルには以下の項目が含まれています。

• 任意指定の認証ステップ (WITH STANDARD AUTH オプションが LOADDEST 節に指定されている場合)
• アップロード・コマンド自体

自動マイグレーションを実行する場合、その基本的な実行は以下の 2 つの方式に基づくことができます。

• Db2 Load API の使用
• cURL ツールを使用する

アップロード・コマンドを Db2 Warehouse 宛先用に準備する必要がある場合、その生成は、「db2hpu.dest」構成ファイル内の考慮対象の Db2 Warehouse 宛先のセクションに設定する必要があるさまざまなパラメーターの使用に基づいています。

「alias」オプション

これは任意指定のオプションです。 このオプションの目的は、宛先用の構成ファイル内で指定の宛先に関連する複数のセクションをサポートすることです。 別名は、それらのセクションを識別する手段となります。 その別名は、「db2hpu.dest」ファイル内に構成された宛先タイプに関連するセクションに設定された別名と一致しなければなりません。 値の大/小文字は区別されます。 このようなオプションを指定すると、 Optim High Performance Unloaddb2hpu.dest ' 設定ファイルから、選択された宛先に対応するセクションを検索し、考慮したエイリアスで設定された 'alias' パラメータを含みます。

それ以外の場合、このオプションが指定されていない場合、 db2hpu.dest 設定ファイルで選択された宛先に該当する最初のセクションがタスクで考慮されます。 Optim High Performance Unload タスクによって考慮されます。

WITH STANDARD AUTH オプション:

標準の Db2 宛先、リモートの Db2 宛先、または CLPPlus ツールの使用に基づく Db2 Warehouse 宛先に関連するアンロード・タスクを検討する場合、WITH STANDARD AUTH オプションは LOADFILE 節で指定されたファイルの内容に影響を与えます。

LOADDEST 節が WITH STANDARD AUTH オプションとともに指定され、LOADDEST 節とともに LOADFILE 節も指定された場合は、生成されたファイル内に認証ステップが追加されます。

この認証ステップでは、当該 Db2 データベースへの接続を確立します。 生成されたコマンド・ファイルを実行すると、ユーザーのパスワードのプロンプトが出されます。また、関係するユーザーは、予期される Db2 Load コマンドを実行するための適切な権限を持っている必要があります。 Db2 Load コマンドの実行後、 Db2 データベースからの切断が実行されます。

宛先の種類に応じて、この認証ステップでは以下の情報が考慮されます。

• Db2 宛先の場合:
  • 別名が指定されている場合:
    • データベース名が考慮されます。データベース名が構成されている場合、これは dbname パラメーターから「db2hpu.dest」構成ファイルの関連セクションに取り込まれます。 代わりに、それは Optim High Performance Unload 制御ファイル（GLOBALブロック）または -d コマンドラインオプションから取得されます。
    • ユーザー名が考慮されます。ユーザー名が構成されている場合、これは user パラメーターから「db2hpu.dest」構成ファイルの関連セクションに取り込まれます。 代わりに、起動したユーザーが Optim High Performance Unload 撮影されます。
  • 別名が指定されていない場合:
    • データベース名が考慮されます。データベース名は、 Optim High Performance Unload コントロールファイル（GLOBALブロック）または -d コマンドラインオプションから取得されます。
    • ユーザー名が考慮されます。ユーザー名が構成されると、現在の Db2 インスタンスのローカル・セクション内の「db2hpu.creds」ファイルから取得されます。 代わりに、起動したユーザーが Optim High Performance Unload 撮影されます。
• リモート Db2 宛先の場合:
  • データベース名が考慮されます。 データベース名は「db2hpu.dest」構成ファイル内の dbname パラメーターから関連セクションに取り込まれます。
  • ユーザー名が考慮されます。ユーザー名が構成されている場合、これは user パラメーターから「db2hpu.dest」構成ファイルの関連セクションに取り込まれます。 代わりに、起動したユーザーが Optim High Performance Unload 撮影されます。
• Db2 Warehouse 宛先の場合:
  • ユーザー名が考慮されます。 ユーザー名はユーザー・パラメーターから「db2hpu.dest」構成ファイル内の関連セクションに取り込まれます。
  • アップロード・コマンドが CLPPlus ツールの使用に基づいている場合は、URL、ポート番号、およびデータベース名が考慮されます。 URL、ポート番号、およびデータベース名は、それぞれ url パラメーター、ポート・パラメーター、および DB 名パラメーターから「db2hpu.dest」構成ファイル内の関連セクションに取り込まれます。

アンロード・タスクを考慮する場合、 cURL ツールの使用に基づく Db2 Warehouse 宛先を基準とすると、WITH STANDARD AUTH オプションは LOADFILE 節で指定されたファイルの内容に影響します。 WITH STANDARD AUTH オプションで LOADDEST 節が指定されていて、LOADFILE 節も指定されている場合は、パスワードの難読化プロンプトのために予備ステップが追加されます。

標準またはリモート Db2 データベースへの自動マイグレーションを実行する場合、認証オプションを指定することは必須ではありませんが、デフォルトで内部的に設定されます。 Db2 Warehouse 宛先への自動マイグレーションを実行する場合は、標準認証方式を指定する必要があります。 このようなマイグレーションのケースでは、セキュリティー上の理由により認証方式を適用する必要があります。 考慮対象の宛先用に適切な資格情報を作成しなければなりません。

サポートされる NoSQL データベースは Cloudant、CouchDB、および MongoDB です。 これらはそれぞれ CLOUDANT キーワード、COUCHDB キーワード、および MONGODB キーワードを使用して指定できます。 これらの NoSQL データベースに関する情報はすべて、以下の場所から入手できます。

• Cloudant: http://www.cloudant.com
• CouchDB: http://www.couchdb.apache.org
• MongoDB: http://www.mongodb.org

LOADDEST 節で NOSQL_DB オプションが指定されている場合、生成された JSON 出力ファイルは、選択された NoSQL 宛先と整合性があります。 また、その場合、そのファイルには、適切な追加のヘッダーおよびフッターが含まれます。 アップロード・コマンドも作成する必要がある場合、そのコマンドの性質もまた、選択された同じ宛先と整合性があります。 NoSQL 宛先の場合、当該コマンドは、選択された有効な宛先に応じたアップロード・ツールの使用に基づいて決まります。

• Cloudant で、 そのツールは (公式ウェブサイトからダウンロードできます) CouchDB: cURL http://curl.haxx.se/download.html )
• MongoDB: 関係するツールは mongoimport です (公式ウェブサイトから バイナリのパッケージとしてダウンロードできます)。 MongoDB https://www.mongodb.org/downloads )

NoSQL 宛先に関しては、LOADFILE 節を使用して指定されたファイルにアップロード・コマンドが書き込まれている場合、このファイルには次の項目が含まれます。

• オプション認証ステップ (WITH STANDARD/KERBEROS AUTH オプションが LOADDEST 節に指定されている場合)
• アップロード・コマンド自体

Hadoop 宛先を操作するには、この宛先へのアップロード・コマンドが起動されるマシン上に Hadoop 環境がインストールされていて正しく機能していなければなりません。 使用目的によっては、以下のパッケージ (デフォルトで Hadoop 環境に必ずインストールされるとは限らない) が必要になることがあります。

• Apache HBase: http://hbase.apache.org
• Apache Hive: http://hive.apache.org/downloads.html
• Apache 豚だ： http://pig.apache.org/releases.html

Hadoop 宛先用にアップロード・コマンドを作成する必要があるときは、LOADDEST 節で HADOOP オプションを指定する必要があります。 このオプションを指定しないと、生成される出力ファイルの内容に LOADDEST 節が作用しないため、LOADDEST 節で Hadoop 宛先を指定しても無効になります。

アップロード・コマンドが作成されると、そのコマンドの性質は、選択された宛先と整合します。 Hadoop 宛先の場合、当該コマンドは、選択された有効な宛先キーワードに応じたアップロード・ツールの使用に基づいて決まります。

• HBASE: 関係するツールは hadoop または pig です
• HIVE: 関係するツールは beeline です (Hive 0.14 バージョン以上と互換性があります)
• HDFS: 関係するツールは hdfs です
• MAPREDUCE: 関係するツールは hadoop です

Hadoop 宛先に関しては、LOADFILE 節を使用して指定されたファイルにアップロード・コマンドが書き込まれている場合、このファイルには次の項目が含まれます。

• オプション認証ステップ (WITH KERBEROS AUTH オプションが LOADDEST 節を使用して指定されている場合)
• LOADDEST 節に HDFS 以外の宛先キーワードが指定されている場合に、関連する HDFS ファイル・システムにある一時ファイルにアップロード対象のデータ・ファイルをコピーするためのステップ
• アップロード・コマンド自体
• LOADDEST 節に宛先キーワード HBASE または MAPREDUCE が指定されている場合に、直前のコピー・ステップで作成された一時ファイルを削除するステップ (HIVE 宛先キーワードが指定されているときは、実行されたアップロード・コマンドによって一時ファイルが自動的に削除されるため、このステップは存在しません)

LOADFILE 節を使用して指定されたファイルにアップロード・コマンドを書き込む場合、そのファイルには以下が含まれます。

• 任意指定の認証ステップ (WITH STANDARD AUTH オプションが LOADDEST 節に指定されている場合)
• アップロード・コマンド自体

通常、ビッグデータ環境へのアクセスは認証メカニズムによって保護されています。 このため、この環境にデータを正常にアップロードするには、適切な認証ステップが必要になります。 WITH STANDARD/KERBEROS AUTH オプションを使用すれば、関係する認証メカニズムを指し示すことができます。 2 つのタイプの方式がサポートされています。それぞれ以下の 2 つのキーワードが使用されます。

• STANDARD キーワード: これは標準方式を指し示します (従来のユーザー/パスワードの組み合わせが使用されます)
• KERBEROS キーワード: これは Kerberos 方式を指し示します (Kerberos プリンシパルが使用されます)

NoSQL,、 Hadoop、 Db2 Warehouse、 PostgreSQL の宛先については、使用上の制約事項がありますので、以下に記載します

• UTF-8 エンコーディング： Optim High Performance Unload これらの宛先にアップロードするファイルを生成する際には、 UTF-8 エンコーディングを使用する必要があります。 NoSQL 宛先または Hadoop 宛先に関する実行では、これらの宛先が UTF-8 以外のエンコードをサポートしていないためです。 Db2 Warehouse 宛先に対して実行する場合、その理由は、基礎となる Db2 データベースが UTF-8 エンコードで暗黙的に作成されるためです。 そのため、問題を回避するために、これらの宛先すべてについて、 NoSQL,、 Hadoop、または Db2 Warehouse 宛先用の制御ファイルで UTF-8 とは異なるエンコード指定が行われた場合、その指定は無視され、内部的に強制的に UTF-8
• Hive 宛先が考慮される場合に、多くの日付形式とタイム・スタンプ形式は、この宛先の日付データ型やタイム・スタンプ・データ型と不整合です。 以下は Optim High Performance Unload に存在し、 Hive 宛先でサポートされているこれらのデータ型の形式のリストです。
  • サポートされている固有の日付データ型形式は DATE_C です。
  • サポートされているタイム・スタンプ・データ型形式は TIMESTAMP_A と TIMESTAMP_G です。 TIMESTAMP_A 形式が考慮される場合は、Hive 宛先と整合するように、時刻区切り文字やタイム・スタンプ区切り文字を変更する必要があります。 この場合は、TIMEDELIM 節に「:」値を設定して時刻区切り文字を指定する必要があります。 また、TIMESTAMPDELIM 節の最初の値にスペース文字を設定してタイム・スタンプ区切り文字を指定する必要があります。 このとき、TIMESTAMPDELIM 節の 2 番目の値は無視されます。

  このような形式を変更するには、出力ファイルの出力形式を DELIMITED に設定する必要があります。

• CLPPlus ツールを使用して Db2 Warehouse 宛先を検討する場合、ほとんどの日付、時刻、およびタイム・スタンプの形式はこのツールと不整合です。 以下は、このツールでサポートされているデータタイプとフォーマットの一覧です Optim High Performance Unload、このツールでサポートされているものは以下の通りです
  • サポートされている固有の日付データ型形式は DATE_C です。
  • サポートされている時刻データ型形式は TIME_A と TIME_B です。 これらの形式のデフォルト区切り文字はドット文字です。 コロン文字は、 Db2 Warehouseによる時刻値の区切り文字としてもサポートされています。 TIMEDELIM 節に「:」値を設定すれば、コロン文字の使用を指定できます。
  • サポートされているタイム・スタンプ・データ型形式は TIMESTAMP_A、TIMESTAMP_B、および TIMESTAMP_G です。

  このような形式を変更するには、出力ファイルの出力形式を DELIMITED に設定する必要があります。

• PostgreSQL 宛先の場合、日付、時刻、およびタイム・スタンプの形式の多くは、この宛先の日付、時刻、およびタイム・スタンプのデータ型と整合性がありません。 以下は Optim High Performance Unload に存在し、 PostgreSQL 宛先でサポートされているこれらのデータ型の形式のリストです。
  • サポートされている固有の日付データ型形式は DATE_C です。
  • サポートされている固有の時刻データ型形式は TIME_F です。
  • サポートされている固有のタイム・スタンプ・データ型形式は TIMESTAMP_G です。
  このような形式を変更するには、出力ファイルの出力形式を DELIMITED に設定する必要があります。
• Windows プラットフォームで生成されたアップロード・コマンドを含むファイルに適用される命名規則: これらのプラットフォームでは、ファイルを正常に実行するために、実行する必要のあるファイルの名前に接尾部として「.bat」を付加する必要があります。 Windows プラットフォーム上でアップロード・コマンド・ファイルを生成するときに、LOADFILE 節を使用してファイルに指定された名前がこのような「.bat」接尾部で終了していない場合は、対応するアップロード・コマンド・ファイルの作成時に使用された名前に、この接尾部が自動的に付加されます。
• ユーザー定義の MapReduce プログラムの使用に関連する制限: アップロード・コマンドの生成に独自の MapReduce を使用するには、LOADDEST 節で MAPREDUCE キーワードを指定し、db2hpu.dest 構成ファイル内において MapReduce 宛先に関するセクションに関連「command」パラメーターを設定します。 このパラメーターに対して指定するストリングは特定のパターンに従っていなければなりません。 必要なパターンは以下のとおりです。
  • ストリングは考慮対象の MapReduce プログラムの名前で始まっていなければなりません。これは jar ファイルとしてパッケージされていなければなりません。
  • その後に、MapReduce プログラムに渡される可能性があるオプションを含む任意指定の部分が続かなければなりません。
  • その後に、関連するアップロード・コマンドの生成時に自動的に追加されるアップロード対象データ・ファイルが指定されることが期待されなければなりません。

この使用方法の具体例を以下に示します。 以下の LOADDEST 節があるとします。

LOADDEST(HADOOP MAPREDUCE)

db2hpu.dest 構成ファイル内の関連宛先セクションは以下のとおりです。

[MapReduce]
command=/tmp/myMR.jar --input
hdfspath=/tmp/
       

ここで、それぞれ以下のとおりです。

1. MapReduce プログラムの実体は myMR.jar です
2. --input オプションは MapReduce プログラムのオプションであり、この後に処理対象のデータ・ファイルが指定されることが期待されます

OUTFILE 節が以下のような場合:

OUTFILE("outfile")

生成されるアップロード・コマンドは次のようになります:

hadoop jar /tmp/myMR.jar --input /tmp/outfile