複雑なフラットファイル DataStage

コンプレックス・フラット・ファイル（CFF）コネクタは、ファイル・コネクタです。コネクタは、ファイルの読み取りまたはファイルへの書き込みに使用できますが、同じコネクタを両方の処理に使用することはできません。

ソースとして、CFFコネクタは単一の入力リンク、複数の出力リンク、および単一のリジェクトリンクを持つことができる。 QSAMおよびVSAMファイルによる MVS データセットを含む、1つまたは複数の複雑なフラットファイルからデータを読み込むことができます。また、複数のレコードタイプを含むファイルからデータを読み取ることもできる。ソース・データには、以下の節を 1 つ以上含めることができます：

グループ
REDEFINES
OCCURS
に依存する

注： CFFコネクタは、読み取りではOCCURS DEPENDING ON句をサポートしていますが、書き込みでは完全にはサポートしていません。

CFF ソースコネクタは、複数のファイルの読み取りに使用される場合、並列モードで動作します。 1つのリーダで1つのファイルだけを読み込む場合、コネクタをシーケンシャルに実行するように設定できます。

ターゲットとして、CFFコネクターは単一のインプットリンクと単一のリジェクトリンクを持つことができる。 1つまたは複数の複雑なフラットファイルにデータを書き込むことができます。 MVS、複数のレコード・タイプを含むファイルには書き込めません。

CFFコネクタは、ファイル名が hdfs:// で始まる場合、 hdfs ファイルを認識することができます。例えば、ファイル名が /tmp/input.txt の場合、 File name(s) フィールドに hdfs:///tmp/input.txt を指定する必要があります。

Kerberos 環境でファイル・パターンを使用するには、以下の環境変数を追加する必要があるかもしれない：

APT_IMPEXP_HDFS_USER=dsadm