DataStage ・ジョブのマイグレーション

ジョブ情報を含む ISX ファイルを作成してインポートすることにより、 DataStage ジョブをマイグレーションできます。該当する場合は、その他のマイグレーション後タスクを完了します。

マイグレーションの前に、 DataStage® インスタンスのストレージをセットアップ、スケーリング、およびプロビジョンしてください。詳しくは、 DataStage の管理を参照してください。

手順

DataStage をマイグレーションするには、以下のタスクを実行します。 ISX ファイルをインポートした後、マイグレーションしたジョブの接続、ステージ、およびその他のコンポーネントに応じて、他のタスクが適用される場合があります。

ISX ファイルの作成およびインポート

以下の表にリストされているいずれかの方法を使用して、エクスポート ISX ファイルを作成します。

オプション	説明
ISTOOL	ISTOOL を使用して ISX ファイルを作成し、ファイルをエクスポートします。手順については、InfoSphere DataStage 資産および QualityStage 資産のエクスポート・コマンドならびに Information Server コンポーネントをエクスポート・インポートするための ISTOOL の使用方法を参照してください。
MettleCI	MettleCI S2PX ツールを使用して、サーバー・ジョブのデザインを同等のパラレル・ジョブのデザインに変換し、その結果の資産の ISX ファイルをエクスポートします。詳しくは、 MettleCI docs を参照してください。
InfoSphere Information Server Manager GUI クライアント	ISX ファイルをエクスポートするには、Information Server Manager GUI クライアントを使用します。詳しい手順については、「資産のエクスポート」を参照してください

注: ISX ファイル・エクスポートに、パラメーター・セットや表定義などの依存関係が含まれていることを確認します。フォルダー・サポートが有効になっている場合、インポート時にフォルダー構造が再作成されます。

注: をインポートする前に、、、およびインスタンス・サイズなどのサービスをスケールアップすることをお勧めします。 DataStageOrchestration Pipelines大ISX ファイル。マイグレーション後は、必要なリソースが少なくなり、スケールダウンできます。大きいインスタンス・サイズでも問題が発生する場合は、構成をカスタマイズする必要がある場合があります。詳しくは、 #reference_mwl_byg_wpb__largeisx を参照してください。 troubleshooting.html

ISX ファイルをインポートするには、以下のステップを実行します。

既存のプロジェクトを開くか、新規プロジェクトを作成します。
プロジェクトの資産タブで、新規資産 > グラフィカル・ビルダー > DataStage をクリックします。
ローカル・ファイルタブをクリックし、ローカル・コンピューターから ISX ファイルをアップロードします。次に「作成」をクリックします。
注: ISX ファイルは、デスクトップまたはネットワーク・ドライブ上に存在している必要があります。別のアプリケーションから添付ファイルとしてファイルをドラッグしないでください。

資産インポート・レポートには、 ISX インポートのトラブルシューティングに使用できる状況情報とエラー・メッセージが含まれています。レポートの表示と使用、およびトラブルシューティングについては、 Asset import report (DataStage) を参照してください。

接続のマイグレーション

マイグレーションされたジョブに接続が含まれている場合は、接続のマイグレーション DataStage で情報を参照してください。

ステージのマイグレーション

表 1. ステージとそのマイグレーションの考慮事項。
ステージ	考慮事項
CDC Connector	マイグレーションは現在サポートされていません。
BAPI ステージ ABAP Extract ステージ Delta Extract ステージ IDoc Load Connector ステージおよび IDoc Extract Connector ステージ	前提条件を満たしている場合、マイグレーションはサポートされます。これらのコネクターを含むジョブについては、それぞれのマイグレーション技術情報を参照してください。ジョブの設計と、マイグレーションに適用されるプロパティーを確認します。以下の SAP コネクターは使用可能であり、さらに多くの機能があります。 SAP BAPI SAP Bulk Extract SAP Delta Extract SAP IDoc
XML Input XML 出力 XML トランフォーマー	考慮事項については、以下のトピックを参照してください。マイグレーション後の XML ファイルの場所の変更マイグレーション後の Hierarchical ステージの構成
カスタム・ステージ	考慮事項については、以下のトピックを参照してください。カスタム・ステージを含む DataStage ・フローをマイグレーションした後のオペレーター・ライブラリー・ファイルのアップロード
Java Transformer	考慮事項については、以下のトピックを参照してください。従来の DataStage からの Java Transformer stage のマイグレーション
Web サービストランフォーマー Web サービス・クライアント	考慮事項については、以下のトピックを参照してください。従来の DataStage からの Web Service トランフォーマーステージおよび Web Service Client ステージのマイグレーション
Information Services Director 入力 Information Services Director 出力	データ・サービス・コネクターに自動的に変換されます。
データ・ルール	`cpdctl dsjob` CLI を使用して、 Data Rules ステージを DataStage に品質ルールとしてマイグレーションできます。 DataStage での Data Rules ステージの IBM Knowledge Catalog 品質ルールとしてのマイグレーションの有効化を参照してください。
PxSurrogateKeyGenerator	このステージを含む従来の DataStage からジョブをマイグレーションする場合、ステージに入力リンクと出力リンクの両方があると、ステージは自動的に Surrogate Key Generator stage の PxSurrogateKeyGeneratorN タイプに変換されます。マイグレーション後に、新しい代理キー・ファイルを手動で作成する必要があります。新規サロゲート・キー・ファイルを手動で作成するには、以下の手順とファイル名の例を参照してください。マイグレーションされたジョブを modern でコンパイルします。「キー状態ファイルが見つかりませんでした:」というエラーが生成されます。 Surrogate_Key_Generator_1." 次のステップで使用するために、ファイル名を記録します。 SKG ステージを含む別の DataStage ・フローを作成して、鍵ファイルを作成します。新規フロー内の SKG ステージのプロパティーにあるソース名フィールドの値として、記録した名前を使用します。新規フローをコンパイルして実行し、鍵ファイル Surrogate_Key_Generator_1 を作成します。鍵ファイルが作成されると、マイグレーションされたジョブをコンパイルして実行できます。
住所確認	`ds-storage` PVC に参照データ・ファイルをインストールします。
ストアード・プロシージャー	ストアード・プロシージャーは、対応するプラットフォーム・コネクターにマイグレーションされます。 Db2® タイプのコネクター上のすべてのストアード・プロシージャーは、 Db2 for i や Db2 for z/OS® などのコネクターのストアード・プロシージャーを含め、標準の Db2 コネクターにマイグレーションされます。 Db2 コネクターを正しいコネクター・タイプに手動で置き換え、ストアード・プロシージャー呼び出しをコピーします。関数およびカーソル・タイプ・パラメーターは出力パラメーターにマイグレーションされます。以下の場合、手順はそのまま残され、マイグレーション後に新しい構文に一致するように更新する必要があります。入出力パラメーターを検出できません SAP ASE のユーザー定義プロシージャー ProcMess 列を Microsoft SQL Server に追加するには、マイグレーション前に「プロシージャー状況をリンクにする」を選択解除し、マイグレーション後に「スキーマにプロシージャー戻り値を追加する」を選択します。詳しくは、ストアード・プロシージャーの使用 DataStage を参照してください。
除外	例外ステージは自動的に Peek ステージに変換されます。 Data Rules ステージが品質ルールとしてマイグレーションされると、品質ルール自体が例外を処理できます。

パラメーター・セットおよび PROJDEF 値の確認

パラメーター・セットを確認し、マイグレーション後にデフォルト値が正しいことを確認します。

PROJDEF パラメーター・セットは、マイグレーションによって作成および更新されます。ジョブを PROJDEF パラメーター・セットとともにマイグレーションする場合は、 PROJDEF パラメーター・セットを確認し、そのデフォルト値を指定してください。その後、フローおよびジョブ実行内で、 $PROJDEF のパラメーター値は、 PROJDEF パラメーター・セットの値を使用します。

PROJDEF パラメーター値が DSParams ファイルに定義されている場合は、 cpdctl dsjob create-dsparams コマンドを使用して、それらの値をプロジェクトのランタイム環境に転送します。詳しくは、 DSParams を参照してください。

dsjob コマンド行インターフェースを使用するスクリプトの更新

dsjob を使用してジョブを実行するスクリプトがある場合は、以下のステップを実行して、 dsjob の呼び出しを更新します。

cpdctl のダウンロード: https://github.com/IBM/cpdctl/releases/

ソース・シェル・スクリプト (source.sh) を作成して、cpdctl を構成します。暗号鍵のテキスト・ファイル key.txt を作成します。次の例を参照してください。

#!/bin/bash
export CPDCTL_ENCRYPTION_KEY_PATH=~/key.txt
export DSJOB_URL=https://example.com
export DSJOB_ZEN_URL=https://example.com
export CPDCTL_ENABLE_DSJOB=true
export CPDCTL_ENABLE_DATASTAGE=true
export DSJOB_USER=admin
export DSJOB_PWD=<Password>
cpdctl config user set dscpserver-user --username $DSJOB_USER --password $DSJOB_PWD
cpdctl config profile set dscpserver-profile --url $DSJOB_URL
cpdctl config context set dscpserver-context --user dscpserver-user --profile dscpserver-profile
cpdctl config context use dscpserver-context


cpdctl dsjob list-projects

dsjob への参照を cpdctl dsjob に変更します。 DataStage コマンド行スタイルに合わせてコマンド行オプションを調整する必要がある場合があります。 DataStage コマンド行ツールを参照してください。

シーケンス・ジョブのマイグレーション

ISX ファイルをインポートして、シーケンス・ジョブをパイプライン・フローにマイグレーションできます。 CEL で式を書き直し、一部のパイプライン・ノードの値を手動で再選択します。その他の考慮事項については、以下のトピックを参照してください。でフローを順番に実行 Orchestration Pipelines および。のパイプライン・フローのマイグレーションおよび構成 DataStage BASIC ルーチンをスクリプトとして書き直す方法については、 BASIC ルーチンのマイグレーションを参照してください。 DataStage

ジョブ前サブルーチンおよびジョブ後サブルーチンのルーチン・コードを書き直す

ジョブ前およびジョブ後のサブルーチンをマイグレーションする場合、ルーチン・コードは /ds-storage/projects/<projectName>/scripts/DSU.<RoutineName>.sh の下の .sh スクリプトに保管されます。『 DataStage での BASIC ルーチンの移行』の手順に従って、出力引数を取得するのと同じ方法でルーチン・コードを書き直しますが、 before/after-ジョブサブルーチンの exit ステートメントを組み込みます。次の例を参照してください。

# TODO: Update the following json string and print it as the last line of the standard output.

ErrorCode=0
echo "{\"ErrorCode\":\"$ErrorCode\"}"
exit $ErrorCode

環境変数の確認

APT_CONFIG_FILE: 最新バージョンの DataStage では、デフォルトで動的構成ファイル生成が使用されます。マイグレーションされたフローに APT_CONFIG_FILE 環境変数が含まれている場合は、この変数設定を確認して削除するか、 /px-storage またはその他のアクセス可能な永続ボリューム上にこの変数を作成して、元のジョブを実行する必要があります。詳しくは、『 APT_CONFIG_FILE 環境変数の作成と設定』』を参照してください。

データ・タイプ、データ・セット、ファイル・セット、 dsenv ファイル、およびユーザー定義関数の更新

データ・タイプ

従来の DataStage のほとんどのタイプのデータは、最新の DataStage の同じデータ・タイプにマップされます。パス名タイプのデータは、パス・タイプにマップされます。

データ・セットおよびファイル・セット

次の 2 つのオプションから選択できます。

ソース・ジョブによって参照されるソース・データ・セットおよびファイル・セットを、対応するロケーション内のターゲット・クラスターに移動します。例えば、 ds-storage PVC にデータ・セットをコピーできます。
データ・セットおよびファイル・セットを生成した元のジョブを見つけ、ターゲット・ロケーションを更新し、それらのジョブを再実行して、参照データ・セットおよびファイル・セットを再作成します。

dsjob コマンド行ユーティリティーは、 orchadmin に置き換わります。詳しくは、 DataStage コマンド行ツールのデータ・セット・コマンドを参照してください。

dsenv ファイル

以下のステップを実行します。

dsenv ファイル内にある特殊な環境変数またはパラメーターをプロジェクト・ランタイム環境に追加します。
dsenv ファイルをアーカイブして削除します。

ユーザー定義関数

パラレル・ルーチンを含むジョブを従来の DataStage, からマイグレーションする場合は、最新の DataStage の Transformer stage でユーザー定義関数を使用できるようにするために、関数ライブラリーを作成する必要があります。

パラレル・ルーチンが指す既存の .so ファイルから新規関数ライブラリーを作成します。次に、使用する各関数の戻りデータ・タイプを設定して、ライブラリーを構成します。詳しくは、ユーザー定義関数を含む DataStage ・フローをマイグレーションする前にライブラリー・ファイルをアップロードするを参照してください。