Lift CLIで、クラウド上のIBM Db2ウェアハウスにデータを移行するには?

IBM PureData System for Analytics(Netezza)データベースからデータを移行する場合は、まず「lift extract」を使用してローカルでデータベース表をCSVファイルに抽出し、 次に、「lift put」を使用してそのファイルをIBM Db2 Warehouse on Cloudのランディング・ゾーンに転送します。IBM Db2 Warehouse on Cloudのランディング・ゾーンは、データのロードとスクラッチに使用される割り振り済みのボリュームです。最後に、アップロードされたCSVデータ・ファイルを「lift load」を使用してエンジンにロードします。ロードが完了したら、「lift rm」を使用してデータ・ファイルを削除できます。

CSVファイルのセットを移行する場合は、上記と同様の一連のステップを実行します。まず、「lift put」を使用してCSVデータ・ファイルをIBM Db2 Warehouse on Cloudのランディング・ゾーンに転送します。Db2 Warehouse on Cloudのランディング・ゾーンは、データのロードおよびスクラッチに使用される割り振り済みのボリュームです。最後に、アップロードされたCSVデータ・ファイルを「lift load」を使用してエンジンにロードします。ロードが完了したら、「lift rm」を使用してデータ・ファイルを削除できます。

移行できるデータベース・サイズに制限はありますか?

いいえ、任意のサイズのデータベースを移行できます。ただし、データベース移行の所要時間は、ネットワーク接続速度、移動する非圧縮データのボリューム、およびソース・コンピューターとターゲット・コンピューターのハードウェア・プロファイルによって異なるので注意してください。つまり、移行効率は状況によって異なります。

移行できるデータベース成果物は何ですか?

Lift CLIは、表またはCSVファイルをIBM Cloudのデータ・ターゲットに移行します。表、ビュー、ストアード・プロシージャーなどの他のデータベース成果物を移行する必要がある場合は、IBM Database Conversion Workbenchを使用してください。

最高のパフォーマンスを得るには、CLIパッケージをどこにインストールすればいいですか?

ご使用のデータベース・ソースに対してネットワーク的に近接(遅延が最小)であるマシンにCLIをインストールして実行することをお勧めします。これにより、データがオンプレミス環境でより高速で抽出、ステージングされるようになり、エンドツーエンドのデータ移行時間全体が短縮されます。

オンプレミス・システムではどのネットワーク・ポートを開く必要がありますか?

Lift CLIを実行しているマシン上で、以下のポートを開く必要があります。

目的 プロトコル 方向 宛先 ポート
Aspera転送 TCP アウトバウンド インターネット 33001*
Aspera転送 UDP アウトバウンド インターネット 33001*
Db2 Warehouse on CloudのSSL保護されたJDBC TCP アウトバウンド インターネット 50001
Db2 Warehouse on CloudのREST Load API TCP アウトバウンド インターネット 8443
Liftのコア・サービス TCP アウトバウンド インターネット 443

 

*Lift CLIがポート33001上でDb2 Warehouse on Cloudクラスターに対するアウトバウンド接続を開始すると、返されたトラフィックが着信します。ローカル・ポートは一時ポート範囲の 1 つとなり、オペレーティング・システムによってランダムに選択されます。最近のファイアウォールはすべてステートフル(つまり接続または状態を認識)であるため、通常は、いずれのインバウンド・ポートも開く必要はありません。 

データを抽出するためにどのようなオンプレミス・ストレージ要件がありますか?

LinuxおよびMacOSの場合、最小ストレージは、最大の表のディスク上のサイズ(非圧縮)以上でなければなりません。

Windowsの場合、最小ストレージは、最大の表のディスク上のサイズ(非圧縮)の2倍以上でなければなりません。

Db2 Warehouse on Cloud for Analyticsのランディング・ゾーンに最大サイズの表が収まる十分なディスク・スペースがない場合、どうすればいいですか?

「lift df」を実行して、Db2 Warehouse on Cloud for Analyticsのランディング・ゾーンの使用可能なディスク・スペースを確認できます。「lift rm」を実行してスペースを解放することができます。それでも十分なスペースがない場合は、表を複数のファイル・チャンクに分割し、「lift extract –size」オプションを使用してそれらを個別にアップロードできます。

Liftが高速だということは分かりますが、帯域幅が制限されたネットワークで使用する場合に、アップロードを低速で行うことはできますか?

とんでもないです。「lift put --max-throughput」オプションを使用することで、データ転送に使用されるスループットを制限できます。

データベースの資格情報やその他の一般オプションを毎回入力したくありません。これらを環境変数として設定するなど、どこかに保管して参照することはできますか?

はい。 接続資格情報を環境変数として設定できます。また、プロパティー・ファイルを作成し、そこでデータベース資格情報と一般オプションを指定することもできます。Lift CLIでサポートされるオプションのリストを表示するには、「lift help <command」コマンドを参照してください。

HIPAAで規制されているデータに対してIBM Lift CLIを使用できますか?

IBM Lift CLIは、お客様がデータ管理者として、技術的および組織的なセキュリティー手段が、処理によって生じるリスクと保護されるデータの性質に適合していると判断した場合には、HIPAAで規制される保護対象保健情報を処理するために使用できます。IBM Lift CLIは、追加の規制要件が適用されるデータを処理するようには設計されていません。

CLIでHTTPプロキシーを使用するようにLiftを構成するにはどうすればいいですか?

Lift CLIのインストール済み環境のbinディレクトリー(<Lift CLIのインストール・ディレクトリー>/bin)内にある「lift.environment」という環境構成ファイルを以下の内容で作成することで、HTTPプロキシー構成を追加できます。

プロキシー・ホストを構成するには、「proxy.host =<ホスト名>」を使用します。プロキシー・ポートを構成するには、「proxy.port =<ポート番号>」を使用します。設定を有効にするには、両方を指定する必要があります。プロキシーで認証が必要な場合、「proxy.user =<ユーザー>」および「proxy.password =<パスワード>」を指定すると、Lift CLIは接続要求で基本認証を使用します。認証設定を有効にするには、両方を指定する必要があります。

<Lift CLIのインストール・ディレクトリー>/bin/lift.environment の内容の例(各プロパティーは新規行として指定します):

proxy.host =myproxy.host

proxy.port =3029

proxy.user =myproxyuser

proxy.password =proxypassword

Lift CLI用の新規のX509証明書をトラステッド証明書のリストに追加するには、どうすればいいですか?

Lift CLIのインストール済み環境のbinディレクトリー(<Lift CLIのインストール・ディレクトリー>/bin)内にある「lift.environment」という環境プロパティー・ファイルを以下の内容で作成することで、インポートするX509証明書をトラストストアに追加できます。

プロキシー・ホストを構成するには、「proxy.certificate.path =<X509証明書ファイルの完全修飾パス>」を使用します。

証明書は、別名ibm-lift-imported-proxy-certで追加されます。別名が既に存在する場合、ファイルはインポートされず、CLIを再実行する前に手動で削除する必要があります。<Lift Lift CLIのインストール・ディレクトリー>/jre/lib/security/cacertsにあるLift CLI JavaトラストストアのJava keytool(keytool -delete -alias ibm-lift-imported-proxy-cert -keystore <Lift CLIのインストール・ディレクトリー>/jre/lib/security/cacerts -storepass changeit)を使用して、証明書を削除できます。

Lift CLIをPureData System for Analyticsに直接インストールすることはできますか?

はい、Lift CLIをPureData System for Analyticsにインストールすることはできます。ただし、抽出したデータ用の十分なステージング・ディスク・スペースを提供するために、追加のストレージを接続する必要があります。

PureData System for Analytics用の追加ストレージを接続および構成するためのベスト・プラクティスはありますか?

以下の技術情報は、PureData Systems for AnalyticsにSAN/NFSシステムをマウントするための手順を提供しています。また、PureData System for Analytics用の追加ストレージを接続および構成するためのベスト・プラクティスも示されています。

1. Adding SAN storage to PureData System for Analytics: http://www.ibm.com/support/docview.wss?uid=swg21700900 (英語)

2. IBM PureData System for Analytics: Mounting NFS on the appliance: http://www.ibm.com/support/docview.wss?qid=63d511603b6e6fb3a0216ea69fc0d500&uid=swg21568933 (英語)

3. Mounting NFS filesystem on PureData for Analytics systems: http://www.ibm.com/support/docview.wss?qid=a9cf4df18f89517d8338b99a8743f522&uid=swg21971589 (英語)

IBM PureData System for Analyticsのソースを使用している場合、オンプレミス・システムのどの部分にLift CLIをインストールすればいいですか?

PureData System for Analyticsのソース用にLift CLIをインストールする場合は、Lift CLIを「インジェクション」システム(PureData System for Analyticsデータベースにロードするデータのステージングに使用するシステム)にインストールします。このシステムは、PureData System for Analyticsとの接続性が良く、データをステージングするための多くのディスク・スペースを備えています。ただし、ご使用のインジェクション・システムが既に完全にロードされている場合は、同様のシステム(同様に接続され、十分なステージング・ディスク・スペースを備えたシステム)にLift CLIをインストールしてください。

IBM PureData System for Analyticsをソースとして使用している場合に最適なスループットを得るには、Lift CLIをどこにインストールすればいいですか?

LinuxマシンにLift CLIをインストールすることを強くお勧めします。Lift CLIをLinuxマシンにインストールすると、PureData System for Analyticsソースからのデータ抽出の実行に高速アンロード機能が使用されます。ご使用のソースがPureData System for Analyticsである場合に、全体のスループットを大幅に向上させるには、Lift CLIをLinuxにインストールしてください。

IBM Db2 for Linux, UNIX and Windowsをソースとして使用している場合に最適なスループットを得るには、Lift CLIをどこにインストールすればいいですか?

Db2クライアントがインストールされたLinuxマシンにLift CLIをインストールすることを強くお勧めします。Db2クライアントを搭載したLinuxマシンにLift CLIをインストールすると、全体のスループットが大幅に向上します。Lift CLIがDb2クライアントの検出に失敗した場合は、別の抽出方法が使用され、スループットが低下する可能性があります。Lift CLIがインストールされたマシン上でDb2クライアントが使用できない場合、コンソールにメッセージ「Liftは低速でデータを抽出しています。抽出時間を改善するには、Db2クライアントをインストールして構成してください。詳しくは、http://ibm.biz/BdZcFpを参照してください」(リンク先はIBM外部のサイト)が出力されます。

IBM Db2 for Linux, UNIX and Windowsからのデータ抽出のパフォーマンスを向上させるために、Db2クライアントにはどのような要件がありますか?

Lift CLIでDb2クライアントを使用するための前提条件:

1. Db2(Linuxの場合)コマンドまたはDb2cmd(Windowsの場合)コマンドが、PATHの通ったところにある必要があります。

  • Linux: Lift CLIを実行する前に、<INSTANCE_OWNER_HOME>/sqllib/db2profileを環境に適用する必要があります。
  • Windows: Db2クライアントがデフォルト・インスタンスに設定されている必要があります。

2. Lift CLIがIBM Db2 for Linux UNIX and Windowsサーバーからリモートで実行される場合、OSユーザーがDb2クライアント・インスタンスのSYSADMグループに属している必要があります。

3. Db2クライアントのバージョンが、IBM Db2 for Linux UNIX and Windowsサーバーのバージョン以上である必要があります。

非表示の列が含まれる表をDb2ソース・データベースから移行することはできますか?

はい。 Lift CLIでは、非表示の列の抽出をサポートしています。デフォルトでは、非表示の列は抽出されるCSVファイルに含まれません。抽出するデータに非表示の列を含める場合は、列選択オプションを使用して、非表示の列名に加えてすべての列名を明示的に指定します。列選択オプションについて詳しくは、「lift extract –help」を参照してください。

Oracleサーバーからのデータ抽出パフォーマンスを向上させるため、Oracleクライアントにはどのような要件がありますか?

Lift CLIでOracleクライアントを使用するための前提条件:

1. Oracleクライアントの基本モジュールおよびツール・モジュールをインストールします。

2. expプログラムのパスがPATH環境変数に追加されていることを確認します。

3. ご使用の環境によっては、オペレーティング・システム・ライブラリー・パスにOracleクライアント・ライブラリー・パスを追加する必要がある場合があります(例:LD_LIBRARY_PATH)。

4. Oracleクライアントのバージョンが、Oracleサーバーのバージョン以上でなければなりません。

注:Oracleクライアントからソース・データベースへの接続を事前構成する必要はありません。

マルチバイト文字セットなどの国際文字が含まれる表を移行することはできますか?

はい。 Lift CLIではUTF-8コード・ページが使用されており、一般的に使用されるOracle文字セットからのデータ変換をサポートしています。

サポートされるOracleデータベース文字セット(NLS_CHARACTERSET)のリストは以下のとおりです。

AL32UTF8、AR8ISO8859P6、AR8MSWIN1256、BLT8ISO8859P13、BLT8MSWIN1257、CL8ISO8859P5、CL8MSWIN1251、EE8ISO8859P2、EE8MSWIN1250、EL8ISO8859P7、EL8MSWIN1253、IW8ISO8859P8、IW8MSWIN1255、JA16EUC、JA16EUCTILDE、JA16SJIS、JA16SJISTILDE、KO16MSWIN949、NEE8ISO8859P4、TH8TISASCII、TR8MSWIN1254、VN8MSWIN1258、WE8ISO8859P15、WE8ISO8859P9、WE8MSWIN1252、ZHS16GBK、ZHT16HKSCS、ZHT16MSWIN950、ZHT32EUC、ALE16UTF16

以下のSQL照会を使用して、ソースOracleデータベースの文字セットを判別できます。

SELECT PROPERTY_VALUE FROM DATABASE_PROPERTIES WHERE PROPERTY_NAME = 'NLS_CHARACTERSET';

OracleクライアントはLift CLIマシンで構成されていますが、Lift CLIで「Liftは低速でデータを抽出しています。ソースの表に、Liftのデータ抽出速度を低下させるデータ・タイプが含まれています。」というようなメッセージが表示されます。高速でデータを抽出できない理由は何ですか?

ソースの表に以下のいずれかのデータ・タイプが含まれている場合、Lift CLIは低速モードを使用します。

BINARY_FLOAT、BINARY_DOUBLE、LOB、BLOB、CLOB、BFILE、XML、ROWID、UROWID

各表は個別に評価されます。この低速モードの影響を受けるのは、対象のデータ・タイプが含まれている現在の表の抽出操作のみです。

Lift CLIを使用するためにMicrosoft SQL Serverツールまたはクライアントをセットアップする必要がありますか?

いいえ。Lift CLIでは、データ移行に必要な追加のセットアップはありません。

IBM Liftの利用を開始する

データ移行をすぐに開始できます。

データとAIの活用にお困りですか?