データ統合チュートリアル: データの複製

このチュートリアルでは、ソースデータストアとターゲットデータストア間のデータレプリケーションを設定します。

目標は、 Data Replication を使用して、ソース・データベースからゴールデン・バンクの Event Streams インスタンスへの効率的なデータ・キャプチャーを使用して、ほぼリアルタイムの継続的なレプリケーション・フィードをセットアップすることで、プロバイダーの Db2 on Cloud データ・ソースからのクレジット・スコア情報を統合することです。 Event Streams は、 Apache Kafkaを使用して構築された高スループットのメッセージ・バスです。 これは、IBM Cloud へのイベントの取り込みと、ご使用のサービスとアプリケーションの間でのイベント・ストリームの配信に最適化されています。 Event Streamsについて詳しくは、「 詳細情報 」セクションを参照してください。

重要:このチュートリアルにはサンプル・プロジェクトが必要ですが、地域によっては入手できない場合があります。 あなたの watsonx アカウントが Dallas IBM Cloud 地域にない場合、このチュートリアルを始める前にサンプルプロジェクトが利用可能かどうかを確認してください。 リソースハブでデータ統合を検索します。

このチュートリアルでは、ゴールデン・バンクは、適格性を満たしていないローン申請者には融資できないという新しい規制を遵守する必要があると説明しています。 ゴールデン・バンクのデータ・エンジニアは、ローン申請者の最新のクレジット・スコアへのアクセスを提供する必要があります。 これらのクレジット・スコアは、外部プロバイダーが所有する Db2 on Cloud データベースから取得され、ゴールデン・バンクの Event Streams ハブに継続的に配信されます。 Event Streams ハブ内のデータは、適格申請者のローン承認を決定するために、住宅ローン申請者のクレジット・スコアを検索するためにアプリケーションによって使用されます。

以下のアニメーション化されたイメージは、チュートリアルの終わりまでに実行する内容のクイック・プレビューを提供します。

チュートリアルをプレビューする

このチュートリアルでは、以下のタスクを実行します:





このチュートリアルを完了するためのヒント
このチュートリアルを成功させるためのヒントをいくつか紹介しよう。

ブラウザのウィンドウを設定する

このチュートリアルを最適に体験するには、アカウントを1つのブラウザウィンドウで開いておき、このチュートリアルページを別のブラウザウィンドウで開いておくと、両ウィンドウ間を簡単に切り替えることができます。 2つのブラウザウィンドウを横に並べると、より見やすくなります。

サイド・バイ・サイドのチュートリアルとUI

ヒント: ユーザー・インターフェースでこのチュートリアルを完了する際にガイド・ツアーが表示された場合は、 Maybe laterをクリックしてください。



前提条件のセットアップ

IBM watsonx.data 統合に登録する

データレプリケーションを設定するには、 IBM watsonx.data 統合にサインアップする必要があります。 まだアカウントをお持ちでない方は、 watsonx.data に登録してください


必要なプロビジョン済みサービスの確認

重要:

Data Replication すべての地域でご利用いただけません。 地域ごとの提供状況をご覧ください。

必要なサービスを検証またはプロビジョンするには、以下の手順を実行します。

  1. ナビゲーションメニュー から ナビゲーション・メニュー[サービス] > [サービスインスタンス] を選択します。

  2. Product ドロップダウンリストを使用して、既存の watsonx.data integration as a Service サービスインスタンスが存在するかどうかを判断します。

  3. Service サービスインスタンスとして watsonx.data インテグレーションを作成する必要がある場合は、 Add service をクリックします。

    1. watsonx.data integration as a Serviceを選択する。

    2. トライアルプランを選択します。

    3. 「作成」 をクリックします。

  4. サービスのプロビジョニングが完了するまでお待ちください。

  5. これらのステップを繰り返して、以下の追加サービスを確認またはプロビジョニングします:

    • Event Streams - IBM Cloud アカウントへのログインを求めるプロンプトが表示される場合があります。

サンプル・プロジェクトを作成する

このチュートリアルのサンプル・プロジェクトが既にある場合は、 タスク 1にスキップします。 そうでない場合は、以下のステップに従ってください。

サンプルプロジェクトを作成するには、ガイド付き手順に従ってサンプルプロジェクトを読み込むか、リソースハブからプロジェクトを作成してください。 どちらの方法でも同じサンプルプロジェクトが作成されるため、プロジェクトの作成方法はどちらか一方のみを選択してください。

ガイド付きの手順に従ってプロジェクトを作成する

ガイド付きチュートリアルをご利用の場合は、以下の手順に従ってサンプルプロジェクトを作成してください:

  1. 「 watsonx.data 」統合のホームページにアクセスし、「 作業を開始」>「ガイド付きジャーニーの探索」>「サンプルデータの読み込み」 の順にクリックします。

リソースハブでプロジェクトを作成する

ガイド付きチュートリアルを使用しない場合は、Resource Hub を使用してサンプルプロジェクトを作成してください:

  1. リソース・ハブからデータ統合チュートリアル・サンプル・プロジェクトにアクセスします。

  2. 「プロジェクトの作成」をクリックします。

  3. プロジェクトを Cloud Object Storage インスタンスに関連付けるように求められたら、リストから Cloud Object Storage インスタンスを選択してください。

  4. 「作成」 をクリックします。

  5. プロジェクトのインポートが完了するまで待ってから、 「新規プロジェクトの表示」 をクリックして、プロジェクトと資産が正常に作成されたことを確認します。

  6. アセットタブをクリックして、接続と接続されたデータアセットを表示します

注: このユース・ケースに含まれているチュートリアルを示すガイド・ツアーが表示される場合があります。 ガイド・ツアーのリンクから、これらのチュートリアルの説明が開きます。

チェックポイント・アイコン 進捗状況を確認してください

以下の画像は、サンプル・プロジェクトの「資産」タブを示しています。 これで、チュートリアルを開始する準備ができました。

サンプル・プロジェクト




タスク 1: Event Streams のセットアップ

前提条件の一部として、新しい Event Streams インスタンスをプロビジョンしました。 次に、そのサービス・インスタンスをセットアップする必要があります。 以下の手順を実行します。

  • Db2 on Cloudでソース・データから複製されたデータを保管するためのトピックを作成します。 このトピックは、 Event Streams フローの中核です。 データは、プロデュース側アプリケーションからコンシューム側アプリケーションへとトピックを介して受け渡しされます。

  • データ複製のセットアップに必要なブートストラップ・サーバー情報を含むサンプル・コードをコピーします。

  • プロジェクト内のサービスへの接続を作成するために使用する資格情報を作成します。

  1. IBM CloudコンソールのResources リストに戻ります。

  2. 「統合」 セクションを展開します。

  3. Event Streams インスタンスのサービス・インスタンス名をクリックして、インスタンスの詳細を表示します。

  4. 最初に、 「トピック」 ページをクリックしてトピックを作成します。

    1. 「トピックの作成」をクリックします。

    2. 「トピック名」golden-bank-mortgageと入力します。

    3. 次へ をクリックします。

    4. 「パーティション」 セクションで、デフォルト値を受け入れて、 「次へ」をクリックします。

    5. 「メッセージ保存」 セクションで、デフォルト値を受け入れて、 「トピックの作成」をクリックします。

    6. テキスト・エディターを開き、後で使用するためにトピック名 golden-bank-mortgage をテキスト・ファイルに貼り付けます。

  5. 次に、 「トピック」 ページに戻り、 「このサービスに接続」 をクリックして接続情報を取得します。

    1. 「ブートストラップ・サーバー」 フィールドの値をコピーします。 ブートストラップ・サーバーは、プロジェクト内の Event Streams インスタンスへの接続を作成するときに必要です。

    2. 後で使用するために、ブートストラップ・サーバー値を同じテキスト・ファイルに貼り付けます。

    3. 「サンプル・コード」 タブをクリックします。

    4. 「サンプル構成プロパティー」 フィールドの値をコピーします。 このスニペットのいくつかのプロパティーを使用して、サービスに安全に接続します。

    5. 後で使用するために、サンプル・コードを同じテキスト・ファイルに貼り付けます。

    6. 「X」 をクリックして、 「このサービスへの接続」 パネルを閉じます。

  6. 最後に、資格情報を作成するために、 「サービス資格情報」 ページをクリックします。

    1. 「新規資格情報」をクリックします。

    2. デフォルト名を受け入れるか、必要に応じて変更します。

    3. 「役割」で、デフォルト値の 「マネージャー」を受け入れます。

    4. 「サービス ID の選択」 フィールドで、 「自動生成」を選択します。

    5. 「作成」 をクリックします。

    6. クリップボードにコピー 」アイコンをクリックします。

    7. 後で使用するために、資格情報を同じテキスト・ファイルに貼り付けます。

テキスト・ファイルには、以下のすべての情報が含まれている必要があります。

TOPIC NAME: golden-bank-mortgage

BOOTSTRAP SERVER FIELD
broker-5-7w81scvsqh485hbz.kafka.svc04.us-south.eventstreams.cloud.ibm.com:9093,broker-1-7w81scvsqh485hbz.kafka.svc04.us-south.eventstreams.cloud.ibm.com:9093,broker-2-7w81scvsqh485hbz.kafka.svc04.us-south.eventstreams.cloud.ibm.com:9093,broker-0-7w81scvsqh485hbz.kafka.svc04.us-south.eventstreams.cloud.ibm.com:9093,broker-3-7w81scvsqh485hbz.kafka.svc04.us-south.eventstreams.cloud.ibm.com:9093,broker-4-7w81scvsqh485hbz.kafka.svc04.us-south.eventstreams.cloud.ibm.com:9093

SAMPLE CODE
bootstrap.servers=broker-5-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-0-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-2-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-1-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-3-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-4-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093
sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="token" password="<APIKEY>";
security.protocol=SASL_SSL
sasl.mechanism=PLAIN
ssl.protocol=TLSv1.2
ssl.enabled.protocols=TLSv1.2
ssl.endpoint.identification.algorithm=HTTPS
CREDENTIALS
{
  "api_key": "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx",
  "apikey": "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx",
  "bootstrap_endpoints": "broker-2-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-0-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-4-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-5-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-3-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-1-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093",
  "iam_apikey_description": "Auto-generated for key crn:v1:bluemix:public:messagehub:us-south:a/a53b11fc95fcca4d96484d0de5f3bc3c:6b5a2cb2-74ef-432d-817f-f053873e7ed2:resource-key:96372942-5d26-4c59-8ca4-41ab6766ba91",
  "iam_apikey_name": "Service credentials-1",
  "iam_role_crn": "crn:v1:bluemix:public:iam::::serviceRole:Manager",
  "iam_serviceid_crn": "crn:v1:bluemix:public:iam-identity::a/a53b11fc95fcca4d96484d0de5f3bc3c::serviceid:ServiceId-4773bed1-f423-43ea-adff-469389dca54c",
  "instance_id": "6b5a2cb2-74ef-432d-817f-f053873e7ed2",
  "kafka_admin_url": "https://pqny71x0b9vh7nwh.svc11.us-south.eventstreams.cloud.ibm.com",
  "kafka_brokers_sasl": [
    "broker-2-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093",
    "broker-0-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093",
    "broker-4-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093",
    "broker-5-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093",
    "broker-3-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093",
    "broker-1-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093"
  ],
  "kafka_http_url": "https://pqny71x0b9vh7nwh.svc11.us-south.eventstreams.cloud.ibm.com",
  "password": "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx",
  "user": "token"

チェックポイント・アイコン 進捗状況を確認してください

以下の画像は、 IBM Cloud内の Event Streams インスタンスの「トピック」ページを示しています。 これで、プロジェクト内の Event Streams インスタンスへの接続を作成する準備ができました。

「トピック」ページ




タスク 2: クレジット・スコア・データの表示

サンプル・プロジェクトには、ソース・データが保管されている Db2 on Cloud インスタンスへの接続が含まれています。 接続資産およびクレジット・スコア・データを表示するには、以下の手順を実行します。

  1. IBM watsonx ブラウザのタブに戻る。 データ統合プロジェクトが表示されます。 プロジェクトが表示されない場合は、以下の手順を実行します。

    1. ナビゲーション・メニューナビゲーションメニュー から、 「プロジェクト」>「すべてのプロジェクトを表示」 を選択します。

    2. 「データ統合」 プロジェクトをクリックして開きます。

  2. 「アセット」 タブで、 「すべてのアセット」をクリックします。

  3. Data Fabric Trial- Db2 on Cloud -Source 接続資産を見つけます。

  4. CREDIT_SCORE 接続済みデータ資産を見つけます。

  5. CREDIT_SCORE 資産をクリックして、プレビューを表示します。 このデータ資産は、プロバイダーの Db2 on Cloud インスタンスの BANKING スキーマの CREDIT_SCORE テーブルにマップされます。 これには、ID、名前、住所、クレジット・スコアなど、住宅ローン申請者に関する情報が含まれます。 このデータ資産のデータ複製をセットアップする必要があります。

  6. ナビゲーショントレイルで 「データ統合プロジェクト名」をクリックすると、プロジェクトに戻ります。

    ナビゲーション・トレール

チェックポイント・アイコン 進捗状況を確認してください

以下のイメージは、サンプル・プロジェクト内のクレジット・スコア・データ資産を示しています。 これで、このプロジェクトで Event Streams サービスへの接続を作成する準備ができました。

クレジット・スコア・データ資産




タスク 3: Event Streams インスタンスへの接続の作成

複製をセットアップするには、 タスク 1で収集した情報を使用して、 前提条件 の一部としてプロビジョンした新しい Event Streams インスタンスへの接続も必要です。 接続資産を作成するには、以下の手順を実行します。

  1. 「アセット」 タブで、 「新規アセット」>「データ・ソースへの接続」をクリックします。

  2. を選択Apache Kafkaコネクタをクリックし、

  3. 名前の場合は、 Event Streamsと入力します。

  4. 「接続の詳細」セクションで、以下のフィールドに入力します。

    • Kafka サーバー・ホスト名: タスク 1で作成したテキスト・ファイルからブートストラップ・サーバー値を貼り付けます。
    • セキュア接続: 「SASL_SSL」を選択します。
    • ユーザー・プリンシパル名: サービス資格情報user 値をテキスト・ファイルに貼り付けます。 通常、この値は tokenです。
    • パスワード: サービス資格情報password 値をテキスト・ファイルに貼り付けます。
  5. 「テスト接続」をクリックします。

  6. テストが成功したら、 「作成」をクリックします。 テストが成功しない場合は、テキスト・ファイルからコピーして貼り付けた情報を確認し、再試行してください。 ロケーションと主権を設定せずに接続の作成を確認するプロンプトが出された場合は、 「作成」 を再度クリックします。

  7. 「すべての資産」 をクリックして、新規接続を表示します。

チェックポイント・アイコン 進捗状況を確認してください

以下のイメージは、サンプル・プロジェクトの「アセット (Assets)」タブを示しています。このタブには、新しい Event Streams 接続アセットが表示されています。 これで、 Data Replication サービスをこのプロジェクトに関連付ける準備ができました。

Event Streams 接続資産




タスク4:データレプリケーションの設定

これで、 Data Replication アセットを作成して、 Db2 on Cloud ソースと Event Streams ターゲットの間で継続的なデータ複製を開始できるようになりました。 データ複製をセットアップするには、以下の手順を実行します。

  1. プロジェクトの 「資産」 タブをクリックします。

  2. 「新規資産」>「データの複製」をクリックします。

  3. 名前の場合は、 CreditScoreReplicationと入力します。

  4. Business goal(ビジネス目標 )で、 Copy(コピー )を選択する。

  5. 「ソース・オプション」をクリックします。

  6. 「ソース・オプション」 ページで、接続のリストから Data Fabric Trial- Db2 on Cloud -Source を選択します。

  7. 「データの選択」をクリックします。

  8. 「データの選択」 ページで、 BANKING schema> CREDIT_SCORE テーブルを選択します。

  9. ターゲット・オプションをクリックしてください。

  10. ターゲット・オプション・ ページで、接続リストから Event Streams を選択します。

  11. 「デフォルト・トピック」 フィールドに、 タスク 1で作成したトピック名 golden-bank-mortgageを貼り付けます。

  12. 残りのフィールドのデフォルト値を受け入れて、 「レビュー」をクリックします。

  13. 要約を確認し、 「作成」をクリックします。

チェックポイント・アイコン 進捗状況を確認してください

次の画像は、ReplicateCreditScoreDataレプリケーションが停止した画面。 これで、データ複製を実行する準備ができました。

データ複製資産




タスク5:データ・レプリケーションの実行

Data Replication 資産を作成した後、データ複製を実行し、複製状況に関する情報を表示することができます。 データ複製を実行するには、以下の手順を実行します。

  1. CreditScoreReplication 」画面で、 「実行 」アイコン 複製の実行 をクリックして、レプリケーションプロセスを開始します。

    Data Replication 資産を初めて実行する場合は、API キーの指定を求めるプロンプトが表示されることがあります。 データ複製資産は、個人用の IBM Cloud API キーを使用して、中断することなく複製操作を安全に実行します。 設定特定のAPIキーを使用したい場合は、 設定アイコンをクリックしてください。

    • 既存の API キーがある場合は、 「既存の API キーを使用 (Use existing API key)」をクリックし、API キーを貼り付け、 「保存」をクリックします。
    • 既存の API キーがない場合は、 「新規 API キーの生成」をクリックしてから、 「生成」をクリックします。 今後の使用のために API キーを保存し、 「閉じる」をクリックします。
  2. イベント ログ 」セクションで、 [更新] アイコン リフレッシュ をクリックして、新しいメッセージがあるかどうかを確認します。

  3. 数分後に、 「イベント・ログ」 セクションに Completed initial synchronization for table "BANKING"."CREDIT_SCORE" というメッセージが表示されます。

この時点から、 Db2 on Cloud インスタンス内の BANKING.CREDIT_SCORE 表に対する変更が自動的に検出され、ターゲットに複製されます。

チェックポイント・アイコン 進捗状況を確認してください

次の画像は、CreditScoreReplicationレプリケーションが実行され、イベント ログにメッセージが表示されている画面。 これで、複製資産の状況、イベントおよびメトリックを監視して複製をモニターし、データが複製されていることを確認する準備ができました。

データ複製資産が実行中



ゴールデン・バンクのデータ・エンジニアは、 Db2 on Cloud ソース・データベースの CREDIT_SCORE 表と Event Streamsのトピックとの間のデータ複製を構成することで、ローン申請者の最新のクレジット・スコアへの継続的なアクセスをセットアップします。 申請者のクレジット・スコアが変更された場合、ゴールデン・バンクの住宅ローン承認者は、その変更にほぼリアルタイムでアクセスできるようになります。

クリーンアップ (オプション)

データ統合ユース・ケースのチュートリアルを再利用する場合は、以下の成果物を削除します。

成果物 削除方法
watsonx.data 統合と Event Streams サービスインスタンス ナビゲーション・メニュー1. ナビゲーションメニュー から、 「サービス」>「サービスインスタンス」 を選択します。
2. サービス名の横にある 「アクション」 メニューをクリックし、 「削除」を選択します。
データ統合サンプル・プロジェクト プロジェクトの削除

次のステップ

詳細情報