複数のメタデータ・ディスカバリー・ポッドでの並行メタデータ・インポート・ジョブの実行

同時メタデータ・インポート・ジョブの実行は、以下の変数に依存します。

  • データ・ソース・レベルでのユーザー当たりのセッション数。
  • サイトの制限。
  • 同じデータ・ソースに接続する他のパラレル・ジョブの実行。
  • metadata-discovery ポッドと wdp-connect-connection ポッドの数。

課題の説明

複数の metadata-discovery ポッドで複数のメタデータ・インポート・ジョブを並行して実行すると、エラーが発生し、以下のようなエラー・メッセージが ジョブ 実行ログに書き込まれることがあります。

Error 429: CDICW9926E: Too many concurrent user requests: 50

回避策

この問題は、以下のいずれかの方法で解決できます。

  • ユーザーごとに許可される同時要求の最大数を増やします。 wdp-connect-connection ポッドで、 MAX_CONCURRENT_REQUESTS_PER_USER 環境変数の値を変更します。以下に例を示します。

    MAX_CONCURRENT_REQUESTS_PER_USER: 100

  • ユーザーごとの同時要求数を増やすための十分なリソースがない場合は、ソースに接続するスレッドの数を減らしてください。 デフォルトでは、 metadata-discovery ポッド内の 20 個のワーカー・スレッドが同時に wdp-connect-connection ポッドにアクセスします。 メタデータ・インポート用に 4 つのポッドを定義した場合、 80 のワーカー・スレッドが同時にデータ・ソースにアクセスします。 metadata-discovery ポッドで、 discovery_create_asset_thread_count 環境変数の値を変更します。 例:

    discovery_create_asset_thread_count: 10