文書テキスト処理モデルのリソースの管理

始める前に

• インスタンス管理者である必要があります。
• 文書テキスト処理モデルがクラスターにインストールされている必要があります。 詳しくは、デフォルト構成を使用したモデルのインストールを参照してください。
  制約事項: watsonx.ai™ lightweight engine インストール済み環境にテキスト処理 基盤モデルを追加することはできません。

手順

テキスト処理ポッドのデフォルトのクラスター構成を変更して、メモリー使用量やガーベッジ・コレクションの頻度などを最適化し、テキスト処理パイプラインの容量をスケーリングすることができます。

1. 以下の方法を使用して、デプロイメント内の文書テキスト処理ポッドで使用されるリソースをカスタマイズできます。

   各 デプロイメント およびコンテナーのテキスト処理ポッドのリソースの構成

   デプロイメント および デプロイメント 内のコンテナーごとにカスタム・リソースでカスタム環境変数を設定することにより、文書理解ライブラリーで使用されるメモリーを最適化します。

   以下の例では、複数の デプロイメント ( wdu_api_deploy_distributedなど) およびコンテナー ( wdu_runtimeなど) のメモリー使用量を、事前定義された MEMORY_MINIMAL 値に設定します。

   oc patch watsonxaiifm watsonxaiifm-cr \
   --namespace=${PROJECT_CPD_INST_OPERANDS} \
   --type=merge \
   -p '{"spec": {"model_install_parameters": {"wdu": {"wdu_api_deploy_distributed": {"wdu_runtime": {"env": [{"name": "MEMORY_MINIMAL", "value": "true" }]}}, "wdu_page_deploy_distributed": {"wdu_runtime": {"env": [{"name": "MEMORY_MINIMAL", "value": "true" }]}, "wdu_model_copy": {"env": [{"name": "MEMORY_MINIMAL", "value": "true" }]}}, "wdu_result_deploy_distributed": {"wdu_runtime": {"env": [{"name": "MEMORY_MINIMAL", "value": "true" }]}}, "wdu_watch_deploy_distributed": {"wdu_runtime": {"env": [{"name": "MEMORY_MINIMAL", "value": "true" }]}}}}}}'

   すべてのテキスト処理ポッドのリソースのグローバル構成

   container_defaults パラメーターを使用して、すべてのテキスト処理コンテナーに同じリソース設定を適用します。

   oc patch watsonxaiifm watsonxaiifm-cr \
   --namespace=${PROJECT_CPD_INST_OPERANDS} \
   --type=merge \
   -p '{"spec": {"model_install_parameters": {"wdu": {"container_defaults": {"env": [{"name": "MEMORY_MINIMAL", "value": "true"}, {"name": "MEMORY_GC_FREQUENCY", "value": "5"}]}}}}}'

   グローバル・デフォルト値と特定の デプロイメント のカスタム・オーバーライドを使用したテキスト処理ポッドのリソースの構成

   すべてのコンテナーに対して container_defaults パラメーターで指定されたグローバル設定と、特定のデプロイメント ( wdu_api_deploy_distributed など) に対してグローバル・デフォルトをオーバーライドするカスタム設定を以下のように組み合わせて使用します。

   oc patch watsonxaiifm watsonxaiifm-cr \
   --namespace=${PROJECT_CPD_INST_OPERANDS} \
   --type=merge \
   -p '{"spec": {"model_install_parameters": {"wdu": {"container_defaults": {"env": [{"name": "MEMORY_MINIMAL", "value": "true"}, {"name": "LOG_LEVEL", "value": "INFO"}]}, "wdu_api_deploy_distributed": {"wdu_runtime": {"env": [{"name": "MEMORY_MINIMAL", "value": "false"}]}}}}}}'

2. オペレーターが正常に調整され、エラーが報告されないことを確認します。 その後、以下のようにして、テキスト処理ポッドの構成を確認できます。

   oc describe pod <wdu-api-deploy-distributed-pod-name> -n ${PROJECT_CPD_INST_OPERANDS} | grep -A 50 "wdu-runtime:"

3. オプション: デバッグ・ロギングを有効にすると、container_defaultsが正常に適用されたことを確認できます。

   oc logs -n ${PROJECT_CPD_INST_OPERANDS} -l app.kubernetes.io/name=ibm-cpd-watsonx-ai-ifm-operator --tail=200 | grep -i "container_defaults\|env"