非標準の環境テンプレートの作成

デフォルトの環境のいずれも要件に合わない場合は、カスタム環境テンプレートを作成できます。

必要な権限

環境テンプレートを作成するには、プロジェクト内で 「管理者 」または「 編集者 」の役割を持っている必要があります。

以下のアセットを実行するための環境テンプレートを作成できます：

• ノートブックエディタ内のノートブック
• JupyterLab のノートブック
• RStudio のノートブック
• モデルビルダーで作成されたモデル
• SPSS Modeler
• Data Refinery フロー
• プロジェクト内の Data Refinery フロー、 SPSS Modeler フロー、またはノートブックなど、運用資産を実行するジョブ

クラスターに「非構造化データ統合」がインストールされている場合、非構造化ドキュメントの処理に使用できるカスタム環境テンプレートを作成できます。 さらに、クラスタに watsonx.data がインストールされている場合、このカスタムランタイムは watsonx.data のSparkエンジンを利用できます。

始める前に：

• カスタム 「デフォルト 」または 「GPU」 構成では、環境は必要なリソースが利用可能なコンピュートノード上で起動され、その環境が実行されている間は、リソースがその環境のために確保されます。 計画しているワークロードに対応できるよう、十分なリソース、特に十分なメモリを確保するように注意してください。 これはノートブックを実行する際に重要です。 RAMは2GBが標準です。 リソースの量を指定することで、より予測可能な運用が可能になりますが、適切な上限値を判断するのは困難な場合があり、その結果、稼働中の環境によってすべてのリソースが予約されているにもかかわらず、実際には十分に活用されていないという状況が生じかねません。

• Sparkのカスタム設定では：

  • このドライバー は、Sparkクラスタ上でジョブの実行を分散させる SparkContext を作成します。
  • エグゼキュータとは、特定のSparkジョブ内のタスクの実行を担当するプロセスです。

• カスタム Spark構成において、ランタイムがジョブとして実行されており、環境メタデータとジョブメタデータの両方に同じカスタム環境変数が設定されている場合、ジョブメタデータに設定された環境変数が優先されます。 以下の変数および引数は上書きできません：

  環境変数：

  PROJECT_ID, SPACE_ID, USER_ACCESS_TOKEN, USER_REFRESH_TOKEN, PROJECT_ACCESS_TOKEN, SPACE_ACCESS_TOKEN, APP_ENV_APSX_API, RUNTIME_ENV_NOTEBOOK, RUNTIME_ENV_REGION, RUNTIME_ENV_STOREFRONT, RUNTIME_ENV_APSX_URL, USER_ID, PROJECT_NAME, SPACE_NAME, HTTP_PROXY, http_proxy, HTTPS_PROXY, https_proxy, NO_PROXY, no_proxy

  Sparkの設定：

  • spark.ui.reverseProxy
  • spark.eventLog.enabled

環境テンプレートを作成するには：

1. プロジェクトの [管理] タブで、[ 環境 ] ページを選択し、 [テンプレート] の下にある [新しいテンプレート] をクリックします。

2. 名前と説明を入力してください。

3. 種類を選択してください。 この型は、実行時エンジンの型を指定します。

   • デフォルト ： Python、R、 RStudio、または JupyterLab のランタイムを選択します。
   • Spark ： Python またはRランタイムを使用したSparkを選択します。
   • GPU ：計算能力を高め、モデルの学習パフォーマンスを向上させるために選択してください。
   • リモートシステム ：以下のいずれかを選択してください：
     • Data Refinery ジョブを実行して、 HDFS、 Hive データウェアハウス内のテーブル、または Hadoop クラスター上の Impala 内のテーブルに格納されているデータを精査します
     • リモート上の Hadoop システムでジョブやJupyter Enterprise Gateway（JEG）セッションを実行する
   • 非構造化データの統合 ：非構造化文書を処理するための環境を作成するには、これを選択してください

4. 詳細設定を行う：

   • 「デフォルト 」または「 GPU」 の場合、ハードウェア構成とソフトウェアのバージョンを選択してください。 管理者がカスタム画像を定義している場合、それらもこちらで確認できます。

   • Spark については、ドライバーとエグゼキュータのサイズ、エグゼキュータの数、およびソフトウェアのバージョンを選択してください。

     • ドライバのハードウェア構成
     • Executorのハードウェア構成
     • 遺言執行者の人数
     • ソフトウェアのバージョン（例：Sparkおよび Python のバージョン）。
     • オプション：環境変数。 SPARK_HOME=/usr/local/spark例えば、。
     • オプション：Sparkの設定。 spark.executor.decommission.forceKillTimeout=60例えば、。

     環境変数やSparkの設定を追加することもできます。

   • リモートシステムについては、「 Hadoop 」またはシステム構成を選択してください。

   • 非構造化データの処理については、以下を選択してください：

     • watsonx.data がインストールされていない場合： Python に基づく既定のハードウェア構成のいずれか
     • watsonx.data がインストールされている場合： Python、または watsonx.data のSparkエンジンのいずれかをベースとした、あらかじめ定義されたハードウェア構成のいずれか
     • Sparkエンジンについては、さらにドライバーのハードウェア構成、エグゼキュータのハードウェア構成、およびエグゼキュータの数を選択してください