スペース内の切り離されたデプロイメントの評価

IBM によって作成またはホストされていない基盤モデルのプロンプトテンプレートを評価するために、独立したプロンプトテンプレートを作成できます。

独立したプロンプトテンプレートとは、デプロイ済みのアセットに関連付けられていないプロンプトの定義のことです。 このテンプレートには、外部モデルに接続するための参照情報が含まれています。 独立したプロンプトテンプレートは、外部モデルや IBM 以外のモデルを評価するために使用され、本番環境でのアプリケーション提供ではなく、評価やテストを目的としています。

独立したプロンプトテンプレートは、 watsonx.ai への依存関係なしに評価されます。 デプロイメントを作成せずに、独立したプロンプトテンプレートを評価することができます。

注： すでに分離型プロンプトテンプレートのデプロイメントがある場合は、引き続きそれらを使用できます。デプロイメントによって評価される既存の分離型プロンプトテンプレートには、何の影響もありません。

デプロイメントスペースで分離型プロンプトテンプレートを評価する際、外部モデルが以下のタスクタイプに対してどれほど効果的に応答を生成できるかを評価できます：

  • テキストの要約
  • テキストの分類
  • 質問への回答
  • エンティティー抽出
  • コンテンツの生成
  • 検索強化生成（RAG）

始める前に

必要な権限 デプロイメントスペースで切り離されたプロンプトテンプレートを評価するには、「管理者 」または「 編集者 」のロールが必要です。

独立したプロンプトテンプレートを作成する

外部モデル用のプロンプトテンプレートを評価するには、まず、外部モデルを watsonx.governance に接続するための独立したプロンプトテンプレートを作成する必要があります。

デプロイメントスペース内の独立したプロンプトテンプレートは、ユーザーインターフェースから直接、またはAPIを使用して作成できます。 Spacesで分離型プロンプトテンプレートを評価する前に、分離型プロンプトテンプレートを作成する際、外部モデルの名前や URL などの接続情報を指定する必要があります。

UIから独立したプロンプトテンプレートを作成する

ユーザーインターフェースから直接、独立したプロンプトテンプレートを作成できます。 独立したプロンプトテンプレートを使用すると、デプロイメントアセットとは独立してプロンプトを評価することができます。

手順:

  1. デプロイメント画面で、[ アセット ] タブをクリックし、 [新しいアセット] > [ガバナンス用に外部 AI アセットを準備] を選択します。

  2. 独立したプロンプトテンプレートの詳細を入力してください。

    必須フィールド:

    • 名前：独立したプロンプトテンプレートの名前を入力してください。
    • プロンプトテンプレート ` URL `: プロバイダーが対応している場合、プロンプトの ` URL `。
    • 基盤モデル「 URL 」：モデルのドキュメントや関連リソースへのリンク。
    • 基盤モデルの名称：基盤モデルの名称
    • 基盤モデルID：プロビジョニングされたモデルの一意の識別子。多くの場合、ARNまたは同等の形式で表されます。
    • タスクの種類：プロンプトテンプレートが実行するタスクの種類を選択してください。

  3. （任意）：プロンプトを入力してください。

    「プロンプト 」セクションに、評価に使用する基本プロンプトを入力してください。 このプロンプトは、大規模言語モデルによって処理される指示や質問を定義するものです。

  4. 復号方法を選択してください：

    • Greedy：各ステップで、最も出現確率の高い次のトークンを生成する。
    • サンプリング：生成プロセスにランダム性を取り入れる。

  5. プロンプト変数を定義する（作成時は任意、評価時は必須）

    「 プロンプト変数 」セクションで、プロンプトで使用される変数を定義します。 変数は、評価時にプロンプトに挿入されるキーと値のペアです。 テンプレートを作成する際、これらの変数は必須ではありませんが、テンプレートを評価するには、少なくとも1つの変数を指定する必要があります。

  6. 独立したプロンプトテンプレートの確認と作成 必須項目がすべて入力されていることを確認し、「 作成」 をクリックして独立したプロンプトテンプレートを保存します。

API を使用して、独立したプロンプトテンプレートを作成する

次の例は、API を使用して分離型プロンプトテンプレートを作成する方法を示しています：

{
    "name": "prompt name",
    "description": "prompt description",
    "model_version": {
        "number": "2.0.0.7",
        "tag": "my prompt tag",
        "description": "my description"
    },
    "prompt_variables": {
        "var1": {},
        "var2": {}
    },
    "task_ids": [
        "retrieval_augmented_generation"
    ],
    "input_mode": "detached",
    "prompt": {
        "model_id": "",
        "input": [
            [
                "Some input",
                ""
            ]
        ],
        "data": {},
        "external_information": {
            "external_prompt_id": "external prompt",
            "external_model_id": "external model",
            "external_model_provider": "external provider",
            "external_prompt": {
                "url": "https://company.com?asd=a&32=1",
                "additional_information": [
                    {
                        "additional_key": "additional settings"
                    }
                ]
            },
            "external_model": {
                "name": "An external model",
                "url": "https://company.com?asd=a&32=1"
            }
        }
    }
}

AI ユース・ケースで切り離されたプロンプト・テンプレートを追跡すると、切り離されたデプロイメントがユース・ケースに追加されます。

実動前スペースでの切り離されたデプロイメントの評価

評価の実行

プロンプトテンプレートの評価を実行するには、デプロイメントスペースの「 アセット 」タブをクリックします。 「独立したプロンプトテンプレート」のメニューをクリックし、次に「 評価」 をクリックします。

デプロイメントスペースで 「管理者 」または「 編集者 」の役割が割り当てられている場合のみ、評価を実行できます。

デプロイメントスペースに関連付けられた watsonx.governance インスタンスがない場合は、インスタンスを選択するよう求められます。 [サービスインスタンスの関連付け] ダイアログボックスで、 [サービスインスタンスの関連付け] をクリックします。 使用する watsonx.governance インスタンスを選択し、 「サービスインスタンスを関連付ける」 を選択します。 インスタンスを関連付けるには、デプロイメントスペースに対して 「Admin 」ロールが割り当てられている必要があります。

watsonx.governance インスタンスの関連付け

watsonx.governance インスタンスに関連付けられているデータベースがない場合は、評価を実行する前にデータベースを関連付ける必要もあります。 データベースを関連付けるには、 「データベースが必要」 ダイアログ・ボックスで 「データベースの関連付け」 をクリックしてデータベースに接続する必要もあります。 データベースを関連付けるには、デプロイメント・スペースと watsonx.governance インスタンスの 管理者 役割が割り当てられている必要があります。

ディメンションを選択

「プロンプト・テンプレートの評価」 ウィザードに、プロンプトに関連付けられているタスク・タイプの評価に使用できるディメンションが表示されます。 ディメンションを展開して、選択したディメンションの評価に使用されるメトリックのリストを表示できます。

評価する外部 llm ディメンションの選択

Watsonx.governance は、各ディメンションの評価をデフォルト設定で自動的に構成します。 異なる設定で 評価を構成 するには、以下の例に示すように、 「詳細設定」 を選択して、各メトリックの最小サンプル・サイズとしきい値を設定します。

外部 llm 評価の構成

テストデータを選択

入力値と期待されるモデル出力を含む参照列を持つテストデータが記載された CSV ファイルをアップロードする必要があります。 分離型デプロイメントの評価を有効にするには、アップロードするテストデータに、という generated_text 名前の列にモデルの出力が含まれている必要があります。

アップロードが完了したら、プロンプト変数をテストデータの対応する列にマッピングする必要があります。 アップロードする外部 LLM テスト・データの選択

検討し、評価する

プロンプト・タスク・タイプ、アップロードされたテスト・データ、および実行される評価のタイプの選択を確認できます。 評価を実行するには、 「評価」 を選択する必要があります。

切り離されたプロンプト・テンプレートの評価設定の確認および評価

評価結果のレビュー

評価が完了したら、 watsonx.governance の 「評価」 タブで評価結果のサマリーを確認して、モデルのパフォーマンスに関する洞察を得ることができます。 この要約には、プロンプト・テンプレート評価の評価指標スコアおよびデフォルトのスコアしきい値の違反の概要が示されます。

結果を分析するには、プロンプトテンプレートの評価結果の横にある矢印 ナビゲーション矢印 をクリックすると、時間の経過に伴う結果のデータ可視化を確認できます。 また、プロンプト・テンプレートの評価時にデフォルトで実行されるモデル正常性評価の結果を分析して、モデルによるデータの処理効率を把握することもできます。

「アクション」 メニューには、結果の分析に役立つ以下のオプションもあります。

  • 今すぐ評価: 別のテスト・データ・セットを使用して評価を実行します
  • すべての評価: 時間の経過とともに結果がどのように変化するかを理解するために、評価の履歴を表示します。
  • モニターの構成: 評価しきい値およびサンプル・サイズを構成します。
  • モデル情報の表示: デプロイメント環境がどのようにセットアップされているかを理解するために、モデルに関する詳細を表示します。

切り離されたプロンプト・テンプレート評価結果の分析

実動スペースでの切り離されたデプロイメントの評価

評価のアクティブ化

プロンプトテンプレートの評価を実行するには、デプロイメントスペースの「 アセット 」タブをクリックします。 「独立したプロンプトテンプレート」のメニューをクリックし、次に「 評価」 をクリックします。

デプロイメントスペースで 「管理者 」または「 編集者 」の役割が割り当てられている場合のみ、評価を実行できます。

切り離されたプロンプト・テンプレート評価の実行

デプロイメントスペースに関連付けられた watsonx.governance インスタンスがない場合は、インスタンスを選択するよう求められます。 [サービスインスタンスの関連付け] ダイアログボックスで、 [サービスインスタンスの関連付け] をクリックします。 [インスタンスの関連付け（評価用） ] ウィンドウで、使用する watsonx.governance インスタンスを選択し、 [サービスインスタンスを関連付ける] を選択して、そのインスタンスをデプロイメントスペースに関連付けます。 インスタンスを関連付けるには、デプロイメント・スペースの 管理者 役割が割り当てられている必要があります。

watsonx.governance インスタンスの関連付け

watsonx.governance インスタンスに関連付けられているデータベースがない場合は、評価を実行する前にデータベースを関連付ける必要もあります。 データベースを関連付けるには、 「データベースが必要」 ダイアログ・ボックスで 「データベースの関連付け」 をクリックしてデータベースに接続する必要もあります。 データベースを関連付けるには、デプロイメント・スペースと watsonx.governance インスタンスの 管理者 役割が割り当てられている必要があります。

ディメンションを選択

「プロンプト・テンプレートの評価」 ウィザードに、プロンプトに関連付けられているタスク・タイプの評価に使用できるディメンションが表示されます。 フィードバック・データに指定する参照出力のラベル列名を指定することができます。 ディメンションを展開して、選択したディメンションの評価に使用されるメトリックのリストを表示することもできます。

評価する寸法を選択してください

Watsonx.governance は、各ディメンションの評価をデフォルト設定で自動的に構成します。 異なる設定で 評価を構成 するには、以下の例に示すように、 「詳細設定」 を選択して、各メトリックの最小サンプル・サイズとしきい値を設定します。

評価の構成

検討し、評価する

プロンプト・タスク・タイプの選択および実行される評価のタイプを確認できます。 また、 「ペイロード・スキーマの表示 (View payload schema)」 または 「フィードバック・スキーマの表示 (View feedback schema)」 を選択して、列名がプロンプト・テンプレート内のプロンプト変数名と一致することを検証することもできます。 評価を実行するには、 「アクティブ化」 を選択する必要があります。

選択内容の確認と評価

評価結果を生成するには、 「アクション」 メニューで 「今すぐ評価」 を選択して、評価の要約ページが表示されたら 「テスト・データのインポート」 ウィンドウを開きます。

今すぐ評価を選択

テスト・データのインポート

テスト・データのインポート ウィンドウで、ペイロード・データのアップロード または フィードバック・データのアップロード を選択して、ペイロード・スキーマとフィードバック・スキーマの列に一致するラベル付き列を含む CSV ファイルをアップロードできます。

テスト・データのインポート

評価結果のレビュー

評価が完了したら、 watsonx.governance の 「評価」 タブで評価結果のサマリーを確認して、モデルのパフォーマンスに関する洞察を得ることができます。 この要約には、プロンプト・テンプレート評価の評価指標スコアおよびデフォルトのスコアしきい値の違反の概要が示されます。

結果を分析するには、プロンプトテンプレートの評価結果の横にある矢印 ナビゲーション矢印 をクリックすると、時間の経過に伴う結果のデータ可視化を確認できます。 また、プロンプト・テンプレートの評価時にデフォルトで実行されるモデル正常性評価の結果を分析して、モデルによるデータの処理効率を把握することもできます。

「アクション」 メニューには、結果の分析に役立つ以下のオプションもあります。

  • 今すぐ評価: 別のテスト・データ・セットを使用して評価を実行します
  • モニターの構成: 評価しきい値およびサンプル・サイズを構成します。
  • モデル情報の表示: デプロイメント環境がどのようにセットアップされているかを理解するために、モデルに関する詳細を表示します。

切り離されたプロンプト・テンプレート評価結果の分析

AIのユースケースにおいて、デタッチド・デプロイメントを追跡している場合、モデルに関する詳細や評価結果はファクトシートに記録され、これを確認することができます。