評価スタジオでAI資産を比較
評価スタジオを使用すると、使用ケースに合った定量的な指標とカスタマイズ可能な基準で、ジェネレーティブAI資産を評価および比較できます。 複数の資産のパフォーマンスを同時に評価し、結果の比較分析を見て、最適なソリューションを特定します。
評価スタジオを使用すると、さまざまなタスクタイプに対して複数のAI資産を評価するプロセスを自動化することで、ジェネレーティブAI開発プロセスを合理化できます。 各プロンプトテンプレートを個別にレビューし、パフォーマンスを手動で比較する代わりに、1つの実験を構成して複数のプロンプトテンプレートを同時に評価できるため、開発中の時間を節約できます。
評価スタジオには以下の機能があり、プロンプトテンプレートを評価および比較して、ニーズに最適なアセットを特定するのに役立ちます：
カスタマイズ可能な実験セットアップ
- お客様のニーズに合わせて、さまざまなタスクタイプからお選びいただけます。
- プロジェクト資産を選択してテストデータをアップロードする。
- 最大5つのプロンプト・テンプレートを選択し、評価・比較することができます。
- 評価ディメンジョンを選択して、タスク固有のメトリクスを構成します。
柔軟な結果分析
- 結果を表やグラフで表示することで、洞察力を高めることができます。
- リファレンス・プロンプト・テンプレートを選択し、比較を容易にする
- 特定のメトリクスまたは値で結果をフィルタリングまたはソートします。
- 評価結果の範囲を指定して検索する。
- チャートで複数のプロンプト・テンプレートを並べて比較。
- AI Factsheetsに評価の詳細を自動的に記録し、AIユースケース全体のパフォーマンスを追跡。
- カスタムランキングを作成して、ユースケースにとって最も重要な結果に優先順位を付けます。
- 実験からプロンプト・テンプレートを追加または削除し、評価を再実行して新たな比較を行う。
要件
以下の条件を満たせば、評価スタジオでAI資産を比較できます：
必要な役割
評価スタジオを使用するには、 watsonx.governance、プロジェクトの管理者または編集者のロールが割り当てられている必要があります。 インスタンスの管理者ロールを割り当てる必要があるかもしれません。 ロールの詳細については、 IBM Software Hub ドキュメントの「 Managing users for Watson OpenScale service 」を参照してください。
テスト・データ
アップロードするテストデータには、各プロンプト変数の参照出力列と参照入力列が含まれている必要があります。 参照出力列は、ROUGEやBLEUなどの参照ベースのメトリクスを計算するために使用される。 詳細は 、「モデル評価のためのデータの管理 」を参照してください。
次のセクションでは、評価スタジオを使用してAI資産を評価および比較する方法について説明します：
複数のAI資産の比較と評価
評価スタジオを使用して資産を評価および比較するには、次の手順を実行します：
- 評価タスクを選択する。
- watsonx.governance プロジェクトの [Assets] タブで、[ New asset ] を選択します。
- 何をしますか ]ウィンドウで、 [プロンプトの評価と比較] タスクタイルを選択します。
- 評価を設定する。 プロンプトの評価と比較ウィザードが開き、評価に使用できるタスクタイプが表示されたら、評価名を指定し、評価するプロンプトテンプレートに関連付けられているタスクタイプを選択します。
- 評価および比較するプロンプトテンプレートをプロジェクトから選択します。 そのインスタンスの 「管理者 」ロールが割り当てられている必要があります。 プロジェクトに関連付けられた watsonx.governance インスタンスがない場合は、 「サービスインスタンスの関連付け」 ダイアログボックスで 「サービスインスタンスを関連付ける」 を選択し、プロジェクトにインスタンスを関連付ける必要があります。
- メトリクスを選択する。 Watsonx.governance プロンプトテンプレートのタスクタイプで利用可能なメトリクスを自動的に選択し、各メトリクスのデフォルト設定を構成します。 測定項目の選択を変更したり、 「設定」 を選択して、カスタマイズした設定で評価を構成したりすることができます。
- プロジェクトからアセットを選択してテストデータを選択します。 テストデータを選択すると、 watsonx.governance は、プロンプト変数にマッピングされている列を自動的に検出します。
- 評価を見直し、実行する。
- プロンプト テンプレートの評価を実行する前に、タスク タイプ、アップロードされたテスト データ、メトリックス、および実行される評価のタイプの選択を確認できます。
- Enable task credentials チェックボックスを選択する。 この設定は、評価ジョブを安全に実行する権限が必要なすべてのサブスクリプションに必要です。
- 評価を実行した後、 「ジョブを表示」 を選択すると、進行中の評価のステータスや、これまでに完了した評価の一覧を確認できます。
- メトリクスの比較を見直す。
- 評価が完了すると、選択した各プロンプトテンプレートの結果を比較するデータビジュアライゼーションを表示できます。 スコアが各指標のしきい値に違反しているかどうかが視覚化される。 また、結果は表に表示され、アセットについて表示したいメトリクスを選択、フィルタリング、またはランク付けすることによって、結果を分析するために使用できます。
- 比較を行うには、基準となる資産を選択して表の列をハイライト表示し、他の資産が選択した資産よりもパフォーマンスが優れているか、劣っているかを確認します。
- 結果を分析するために、重み付け係数と順位付けの計算式を指定して、さまざまなグループにわたる指標のカスタムランキングを作成し、どのプロンプトテンプレートが最も優れたパフォーマンスを発揮しているかを判断することもできます。
- 評価を再実行する場合は、 評価詳細ペインの Adjust settings
をクリックして、テスト データの更新やメトリクスの再設定を行います。 - 実験を編集したい場合は、 資産編集
をクリックし、評価に資産削除または追加して比較を変更します。
複数のAIアセットと既存の評価結果を比較する
新しい評価を行う代わりに、Evaluation Studioですでに評価済みの資産を評価・比較するには、以下の手順を実行してください：
- 評価タスクを選択する。
- watsonx.governance プロジェクトの [Assets] タブで、[ New asset ] を選択します。
- 何をしますか ]ウィンドウで、 [プロンプトの評価と比較] タスクタイルを選択します。
- プロンプトテンプレートを選択（オフライン）。
- 比較の設定を行う。 「 プロンプトの評価と比較 」ウィザードが開き、比較可能なタスクの種類が表示されたら、比較名を指定し、比較したいプロンプトテンプレートに関連付けられているタスクの種類を選択します。
- 「次へ」 をクリックしてください。
- 比較したいプロンプトテンプレートを選択してください。
- 内容を確認し、比較を実行してください。
- プロンプトテンプレートの比較を実行する前に、タスクの種類や実行する比較の種類について確認することができます。
- 「タスクの認証情報 」チェックボックスを選択します。 この設定は、比較ジョブを安全に実行するために認証が必要なすべてのサブスクリプションで必須です。
- メトリクスの比較を見直す。
- 比較が完了すると、選択した各プロンプトテンプレートの結果を比較したデータ可視化を確認できます。 スコアが各指標のしきい値に違反しているかどうかが視覚化される。 また、結果は表に表示され、アセットについて表示したいメトリクスを選択、フィルタリング、またはランク付けすることによって、結果を分析するために使用できます。
既存のAIアセットタスクの比較結果は、 watsonx.governance プロジェクトの「 アセット 」タブで確認できます。
次のステップ
これで、プロジェクトに新しいAI評価アセットが作成されました。 アセットをプロジェクトで再度開いて、編集したり、新しい実験を実行することができます。