評価メトリック
評価指標は、AIモデルのパフォーマンスを継続的に監視し、AIのライフサイクル全体を通じて洞察を提供するために役立ちます。 watsonx.governance を使用すると、これらの指標を活用して規制要件へのコンプライアンスを確実にし、リスクを軽減するための改善策を特定することができます。
Watsonx.governance で評価を実行し、自動監視による指標を生成することで、AIガバナンスの目標達成に役立つ実行可能な洞察を得ることができます。 これらの指標は、以下の目標達成に役立てることができます
- コンプライアンスの徹底 ：閾値が超過された際にアラートが発せられるため、進化する規制や組織のポリシーへの準拠を自動的に追跡できます。
- 透明性を推進する ：モデルの動作、パフォーマンス、結果の説明可能性について明確な洞察を提供するための詳細な文書を作成する。
- リスクを軽減する ：継続的な評価と積極的なリスク評価を通じて、バイアスや精度ドリフトなどの問題を検知し対処する。
- プライバシーとセキュリティを保護 ：個人識別情報（PII）の公開などのセキュリティ脆弱性を監視し、ガードレールを強化して機密データの悪用を防止します。
モデルのパフォーマンスに関する洞察を得るために使用できる評価基準は、有効にする評価の種類によって決まります。 各評価タイプでは、分析して洞察を得るための異なる指標が生成されます。
また、 ibm-watsonx-gov ノートブックのランタイム環境でメトリックを計算したり、評価のために IBM Analytics Engine に対して Spark ジョブとしてオフロードしたりするための Python SDK。 Python SDKは、機械学習モデルをプログラムで監視、管理、制御するために使用できる Python ライブラリです。 一部の指標は、 Python SDK でのみ利用できる場合があります。 詳細は、「 Python SDK によるメトリクスの計算 」を参照してください。
デプロイメントタイプ別のメトリック対応状況
次の表は、各デプロイメントタイプでサポートメトリックメトリクスを示しています。「✓」 メトリックメトリクスがサポートされていることを示し、空白はサポートされていないことを示します。
| メトリック・グループ | メトリック | 機械学習のオンライン講座 | 機械学習のバッチ処理 | 生成AIオンライン | 生成AIバッチ |
|---|---|---|---|---|---|
| モデルの正常性 | ペイロード・サイズ | ✓ | |||
| レコード | ✓ | ✓ | |||
| 評価要求 | ✓ | ✓ | |||
| ユーザー | ✓ | ✓ | |||
| 入力トークンの数 | ✓ | ||||
| 出力トークン・カウント | ✓ | ||||
| API待ち時間 | ✓ | ✓ | |||
| APIスループット | ✓ | ✓ | |||
| レコード待ち時間 | ✓ | ✓ | |||
| レコード・スループット | ✓ | ✓ | |||
| ドリフト v2 | 埋め込みドリフト | ✓ | |||
| フィーチャー・ドリフト | ✓ | ✓ | |||
| 入力メタデータのドリフト | ✓ | ✓ | ✓ | ||
| モデル品質ドリフト | ✓ | ||||
| 出力ドリフト | ✓ | ✓ | ✓ | ||
| 出力メタデータ・ドリフト | ✓ | ||||
| 予測ドリフト | ✓ | ||||
| 公平性 | 平均絶対オッズ差 | ✓ | ✓ | ✓* | |
| 平均オッズ差 | ✓ | ✓ | ✓* | ||
| 差別的影響 | ✓ | ✓ | ✓* | ||
| エラー率の差 | ✓ | ✓ | ✓* | ||
| 偽のディスカバリー率の差 | ✓ | ✓ | ✓* | ||
| 偽陰性率の差 | ✓ | ✓ | ✓* | ||
| 偽の除外率の差 | ✓ | ✓ | ✓* | ||
| 偽陽性率の差 | ✓ | ✓ | ✓* | ||
| 影響スコア | ✓ | ✓ | ✓* | ||
| 統計パリティーの差 | ✓ | ✓ | ✓* | ||
| 生成 AI の品質 | BLEU | ✓ | |||
| 完全一致 | ✓ | ||||
| METEOR | ✓ | ||||
| 可読性 | ✓ | ||||
| ROUGE | ✓ | ||||
| SARI | ✓ | ||||
| 文の類似性 | ✓ | ||||
| テキスト品質 | ✓ | ||||
| 回答の品質 | 回答の関連性 | ✓ | |||
| 回答の類似性 | ✓ | ||||
| 忠実さ | ✓ | ||||
| 失敗した要求 | ✓ | ||||
| コンテンツ分析 | 抽象性 | ✓ | |||
| 圧縮 | ✓ | ||||
| カバレッジ | ✓ | ||||
| 密度 | ✓ | ||||
| 反復性 | ✓ | ||||
| 検索品質 | 平均精度 | ✓ | |||
| コンテキスト関連性 | ✓ | ||||
| ヒット率 | ✓ | ||||
| 正規化減損累積利得 | ✓ | ||||
| 逆順位 | ✓ | ||||
| 検索精度 | ✓ | ||||
| データの安全 | HAP | ✓ | |||
| PII | ✓ | ||||
| マルチラベル分類 | マクロ F1 スコア | ✓ | ✓ | ||
| マクロの適合率 | ✓ | ✓ | |||
| マクロの再現率 | ✓ | ✓ | |||
| マイクロ F1 スコア | ✓ | ✓ | |||
| マイクロの適合率 | ✓ | ✓ | |||
| マイクロの再現率 | ✓ | ✓ | |||
| 品質 | 正解性 | ✓ | ✓ | ✓ | |
| PR 曲線下面積 | ✓ | ✓ | |||
| 偽陽性率 | ✓ | ✓ | |||
| 正検出率 | ✓ | ✓ | |||
| ROC 曲線下面積 | ✓ | ✓ | |||
| ブライア・スコア | ✓ | ||||
| F1-Measure | ✓ | ✓ | |||
| ジニ係数 | ✓ | ||||
| ラベルの傾き | ✓ | ✓ | |||
| 対数損失 | ✓ | ✓ | |||
| マシューズ相関係数 | ✓ | ✓ | |||
| 平均絶対誤差 | ✓ | ✓ | |||
| 平均絶対誤差率 | ✓ | ✓ | |||
| 平均二乗誤差 | ✓ | ✓ | |||
| ピアソン相関係数 | ✓ | ||||
| 精度 | ✓ | ✓ | |||
| 分散説明率 | ✓ | ✓ | |||
| リコール | ✓ | ✓ | |||
| 平均平方二乗誤差 | ✓ | ✓ | |||
| R 2 乗 | ✓ | ✓ | |||
| Spearman の相関係数 | ✓ | ||||
| 調整平均絶対誤差率 | ✓ | ✓ | |||
| 加重真陽性率 | ✓ | ✓ | ✓ | ||
| 加重偽陽性率 | ✓ | ✓ | ✓ | ||
| 加重 F1 値 | ✓ | ✓ | ✓ | ||
| 加重適合率 | ✓ | ✓ | ✓ | ||
| 加重再現率 | ✓ | ✓ | ✓ | ||
| 説明可能性 | ライム | ✓ | ✓ | ||
| SHAP | ✓ | ✓ | |||
| 対比的説明 | ✓ | ✓ |
* 生成型AI デプロイメントオンライン展開における公平性メトリック テキスト分類のユースケースでのみサポートされています。
以下のセクションでは、各メトリックグループについて、個々のメトリックトリックの説明や設定情報へのリンクを含め、詳しく解説します。
ドリフト v2 評価指標
Drift v2 の評価指標は、モデルの一貫した結果を確保するために、データの経時的な変化を測定するのに役立ちます。 これらの指標を使用して、モデル出力の変化、予測の正確さ、入力データの分布を特定することができます。 Watsonx.governance 次のドリフト メトリクスをサポートしています。 v2
| メトリック | 説明 |
|---|---|
| 埋め込みドリフト | 基準データと比較した際に異常値となるレコードの割合を検出する |
| フィーチャー・ドリフト | 重要な特徴の値分布の変化を測定する |
| 入力メタデータのドリフト | LLM入力テキストのメタデータの分布の変化を測定する |
| モデル品質ドリフト | 推定実行時間の精度とトレーニング精度を比較し、精度の低下を測定します。 |
| 出力ドリフト | モデルの信頼区間の変化を測定する |
| 出力メタデータ・ドリフト | LLM出力テキストのメタデータの分布の変化を測定します。 |
| 予測ドリフト | LLMの予測クラスにおける分布の変化を測定します。 |
公平性評価指標
公平性評価指標は、モデルが偏った結果を生み出しているかどうかを判断するのに役立ちます。 これらの指標を使用して、あるモデルが、あるグループに対して別のグループよりも好ましい結果をより多く提供する傾向があるかどうかを特定することができます。 Watsonx.governance 以下の公平性評価指標をサポートしています
| メトリック | 説明 |
|---|---|
| 平均絶対オッズ差 | モニタリンググループと参照グループ間の偽陽性率と真陽性率の平均の差を比較する |
| 平均オッズ差 | モニタリンググループと参照グループにおける偽陽性率と偽陰性率の差を測定する |
| 差別的影響 | モニタリング対象グループの良好な結果の割合と、参照グループの良好な結果の割合を比較する |
| エラー率の差 | 貴社のモデルによって不正確にスコア付けされた取引の割合 |
| 偽のディスカバリー率の差 | 正の結果となった全取引に占める割合としての、誤って正と判定された取引の件数 |
| 偽陰性率の差 | 貴社のモデルによって正しく評価された取引が、誤って負として評価された割合 |
| 偽の除外率の差 | 否定的な結果となった全取引に占める割合としての、偽陰性取引の件数 |
| 偽陽性率の差 | モデルによって正しくないスコアが付けられたネガティブな取引の割合。 |
| 影響スコア | 好ましい結果を得るためにモニタリングされたグループが選択される割合と、好ましい結果を得るために参照グループが選択される割合を比較する。 |
| 統計パリティーの差 | モニタリングされたグループと参照グループの良好な結果の割合を比較する。 |
生成型AIの品質評価指標
生成型AIの品質評価指標は、 基盤モデルがタスクをどの程度うまく実行できるかを測定するのに役立ちます。 Watsonx.governance 以下の生成AIの品質評価指標をサポートしています
| メトリック | 説明 |
|---|---|
| BLEU （バイリンガル評価代行） | 機械翻訳の訳文と参照訳の訳文を比較し、参照テキストと予測の類似性を測定する |
| 完全一致 | モデル予測文字列と参照文字列を比較し、一致する頻度を測定します。 |
| METEOR （明示的順序付き翻訳評価基準） | 機械翻訳で生成されたテキストが、参照翻訳のテキストの構造とどの程度一致しているかを測定する |
| 可読性 | 文の長さや単語の複雑性などの特性を測定することで、モデルの出力がどの程度読みにくいかを判断する |
| ROUGE （要約評価のためのリコール志向代役） | 生成された要約や翻訳が、参照用出力とどの程度一致しているかを測定する。 |
| SARI （参照および入力文に対するシステム出力） | 予測された文の出力と参照文の出力とを比較し、モデルが文を生成する際に使用する単語の品質を測定する |
| 文の類似性 | 文章埋め込みから意味情報を取得し、テキスト間の類似度を測定する |
| テキスト品質 | SuperGLUE のデータセットに対して、モデルの予測値とグランドトゥルースデータに対する F1 スコア、精度、再現性を測定することで、モデルの出力を評価する |
Watsonx.governance また、生成型AIの品質評価指標として、以下の異なるカテゴリーもサポートしています
回答の品質評価基準
回答品質の評価基準を使用して、モデル回答の品質を評価することができます。 回答の品質評価指標は、LLMを裁判官モデルとして使用して算出されます。 LLM-as-a-judgeモデルを使用して評価基準を計算するには、モデルを呼び出すスコアリング関数を作成します。 詳細については、 IBM watsonx.governance for RAG を使用した回答品質と検索品質メトリックの計算」タスクノートブックを参照してください。
以下の回答品質メトリクスを計算できます
| メトリック | 説明 |
|---|---|
| 回答の関連性 | モデル出力の回答がモデル入力の質問にどの程度関連しているかを測定する |
| 回答の類似性 | モデルのパフォーマンスの質を判断するために、回答または生成されたテキストが基準回答または参照回答とどの程度類似しているかを測定する |
| 忠実さ | モデル出力がモデルの文脈においてどの程度根拠に基づいているかを測定し、モデル出力に最も貢献している重要な文を示すために、文脈からの帰属情報を提供します。 |
| 失敗した要求 | 全質問数に対する回答できなかった質問数の割合を測定する |
コンテンツ分析指標
以下のコンテンツ分析メトリクスを使用して、モデル入力またはコンテキストに対するモデル出力を評価することができます
| メトリック | 説明 |
|---|---|
| 抽象性 | 基盤モデルソースコンテンツに含まれない生成テキスト出力におけるn-gramの比率を測定する |
| 圧縮 | 原文の単語数と基盤モデル単語数の比率を計算することで、入力テキストと比較した要約の短縮率を測定する |
| カバレッジ | 基盤モデルの出力がモデル入力から生成されている度合いを、出力テキストのうち入力にも含まれているものの割合を計算することで測定する |
| 密度 | 基盤モデル要約が、モデル入力からどの程度抽出されているかを測定する。原文からの直接的な抽出とよく似た抽出断片の平均を計算することで行う |
| 反復性 | 基盤モデル繰り返されるn-gramの割合を、繰り返されるn-gramの数とモデル出力のn-gramの総数を計算することで測定する |
データ安全性指標
以下のデータ安全性指標を使用して、モデルの入力または出力に有害な情報や機密情報が含まれているかどうかを確認することができます
| メトリック | 説明 |
|---|---|
| HAP | モデルの入力または出力データに、憎悪、虐待、冒涜を含む有害な内容が含まれているかどうかを測定します。 |
| PII | Watson 自然言語処理エンティティ抽出モデルを使用して、モデルの入力または出力データに個人を特定できる情報が含まれているかどうかを測定します |
複数のラベル/クラスのメトリック
多ラベル/多クラス予測のモデル性能を測定するには、以下の多ラベル/クラス指標を使用できます
| メトリック | 説明 |
|---|---|
| マクロ F1 スコア | 各クラスごとに個別に計算された F1 スコアの平均値 |
| マクロの適合率 | 各クラスごとに個別に計算された精度スコアの平均値 |
| マクロの再現率 | 各クラスごとに個別に計算された想起得点の平均値 |
| マイクロ F1 スコア | 精度と再現率の調和平均を計算する |
| マイクロの適合率 | 全クラスに対する正解予測数の割合を、全予測数で割ったもの。 |
| マイクロの再現率 | 全クラスにおける正解予測数と真のサンプル数の比率。 |
検索品質の評価基準
検索品質の評価指標を使用して、検索システムが関連性の高い文脈をランク付けする品質を測定することができます。 検索品質の評価指標は、LLMを裁判官に見立てたモデルで算出されます。 LLM-as-a-judgeモデルを使用して評価基準を計算するには、モデルを呼び出すスコアリング関数を作成します。 詳細については、 IBM watsonx.governance for RAG を使用した回答品質と検索品質メトリックの計算」タスクノートブックを参照してください。
以下の検索品質指標を計算できます
| メトリック | 説明 |
|---|---|
| 平均精度 | 関連コンテキストの精度スコアの平均を計算することで、関連コンテキストのすべてが上位にランク付けされているかどうかを評価する |
| コンテキスト関連性 | モデルが取得した文脈が、プロンプトで指定された質問とどの程度関連しているかを測定します |
| ヒット率 | 取得したコンテキストの中に、少なくとも1つは関連するコンテキストがあるかどうかを測定する。 |
| 正規化減損累積利得 | 取得したコンテキストのランキング品質を測定する |
| 逆順位 | 最初の関連文脈の相互ランク |
| 検索精度 | 取得されたコンテクストの総数から、関連するコンテクストの数を測定する |
モデル健康モニター評価指標
モデルヘルスモニター評価基準は、モデルの動作とパフォーマンスを理解するのに役立ちます。 デプロイメントがトランザクションを処理する効率性を判断することで、モデルの動作とパフォーマンスを理解することができます。 モデルの健康評価メトリクスは、本番環境での機械学習モデル評価および生成型AI 資産 デプロイメントに対してデフォルトで有効になっています。 Watsonx.governance 以下のモデルヘルスモニター評価指標をサポートしています
| メトリック | 説明 |
|---|---|
| ペイロード・サイズ | デプロイメントがスコアリングリクエストを処理する際に生成されるトランザクションレコードの合計、平均、最小、最大、中央値のペイロードサイズ（キロバイト（KB）単位） |
| レコード | スコアリングリクエスト全体で処理されるトランザクションレコードの合計数、平均数、最小数、最大数、中央値 |
| 評価要求 | デプロイメントが受け取るスコアリングリクエストの数 |
| ユーザー | デプロイメントにスコアリングリクエストを送信するユーザーの数 |
Watsonx.governance また、以下の異なるカテゴリーのモデルヘルスモニター評価指標もサポートしています
トークン数
以下のトークンカウントメトリクスは、 デプロイメントに対するスコアリングリクエストで処理されたトークンの数を計算します
| メトリック | 説明 |
|---|---|
| 入力トークンの数 | 評価中の複数のスコアリングリクエストにおける入力トークン数の合計、平均、最小、最大、中央値を計算します |
| 出力トークン・カウント | 評価中の採点リクエスト全体における出力トークン数の合計、平均、最小、最大、中央値を計算します |
スループットとレイテンシ
モデルヘルスモニター評価では、スコアリングリクエストとトランザクションレコードをミリ秒（ms）単位で処理するのにかかる時間を追跡することで、レイテンシを計算します。 スループットは、1秒あたりに処理されるスコアリングリクエスト数とトランザクション記録を追跡することで算出されます。
評価期間中のスループットとレイテンシを測定するために、以下の指標が算出されます
| メトリック | 説明 |
|---|---|
| API待ち時間 | デプロイメントスコアリングリクエストを処理するのにかかった時間（ミリ秒単位）。 |
| APIスループット | デプロイメントで1秒間に処理されたスコアリングリクエストの数 |
品質評価指標
品質評価は、モデルのパフォーマンスの良し悪しに基づいて、正しい結果を導くモデルの能力を測定するのに役立ちます。 Watsonx.governance 以下の品質評価指標をサポートしています
| メトリック | 説明 |
|---|---|
| 正解性 | モデル予測の正確さを、結果の総数における正しい結果の割合を計算することで測定します。 |
| PR 曲線下面積 | モデルが正しく正のクラスを特定し、すべての正のクラスを見つけられるバランスをどれだけうまく取れているかを測定します |
| ROC 曲線下面積 | モデルがクラス間の違いをどれだけ正確に識別できるかを測定します。 |
| ブライア・スコア | 予測確率と目標値の間の平均二乗誤差を測定する。 |
| F1-Measure | 評価指標 適合率と再現率の調和平均 |
| 偽陽性率 | 正のクラスにおける誤った予測の割合 |
| ジニ係数 | モデルが2つのクラスをどれだけうまく区別できるかを測定する |
| ラベルの傾き | ラベル分布の非対称性を測定する |
| 対数損失 | 対数尤度の平均（信頼度） |
| マシューズ相関係数 | 真陽性、偽陽性、真陰性、偽陰性を考慮した2値分類および多値分類の精度 |
| 平均絶対誤差 | モデル予測とターゲット値の絶対差の平均 |
| 平均絶対誤差率 | 予測値と実際値の平均パーセンテージ誤差の差を測定する |
| 平均二乗誤差 | モデル予測値と目標値の差の二乗平均 |
| ピアソン相関係数 | モデル予測値とターゲット値の間の線形関係を測定する。 |
| 精度 | 正のクラスの予測における正しい予測の割合 |
| 分散説明率 | 説明された分散とターゲット分散の比率。 説明された分散は、ターゲット分散と予測誤差の分散の差です。 |
| リコール | 正のクラスの正しい予測の割合 |
| 平均平方二乗誤差 | モデル予測とターゲット値の差を二乗した平均の平方根 |
| R 2 乗 | 予測誤差の目標分散と分散の差の比率 |
| Spearman の相関係数 | モデル予測値とターゲット値の関係における単調性を測定する。 |
| 調整平均絶対誤差率 | 予測値と実測値の差の割合誤差の対称平均を測定する |
| 正検出率 | 正のクラスの予測における正しい予測の割合 |
| 加重偽陽性率 | 正のクラスにおける誤った予測の割合 |
| 加重 F1 値 | クラス確率に等しい重みを用いた F1-measure の加重平均 |
| 加重適合率 | クラス確率に等しい重み付け精度の加重平均 |
| 加重再現率 | クラス確率に等しい重み付けをした想起の加重平均 |