Python SDKを用いた生成AIのメトリック計算

Python SDK ibm-watsonx-gov は、資産 AI資産をプログラムで監視、管理、統制するために使用できる Python ライブラリです。 Python SDK を使用して、ノートブックの実行環境でメトリクスやアルゴリズムを計算したり、 IBM Analytics Engine に対してSparkジョブとしてオフロードしたりして、モデル評価を行うことができます。

Python ibm-watsonx-gov SDK メトリック評価指標を計算し、インサイトを生成します。モジュールを使用してアプリケーションと統合することで、これらのタスクを自動化することができます。サンプルノートブックを使用してメトリクスを計算することもできます。

モジュール

Python SDKは、モデル評価のためのタスクを自動化し、洞察を生成するのに役立つ以下のモジュールをサポートしています

メトリック

Python SDKは、生成AI 資産の評価に役立つメトリックサポートしています。詳細は、「評価指標」を参照してください。

現在、以下の指標は Python SDKでのみご利用いただけます

表13. Python SDK評価指標の説明
メトリック	説明
敵対的頑健性	プロンプト注入や脱獄などの敵対的攻撃に対するモデルとプロンプトテンプレートの頑健性を測定します
漏洩リスクの早期発見	流出したプロンプトテンプレートとオリジナルのプロンプトテンプレートとの類似度を計算することで、プロンプトテンプレートの漏洩リスクを測定する
ナチュラル・ロバストネス	言い換え、タイプミス、スタイルの変更など、自然な入力の変化に対してモデルがどれだけ一貫して反応するかを測定します。スコアが高いほど、悪意のない変更に対する安定性が高いことを示す。
キーワードの包含	基盤モデルと参照または基準値との間の名詞と代名詞の類似度を測定する
質問の堅牢性	モデル入力問題の英語のスペルミスを検出する

次のメトリックカテゴリーは、 Python SDK でのみ利用可能です

コンテンツ検証指標

コンテンツ検証メトリクスは、文字列ベースの関数を使用して、生成されたLLM出力テキストを分析および検証します。入力には、コンテンツ検証メトリクスを生成するために、LLMから生成されたテキストのリストを含める必要があります。

入力にトランザクション・レコードが含まれていない場合、メトリクスはコンテンツ検証の成功率を測定し、その比率を検証の総数と比較する。入力にトランザクション・レコードが含まれている場合、このメトリクスは、検証の総数と比較したときに成功したコンテンツ検証の比率を測定し、指定されたrecord_idで検証結果を計算します。

以下のコンテンツ検証メトリクスを計算できます：

表14. コンテンツ検証評価指標の説明
メトリック	説明
すべて含む	予測の行が指定されたキーワードをすべて含んでいるかどうかを測定する
いずれかを含む	予測の行に指定キーワードのいずれかが含まれているかどうかを測定する
メールが含まれています。	予測の各行に電子メールが含まれているかどうかを測定する
JSONを含む	予測の行にJSON構文が含まれているかどうかを測定します
リンクを含んでいます。	予測の行にリンクが含まれているかどうかを測定する
含まれていない	予測結果の行に指定キーワードが含まれていないかどうかを測定する
文字列を含む	予測結果の各行に指定の文字列が含まれているかどうかを判定する
有効なリンクが含まれています。	予測の行に有効なリンクが含まれているかどうかを測定する
次で終わる	予測の行が指定された部分文字列で終わっているかどうかを測定する
等しい	予測の行が指定された部分文字列と一致しているかどうかを測定する
ファジー・マッチ	予測がキーワードに曖昧に一致するかどうかを測定する
メールは	予測の行に有効なメールアドレスが含まれているかどうかを測定する
JSONとは	予測の行に有効なJSON構文が含まれているかどうかを測定する
長さより大きい	予測における各行の長さが指定された最大値よりも大きいかどうかを測定する
長さ未満	予測における各行の長さが指定された最大値以下であるかどうかを測定する
無効なリンクはありません。	予測の行に無効なリンクがないかどうかを測定する
正規表現	予測の行に指定の正規表現が含まれているかどうかを測定する
次で始まる	予測の行が指定された部分文字列で始まっているかどうかを測定する