完全一致評価基準

完全一致評価基準は、モデル予測の文字列と参照文字列を比較し、文字列が一致する頻度を測定します。

メトリックの詳細

Exact matchは、生成型AIの品質評価指標であり、 資産がタスクをどれだけうまく実行できるかを測定します。

範囲

完全一致の評価基準では、生成型AI 資産のみを評価します。

  • AI 資産の種類: テンプレートを即座に表示
  • 生成型AIのタスク ：
    • 質問への回答
    • エンティティー抽出
    • 検索強化型生成（RAG）
  • 対応言語アラビア語（ar）、デンマーク語（da）、英語（en）、フランス語（fr）、ドイツ語（de）、イタリア語（it）、日本語（ja）、韓国語（ko）、ポルトガル語（pt）、スペイン語（es）。

スコアと価値

完全一致メトリックスコアは、モデル予測文字列と参照文字列の完全一致の割合を示します。 スコアが高いほど、モデル予測の文字列が参照文字列と一致する頻度が高いことを示します。

  • 値の範囲 ： 0.0-1.0
  • 最高得点 ： 1.0
  • 比率：
    • 0: 参照と一致しない
    • 0以上：少なくとも1つの完全一致

設定

  • しきいち：
    • 下限： 0.8
    • 上限：1
  • パラメータ ：
    • 無視する正規表現：完全一致を計算する際に無視する文字の正規表現。
    • 大文字小文字を区別しない：Trueの場合、すべてを小文字に変換し、大文字と小文字の相違を無視します。
    • 句読点を無視する：Trueの場合、文字列を比較する前に句読点を削除します。
    • 数字を無視する：Trueの場合、文字列を比較する前にすべての数字を削除します。