基盤モデル

モデルのベンチマークスコアを確認する

基盤モデルモデルのベンチマークにアクセスするには、以下の手順に従ってください：

1. チャットモード Prompt Labwatsonx.ai で、[ ] フィールド モデル をクリックし、[ ] を選択します すべての基盤モデルを表示。

2. 「モデルベンチマーク 」タブをクリックして、利用可能なベンチマークを確認してください。

   「フィルター」 アイコン をクリックして、比較ビューに表示するモデルやベンチマークの種類などの条件を変更してください。

   スコアは0から100までの範囲です。 スコアは高い方がいい。

基盤モデルモデルのベンチマーク評価を実行する

watsonx.ai の「 モデルベンチマーク 」ビューには、 IBM によって実施されたテストのベンチマークスコアが表示されます。 IBM 基盤モデル評価フレームワークを採用しています。 Unitxtは、 IBM Researchが、エンタープライズでのユースケースにおける独自の基盤モデル評価ニーズに対応するために開発したオープンソースプロジェクトです。 IBM のモデル評価フレームワークは、LM Evaluation Harnessと呼ばれる、もう1つの主要なオープンソース評価フレームワークも利用しています。 これら2つのオープンソースツールは、 基盤モデル基盤モデルの独立した評価を行うために利用できます。

詳細については、LM評価ハンスを使用して granite-13b-instruct-v2 モデルを標準的なベンチマークと比較評価するこのサンプルノートブックを順を追って確認してください。 参照 基盤モデルwatsonx.ai に対して、lm-evaluation-harness と独自のベンチマークデータを使用する。

詳しくは、以下のリソースを参照してください。

• Unitxt
• LM評価用ハーネス

IBM 英語理解力の評価基準

IBM の英語理解ベンチマークは、各モデルの一般的なタスクを処理する能力を評価するために IBM Researchが実施したテストに基づき、 IBM が公表しているベンチマークです。

以下の表は、 IBM ベンチマークのデータセット、目標、 メトリックについてまとめたものです。

基盤モデルモデル向けのオープンソース英語理解ベンチマーク

オープンソースの英語理解ベンチマークは、 IBM Researchが実施したテストの結果を示しており、そのテストでは主に、学術機関や産業界の研究チームなどの第三者によって公開された英語データセットが使用されています。

以下の表は、英語理解ベンチマークのデータセット、目標、 メトリックについてまとめたものです。

基盤モデルモデル向けのオープンソース多言語理解ベンチマーク

オープンソースの多言語言語理解ベンチマークは、 IBM Researchが実施したテストの結果を示しており、学術機関や産業界の研究チームなどの第三者によって公開された多言語データセットを使用しています。

以下の表は、多言語ベンチマークのデータセット、目標、 メトリック、および対象言語についてまとめたものです。

基盤モデルモデルのコードベンチマーク

コードベンチマークでは、コードの生成、コードの説明、コードの修正、あるいはあるプログラミング言語から別のプログラミング言語へのコード変換など、プログラム的なコーディングタスクを実行するモデルの能力を評価するテストにおいて、 基盤モデルどのようなスコアを記録しているかが示されています。

これらのベンチマークは、 IBM Researchが、学術機関や産業界の研究チームなどの第三者によって公開されたコード評価データセットを用いて実施したテストの結果を示しています。

次の表は、 watsonx.ai で利用可能なコードベンチマークのデータセット、目的、および対象プログラミング言語についてまとめたものです。

ベンチマークメトリック

メトリック、その意味が自明です。例えば、多肢選択式データセットを用いて評価されたモデルの精度スコアなどが挙げられます。 あまり知られていないものもあります。 以下のリストは、 watsonx.ai: でモデルのパフォーマンスを定量化する際に使用されるメトリックを示しています

F1

精度と再現率の最適なバランスが達成されているかどうかを測定する。 分類タスクの評価によく用いられ、精度（Precision）は全文のうち正のクラスに分類された文の割合を示し、再現率（Recall）は分類されるべき文が実際に分類された割合を示す。

正規化割引累積利益（NDCG）

生成されたランキングを、最も関連性の高い項目がリストの上位に配置された基準順序と比較する、ランキングの品質メトリック。

ROUGE-L

生成された要約と参照用要約との類似度を測定し、要約の品質を評価するために使用される。 ROUGEは、要約評価のためのリコール重視型アンダースタディ（Recall-Oriented Understudy for Gisting Evaluation）の略称です。 「L」は、単語の最も長い連続する一致列に基づいてスコアを算出することを意味します。 メトリック 文レベルの語順を反映した連続した一致を探します。

SacreBLEU

BLEU（Bilingual Evaluation Understudy）は、生成された翻訳と参照翻訳を比較するためのメトリックである。 SacreBLEU このバージョンは、サンプルのテストデータセットを提供し、トークン化を標準化された方法で管理することで、 メトリックトリクスの利用を容易にするものです。 主に翻訳タスクの品質評価に使用されますが、要約タスクの採点にも利用できます。

安全

AttaQ 500ベンチマークで使用されるメトリックであり、攻撃に関連付けられたラベルを考慮する 「メトリック 調整済みランド指数（ARI）」と、凝集度、分離度、歪度、尤度といったクラスタ特性の評価を行う「シルエットスコア」を組み合わせたものである。 詳細については、研究論文 『大規模言語モデルのセキュリティ上の脆弱性の解明 』をご覧ください。

勝率

メトリック -Hard-Autoベンチマークで使用される指標で、モデルの応答によってアクションが正常に完了した会話の割合を示すものです。 詳細については、研究論文 「クラウドソーシングデータから高品質なベンチマークへ：Arena-HardとBenchbuilderのパイプライン」 をご覧ください。