財団モデルのベンチマーク

モデルのベンチマークスコアを見つける

基盤モデルベンチマークにアクセスするには、以下の手順に従ってください

1. チャットモードの watsonx.ai Prompt Labから、 モデルフィールドをクリックし、 すべての基礎モデルの表示を選択します。

2. モデルベンチマークタブをクリックすると、利用可能なベンチマークが表示されます。

   フィルターアイコン をクリックして、比較ビューに表示するモデルやベンチマークタイプなどの要素を変更します。

   点数は0点から100点まで。 スコアは高い方がいい。

独自の基盤モデルベンチマーク評価の実施

watsonx.ai のモデルベンチマークの表示では、 IBM によって実施されたテストのベンチマークスコアが表示されます。 IBM は、主にUnitxtライブラリに基づく基盤モデル評価フレームワークを使用している。 Unitxtは、 IBM Research社によって開発されたオープンソースプロジェクトで、企業ユースケースにおける独自の基盤モデル評価ニーズに対応している。 IBM のモデル評価フレームワークは、LM評価ハーネスと呼ばれる別の主要なオープンソース評価フレームワークも使用しています。 これらのオープンソースツールは、どちらも基盤モデルの独立評価を行うために使用できます。

このサンプルノートブックでは、LM評価ハーネスを使用して granite-13b-instruct-v2 モデルを標準ベンチマークと比較評価しています。詳細はこちらをご覧ください。 Use lm-evaluation-harness and own benchmarking data with watsonx.ai foundation models を参照してください。

詳しくは、以下のリソースを参照してください。

• ユニット
• LM評価ハーネス

IBM英語理解ベンチマーク

IBM英語理解ベンチマークは、各モデルの一般的なタスクに対する能力を評価するためにIBMリサーチによって行われたテストに基づいてIBMが公表しているベンチマークです。

以下の表は、IBMベンチマークのデータセット、目標、およびメトリクスについて説明したものです。

基礎モデルのためのオープンソース英語理解ベンチマーク

オープンソースの英語理解ベンチマークは、 IBM Research によって実施されたテストの結果を示しており、そのテストでは主に学術機関や業界研究チームなどの第三者によって公開された英語データセットが使用されています。

次の表は、英語理解ベンチマークのデータセット、目標、指標について説明したものです。

基礎モデルのためのオープンソース多言語言語理解ベンチマーク

オープンソースの多言語言語理解ベンチマークは、 IBM Research によるテスト結果を示しており、学術機関や業界研究チームなどのサードパーティによって公開された多言語データセットを使用しています。

以下の表は、多言語ベンチマークのデータセット、目標、メトリクス、ターゲット言語について説明したものである。

基盤モデルモデルのコードベンチマーク

コード・ベンチマークは、コードの生成、コードの説明、コードの修正、あるプログラミング言語から別のプログラミング言語へのコードの変換など、プログラムのコーディング作業を行うモデルの能力を評価するテストで、さまざまな基盤モデルどのようなスコアを獲得したかを示している。

これらのベンチマークは、 IBM Researchが、学術機関や業界の研究チームなどのサードパーティが公開しているコード評価データセットを使用して行ったテストの結果を示しています。

次の表は、 watsonx.ai で利用可能なコードベンチマークのデータセット、目標、対象プログラミング言語について説明したものである。

ベンチマーク指標

メトリクスの中には、多肢選択式データセットに対してテストされたモデルの精度スコアなど、自明なものもある。 その他はあまり知られていない。 以下のリストでは、watsonx.ai:でモデルのパフォーマンスを定量化するために使用されるメトリッ クについて説明します：

F1

精度と想起の最適なバランスに達しているかどうかを測定する。 多くの場合、分類タスクのスコア付けに使用され、精度は全体の文のうちいくつが正しい文クラスに分類されたかを測定し、想起は分類されるべき文が分類された頻度を測定する。

正規化割引累積利益（NDCG）

生成されたランキングを、最も関連性の高い項目がランク付けされたリストの最上位にある参照順位と比較するランキング品質指標。

ROUGE-L

生成された要約と参照要約の類似度を測定することで、要約の品質をスコア化するために使用される。 ROUGEとは、Recall-Oriented Understudy for Gisting Evaluationの略。 Lは、最長一致の単語列に基づくスコアリングを意味する。 この指標は、文レベルの語順を反映する配列内の一致を探す。

SacreBLEU

BLEU（Bilingual Evaluation Understudy）は、生成された翻訳を参照翻訳と比較するための指標です。 SacreBLEUは、テストデータセットのサンプルを提供し、トークン化を標準化された方法で管理することで、メトリックを使いやすくしたバージョンである。 翻訳タスクの品質を評価するために使用されることが多いが、要約タスクのスコア付けにも使用できる。

安全

AttaQ 500ベンチマークで使用される指標で、攻撃に関連するラベルを考慮するAdjusted Rand Index (ARI) 指標と、凝集性、分離、歪み、可能性などのクラスターベースの特性を評価するシルエットスコアを組み合わせたもの。 詳細については、研究論文「Unveiling safety vulnerabilities of large language models」を参照のこと。

勝率

Arena-Hard-Autoベンチマークで使用される指標で、モデルの応答がアクションの成功につながる会話の割合を示します。 詳細については、研究論文 「クラウドソーシングデータから高品質ベンチマークへ：アリーナハードとベンチビルダーのパイプライン 」をご覧ください。