モデル評価の結果の読み込み

評価グラフの解釈は、ある程度グラフの種類によって異なりますが、すべての評価グラフに共通する特性もあります。累積グラフの場合、特にグラフの左側において、上部の線ほどすぐれたモデルであることを意味しています。また、複数モデルを比較するときに線がクロスすることがよくあります。つまり、グラフの一部であるモデルの線が上になっており、グラフの別の部分で異なるモデルの線が上になっているような場合です。このような場合に使用するモデルを選択するときは、サンプルのどの部分が必要かを考慮 (x 軸上のポイントを定義) しなければなりません。

ほとんどの非累積グラフは非常に似ています。すぐれたモデルの場合、非累積グラフはグラフの左側が高く、右側は低くなります(非累積グラフがのこぎり形になっている場合は、作図する分位数を減らしてグラフを再実行すると、滑らかにすることができます)。グラフの左側が落ち込んでいる場合や右側が鋭くとがっている場合は、モデルのその領域の予測精度が低いことを意味しています。また、グラフ全体を通して線が平坦な場合は、モデルからはほとんど情報が得られないことを意味しています。

ゲイン・グラフ。累積ゲイン・グラフは、常に左から右に向かって進み、0% で始まり 100% で終わります。適切なモデルの場合、ゲイン・グラフは 100% に向けて急勾配で上昇し、その後、水平状態になります。左下から右上に 45 度の線を描くモデルからは情報が得られません (このモデルは、「ベースラインを含める」 を選択した場合にグラフに表示されます)。

リフト・グラフ。累積リフト・グラフは、左から右に向かって進み、1.0 より上から始まって 1.0 に近づくにつれ徐々に下降します。グラフの右端がデータ・セット全体を表します。つまり、データ全体のヒット数に対する累積分位内のヒット数の比率は 1.0 です。すぐれたモデルの場合、リフト・グラフは左端で 1.0 のかなり上から始まったまま、右に移動しても高い状態を維持し、グラフの右側で 1.0 に向かって急激に下降します。グラフ全体にわたって線が 1.0 付近に留まっているモデルからは、情報が得られません(「ベースラインを含める」 を選択すると、グラフの 1.0 のレベルに水平線が参照線として表示されます)。

回答グラフ。累積回答グラフはリフト・グラフと非常に似ていますが、尺度が異なります。回答グラフは、通常 100% 付近から始まり、グラフの右端で全体的な応答率 (総ヒット数 / 総レコード数) に達するまで徐々に下降します。すぐれたモデルの場合、線は左側の 100% 付近から始まったまま、右に移動しても高い状態を維持し、グラフの右側で全体的な応答率に向かって急激に下降します。グラフ全体にわたって線が全体的な応答率のレベルに留まっているグラフからは、情報が得られません(「ベースラインを含める」 を選択すると、グラフの全体的な応答率のレベルに水平線が参照線として表示されます)。

利益グラフ。累積利益グラフでは、左から右に向かって、選択したサンプルのサイズの増加に伴う利益の合計が示されます。通常、利益グラフは 0 付近から始まり、中央の山形または台形の部分に向かって徐々に増加し、グラフの右端に向かって下降します。すぐれたモデルの場合、グラフの中央付近にくっきりとした山形が見られます。線が比較的真っ直ぐで、適用するコストや収益の構造によって上昇または下降したり、平坦になったりするモデルからは、情報が得られません。

ROI グラフ。累積 ROI (投資収益) グラフは、回答グラフおよびリフト・グラフと似ていますが、尺度が異なります。ROI グラフは通常 0% 付近から始まり、データ・セット全体の ROI に達するまで徐々に下降します (負の値になることもあります)。すぐれたモデルの場合、線は 0% 付近から始まったまま、右に移動しても高い状態を保ち、グラフの右側で全体的な ROI 値に向かって急激に下降します。線が全体的な ROI 値の付近に留まっているモデルからは情報が得られません。

ROC グラフ。 ROC 曲線は一般に、 累積ゲイン・グラフの形状を持ちます。曲線は座標 (0,0) で始まり、 左から右へ進んで座標 (1,1) で終わります。グラフが座標 (0,1) に向かって急激に上昇した後に水平になる場合は、 よい分類子であることを示します。インスタンスを無作為にヒットまたは外れに分類するモデルは、 左下から右上に向かう対角線をたどります (対角線は、 「ベースラインを含める」を選択するとグラフに表示されます)。モデルの確信度フィールドが提供されていない場合、 モデルは単一のポイントとしてプロットされます。最適な分類しきい値を持つ分類子は、 グラフの座標 (0,1)、つまり左上の近くに位置します。この位置は、 正しくヒットと分類されるインスタンスが多く、 誤ってヒットと分類されるインスタンスが少ないことを表します。対角線より上のポイントは、 良好な分類結果を表します。対角線より下のポイントは、 インスタンスを無作為に分類した場合よりも悪い分類結果を表します。