モデルの評価

モデルを比較するには、2 つのデータ・セットを結合させる必要があります。

結合ノードを追加して、telco_Jan.sav と telco_Feb.sav の両方の入力ノードをそのノードに接続します。
図 1. 2 つのデータ・ソースの結合
ストリームの初期のフィルター・ノードおよびデータ型ノードをコピーして、ストリーム領域に貼り付けます。
レコード追加ノードを新しくコピーされたフィルター・ノードに接続します。
図 2. コピーされたノードのストリームへの貼り付け

2 つのベイズ・ネットワーク・モデルのナゲットは、右上隅の「モデル」パレットにあります。
Jan モデル・ナゲットをダブルクリックしてストリームに追加し、新しくコピーされたデータ型ノードにそれを接続します。
ストリーム内に既にある Jan-Feb モデル・ナゲットを Jan モデル・ナゲットに接続します。
Jan モデル・ナゲットを開きます。
図 3. ナゲットのストリームへの追加

ベイズ・ネットワーク・モデル・ナゲットの「モデル」タブは、2 つの列に分けられています。左側の列には、予測値間の関係に加え、対象と最も重要な予測値間の関係を表示するノードのネットワーク・グラフが含まれています。

右側の列には、モデル推定時に各予測値の相対重要度を示す予測値の重要度、または各ノード値および親ノードの値の各組み合わせの条件確率値を含む条件確率 が表示されます。

図 4. 予測値の重要度を示すベイズ・ネットワーク・モデル

ノードの条件確率を表示するには、左側の列のノードをクリックします。右側の列が更新され、必要な詳細が表示されます。

条件確率は、データ値がノードの親および兄弟ノードに関連して分割された各ビンごとに表示されます。

図 5. 条件確率を表示するベイズ・ネットワーク・モデル
明確にするためにモデル出力の名前を変更するには、フィルター・ノードを Jan-Feb モデル・ナゲットに接続します。
右側の「フィールド」列で、$B-churn を Jan に、$B1-churn を Jan-Feb に名前変更します。
図 6. モデル・フィールド名の変更

各モデルが解約をいかに正確に予測しているかチェックするには、精度分析ノードを使用します。これにより、正しい予測および正しくない予測の両方の割合によって精度が示されます。
精度分析ノードをフィルター・ノードに接続します。
精度分析ノードを開いて、「実行」をクリックします。
これにより、両モデルが解約の予測において同じような精度であることが示されます。

図 7. モデルの精度分析

精度分析ノードの代わりに評価グラフを使用し、ゲイン・グラフを作成すると、モデルの予測精度を比較することができます。
評価グラフ作成ノードをフィルター・ノードに接続します。

次に、デフォルト設定を使用してグラフ作成ノードを実行します。

グラフは精度分析ノードと同様に、各モデル・タイプが同じような結果を作成していることを示しますが、両方の月のデータを使用するリトレーニング・モデルの方が予測の信頼度が高いため、少し良い結果になっています。

IBM® SPSS® Modeler で使用されるモデル作成方法の数学的な基礎の説明については、インストール・ディスクの ¥Documentation ディレクトリーにある「IBM SPSS Modeler アルゴリズム・ガイド」を参照してください。

これらの結果は学習データのみに基づくことに注意してください。モデルが実際の世界の他のデータにどれだけうまく一般化されるかを評価するには、データ区分ノードを使用して、テストおよび検証の目的でレコードのサブセットを保持します。