评估模型

您可以浏览模型以了解评分的工作方式。 但是，要评估模型的工作 如何准确 ，您需要对某些记录进行评分。 评分记录是将实际结果与模型预测的响应进行比较的过程。 要评估模型，您可以对用于估算模型的相同记录进行评分。 通过比较相同的记录，可以比较观察到的响应和预测的响应。

1. 要查看评分或预测，请将 表 节点附加到模型块。 然后右键单击 Table 节点并选择 Run. 将生成一个表并将其添加到 " 输出 " 面板。 双击该条目以将其打开。

   该表显示模型创建的 $R-Credit rating 字段中的预测得分。 您可以将这些值与包含实际响应的原始 Credit rating 字段进行比较。

   按照约定，评分期间生成的字段的名称基于目标字段，但带有标准前缀。

   • $G 和 $GE 是广义线性模型生成的预测的前缀
   • $R 是 CHAID 模型生成的预测的前缀
   • $RC 表示置信度值
   • 通常使用整体生成 $X
   • 在目标字段为 "连续" ， "分类" ， "集合" 或 "标志" 字段的情况下， $XR， $XS和 $XF 用作前缀

   置信度值是模型自己对每个预测值的准确性的估计，范围为 0.0 到 1.0。

   

   正如预期的那样，预测值与许多记录的实际响应匹配，但并非所有记录都匹配。 出现此情况的原因是每个 CHAID 终端节点都具有混合响应。 该预测与 最常见的 预测匹配，但对于该节点中的所有其他节点都是错误的。 （回忆一下未违约的 18％ 少数低收入客户）

   为了避免此问题，您可以继续将树拆分为更小的分支，直到每个节点都是 100% 纯净的 Good 或 Bad (无混合响应)。 但这样的模型很复杂，不太可能很好地推广到其他数据集。

   要精确了解正确的预测数，可以通过表读取并统计预测字段 $R-Credit rating 的值与 Credit rating的值匹配的记录数。 但是，最容易使用 分析 节点，该节点会自动跟踪与这些值匹配的记录。

2. 将模型块连接到 分析 节点。
3. 右键单击 Analysis 节点并选择 Run. 分析条目被添加到 输出面板。 双击该条目以将其打开。

分析显示，对于 2464 条记录中的 1960 条记录 (超过 79%—the 值与实际响应匹配。

此结果受到以下事实的限制: 您评分的记录与用于估算模型的记录相同。 在实际情况下，可以使用 分区 节点将数据拆分为单独的样本以进行训练和评估。 通过使用一个样本分区来生成模型，并使用另一个样本来对其进行测试，您可以更好地指示它对其他数据集的泛化程度。

分析 节点可用于根据您已知道实际结果的记录来测试模型。 下一个阶段说明如何使用模型对不知道结果的记录进行评分。 例如，此数据集可能包含当前不是银行客户的人员，但他们是促销邮件的潜在目标。