Evaluación del modelo

Hemos estado explorando el modelo para comprender cómo funciona la puntuación. Pero para evaluar con qué precisión trabaja, debemos puntuar varios registros y comparar las respuestas predichas por el modelo con los resultados reales. Vamos a puntuar los mismos registros que se utilizaron para estimar el modelo, lo que nos permite comparar las respuestas observadas y predichas.

Figura 1. Adición del nugget de modelo a los nodos de salida para la generación del modelo

Para ver las puntuaciones o predicciones, adjunte el nodo Tabla al nugget de modelo, pulse dos veces en el nodo Tabla y pulse en Ejecutar.
La tabla muestra las puntuaciones predichas en un campo denominado $R-Valoración de crédito, creado por el modelo. Podemos comparar estos valores con el campo Valoración de crédito original que contiene las respuestas reales.

Por convención, los nombres de los campos generados durante la puntuación se basan en el campo objetivo, pero con un prefijo estándar. Los prefijos $G y $GE se generan mediante el modelo lineal generalizado, $R es el prefijo usado para la predicción generada por el modelo CHAID en este caso, $RC sirve para los valores de confianza, $X suele generarse utilizando un conjunto, y $XR, $XS y $XF se emplean como prefijos en casos en los que el campo de destino es un campo Continuo, Categórico, Conjunto o Marca, respectivamente. Los distintos tipos de modelo utilizan diferentes conjuntos de prefijos. Un valor de confianza es la estimación propia del modelo, en una escala de 0,0 a 1,0, sobre el grado de precisión de cada valor predicho.

Figura 2. Tabla que muestra las puntuaciones generadas y los valores de confianza

Como se esperaba, el valor predicho coincide con las respuestas reales de muchos registros, pero no todos. El motivo es que cada nodo terminal CHAID tiene una mezcla de respuestas. La predicción coincide con la más común, pero es incorrecto para el resto de dicho nodo. (Recuerde la minoría del 16% de clientes con ingresos bajos que no cometió mora en los pagos.)

Para evitarlo, podemos seguir dividiendo el árbol en ramas cada vez más pequeñas, hasta que cada nodo sea 100 % todo puro Bueno o Malo sin respuestas mixtas. Pero dicho modelo sería extremadamente complicado y probablemente no se generalizaría bien en otros conjuntos de datos.

Para descubrir exactamente cuántas predicciones son correctas, podríamos observar la tabla y anotar el número de registros en los que el valor del campo predicho $R-Valoración de crédito coincida con el valor de Valoración de crédito. Afortunadamente, hay un modo más sencillo: podemos utilizar un nodo Análisis, que lo hace automáticamente.
Conecte el nugget de modelo al nodo Análisis.
Pulse dos veces en el nodo Análisis y pulse en Ejecutar.

El análisis muestra que para 1899 de 2464 registros (más del 77%), el valor predicho por el modelo coincidía con la respuesta real.

Figura 4. Resultados de análisis que comparan respuestas observadas y predichas

Este resultado está limitado por el hecho de que los registros que se están puntuando son los mismos utilizados para calcular el modelo. En una situación real, podría utilizar un nodo Partición para dividir los datos en muestras separadas para el entrenamiento y la evaluación.

Si utiliza una partición de muestra para generar el modelo y otra muestra para comprobarlo, podrá obtener una indicación mucho mejor de lo bien que se generalizará en otros conjuntos de datos.

El nodo Análisis nos permite comprobar el modelo frente a registros para los que ya conocemos el resultado real. La etapa siguiente muestra cómo podemos utilizar el modelo para puntuar registros cuyos resultados no conocemos. Por ejemplo, esto podría incluir a personas que no son clientes actuales del banco, pero son posibles objetivos de correos promocionales.