Оценка модели

Мы просмотрели модель, чтобы понять, как работает скоринг. Но для оценки, насколько точно от работает, нужно оценить некоторые записи и сравнить предсказанные моделью отклики с действительными результатами. Мы собираемся исследовать те же записи, которые использовались для оценки модели, что позволит сравнить наблюдаемые и предсказанные отклики.

Рис. 1. Присоединение слепка модели к узлу выходных данных для оценки модели
Присоединение слепка модели к узлу выходных данных для оценки модели
  1. Чтобы увидеть оценки или предсказания, присоедините узел Таблица к слепку модели, дважды щелкните по узлу Таблица и нажмите кнопку Выполнить.

    Таблица покажет предсказанные оценки в поле с именем $R-Кредитный рейтинг, которое было создано моделью. Эти значения можно сравнить с исходным полем Кредитный рейтинг, которое содержит настоящие отклики.

    По соглашению имена сгенерированных при скоринге полей состоят из имени поля назначения со стандартным префиксом. Префиксы $G и $GE генерируются обобщенной линейной моделью; $R - это префикс, используемый для предсказания, генерируемого в данном случае моделью CHAID; $RC - для значения конфиденциальности, $X обычно генерируется при помощи ансамбля, а $XR, $XS и $XF используются в качестве префиксов в случаях, где поле назначения - непрерывное, категориальное, поле набора, или флаговое поле соответственно. Модели разных типов используют разные наборы префиксов. Значение достоверности - это собственная оценка модели в диапазоне от 0,0 до 1,0, насколько точно предсказано каждое значение.

    Рис. 2. Таблица, показывающая сгенерированные оценки и значения достоверности
    Таблица, показывающая сгенерированные оценки и значения достоверности

    Как и ожидалось, предсказанное значение совпадает с фактическими откликами для многих записей, но не для всех. Причина этого в том, что у каждого конечного узла CHAID есть смесь откликов. Предсказание совпадает с самым общим откликом, но оно неправильно для всех остальных откликов этого узла. (Вспомним о 16%-ном меньшинстве клиентов с низким доходом, которые не отказывались выполнять обязательства по кредиту).

    Для исключения этой ситуации мы можем продолжить расщепление дерева на всё меньшие и меньшие ветви, пока на каждом узле не окажется по 100% абсолютно Хороших или абсолютно Плохих клиентов без примеси других откликов. Но такая модель может быть чрезвычайно усложненной и скорее всего не будет хорошо обобщаться на другие наборы данных.

    Чтобы точно подсчитать, сколько есть правильных предсказаний, мы можем пройти по таблице и учесть количество записей, для которых значение в предсказанном поле $R-Кредитный рейтинг совпадает со значением в поле Кредитный рейтинг. К счастью, есть гораздо более простой способ - использовать узел Анализ, который делает это автоматически.

  2. Соедините слепок модели с узлом Анализ.
  3. Дважды щелкните по узлу Анализ и нажмите кнопку Выполнить.
Рис. 3. Присоединение узла Анализ
Присоединение узла Анализ

Анализ показывает, что для 1899 из 2464 записей (более 77%) предсказанное моделью значение совпадает с действительным откликом.

Рис. 4. Результаты анализа, сравнивающие наблюдаемые и предсказанные отклики
Результаты анализа, сравнивающие наблюдаемые и предсказанные отклики

Этот результат ограничен тем фактом, что оцениваемые записи были теми же, что использовались для оценки самой модели. В реальной ситуации можно было использовать узел Разделение, чтобы разбить данные на две отдельные выборки, для обучения и оценки.

Используя один раздел выборки для генерирования модели и другой - для ее испытания, можно получить гораздо более точный показатель, насколько хорошо модель обобщается на другие наборы данных.

Узел Анализ помогает испытать модель на записях, для которых мы уже знаем фактический результат. Следующая стадия иллюстрирует, как можно использовать модель, чтобы оценить записи, для которых мы не знаем выходных значений. Например, сюда могут быть включены потенциальные клиенты, которые еще не работают с банком, но представляют из себя будущих получателей рекламной рассылки.

Далее