평가 노드

평가 노드는 예측 모델을 평가하고 비교하여 애플리케이션에 가장 적합한 모델을 선택하는 쉬운 방법을 제공합니다. 평가 차트는 모델이 특정 결과를 예측하는 데 수행하는 방법을 표시합니다. 예측의 예측값 및 신뢰도를 기반으로 레코드를 정렬하고 레코드를 동일한 크기 (분위수) 의 그룹으로 분할한 후 각 분위수에 대한 비즈니스 기준의 값을 가장 높은 값에서 가장 낮은 값으로 플로팅하여 작업합니다. 다중 모델은 도표에서 별도의 선으로 표시됩니다.

결과는 특정 값 또는 값 범위를 적중으로 정의하여 처리됩니다. 적중은 일반적으로 일부 정렬 (예: 고객에 대한 판매) 또는 관심 이벤트 (예: 특정 의료 진단) 의 성공을 표시합니다. 노드 특성의 OPTIONS 섹션에서 적중 기준을 정의하거나 다음과 같이 기본 적중 기준을 사용할 수 있습니다.

• 플래그 출력 필드는 간단합니다. 적중은 true 값에 해당합니다.
• 명목 출력 필드의 경우 세트의 첫 번째 값이 적중을 정의합니다.
• 연속형 출력 필드의 경우, 적중은 필드 범위의 중심점보다 큰 값과 같습니다.

여섯 가지 유형의 평가 차트가 있으며 각 차트는 서로 다른 평가 기준을 강조합니다.

이익 차트

이익은 각 분위수에서 발생하는 총 적중의 비율로 정의됩니다. 이익은 (number of hits in quantile / total number of hits) × 100%으로 계산됩니다.

리프트 차트

리프트는 적중인 각 분위수의 레코드 백분율을 훈련 데이터의 전체 적중 백분율과 비교합니다. (hits in quantile / records in quantile) / (total hits / total records)로 계산됩니다.

응답 차트

응답은 단순히 분위수에서 적중인 레코드의 백분율입니다. 응답은 (hits in quantile / records in quantile) × 100%으로 계산됩니다.

이익 차트

이익은 각 레코드의 수입 에서 레코드의 비용 을 뺀 값과 같습니다. 분위수에 대한 이익은 단순히 분위수의 모든 레코드에 대한 이익의 합계입니다. 수익은 적중에만 적용되는 것으로 가정되지만 비용은 모든 레코드에 적용됩니다. 이익 및 비용은 고정되거나 데이터의 필드에 의해 정의될 수 있습니다. 이익은 (sum of revenue for records in quantile − sum of costs for records in quantile)으로 계산됩니다.

ROI 차트

ROI (투자수익률) 는 수익 및 비용 정의가 포함된다는 점에서 이익과 유사합니다. ROI는 이익과 분위수의 비용을 비교합니다. ROI는 (profits for quantile / costs for quantile) × 100%로 계산됩니다.

ROC 차트

ROC (Receiver Operator Characteristic) 는 2진 클래스류에만 사용할 수 있습니다. ROC를 사용하여 해당 성능을 기반으로 클래스류를 시각화, 구성 및 선택할 수 있습니다. ROC 차트는 분류자의 거짓 긍정 비율에 대한 참 긍정 비율 (또는 민감도) 을 플로팅합니다. ROC 차트는 이익 (참 긍정) 과 비용 (거짓 긍정) 간의 상대적인 절충을 설명합니다. 참 긍정은 적중이며 적중으로 분류되는 인스턴스입니다. 따라서 참 양성 비율은 참 양성 수/실제 적중인 인스턴스 수로 계산됩니다. 거짓 긍정 (false positive) 은 누락되어 적중으로 분류되는 인스턴스입니다. 따라서 거짓 긍정 (false positive) 비율은 거짓 긍정 (false positive) 수/실제로 누락된 인스턴스 수로 계산됩니다.

평가 차트도 누적될 수 있으므로 각 점은 해당 분위수에 대한 값에 모든 상위 분위수를 더한 값과 같습니다. 누적 차트는 일반적으로 모델의 전체 성능을 더 잘 전달하는 반면, 비누적 차트는 종종 모델의 특정 문제점 영역을 표시하는 데 탁월합니다.