배포 평가

배포 공간에서 평가를 Watson OpenScale 구성하여 모델 성능에 대한 통찰력을 얻으십시오. 평가를 구성하면 배포 공간 내에서 직접 평가 결과를 분석하고 트랜잭션 기록을 모델링할 수 있습니다.

Watson OpenScale 모델 배포를 평가하여 성능을 측정하고 모델 예측을 이해하는 데 도움을 줍니다. 모델 평가를 구성할 때, 각 평가에 대해 서로 다른 Watson OpenScale 통찰력을 제공하는 메트릭을 생성하여 검토할 수 있습니다. Watson OpenScale 또한 평가 과정에서 처리된 트랜잭션을 기록하여 모델 예측이 어떻게 결정되는지 이해하는 데 도움을 줍니다. 자세한 내용은 AI 모델 평가를 참조하십시오 Watson OpenScale.

프로비저닝된 Watson OpenScale 인스턴스가 있는 경우, 온라인 배포를 원활하게 생성한 후 배포 결과를 공정성, 품질, 드리프트 및 설명 가능성 측면에서 모니터링할 수 있습니다.

다음 그래픽은 배포 환경에서 모델을 평가하는 과정을 보여줍니다. 이 예시에서는 프로젝트의 예측 모델과 입력 데이터를 배포 공간으로 이동시키는 것부터 시작할 수 있습니다. 모델을 배포한 후 테스트 입력 데이터를 제공하여 온라인 배포를 테스트할 수 있습니다. 모델이 생성한 예측을 기반으로 공정성과 정확성에 대한 배포 결과를 모니터링하고, 배포 트랜잭션을 검토하며, 예측 정확도를 개선하기 위한 시나리오를 탐색할 수 있습니다. 제공된 평가 통찰력을 바탕으로 모델을 Watson OpenScale 업데이트할 수 있습니다.

전형적인 시나리오는 다음과 같은 순서로 진행됩니다:

1. 배포 공간을 생성하고, 해당 배포 공간에 Watson OpenScale 인스턴스를 연결하여 모든 모니터링 기능을 활성화하십시오. 요구 사항에 따라 프로덕션이나 프리프로덕션과 같은 배포 환경 유형을 선택할 수 있습니다.
2. 훈련된 머신러닝 모델과 입력(페이로드) 데이터를 배포 공간에 배포하고 모델에 대한 온라인 배포를 생성합니다.
3. 배포 테스트 탭에서 입력 데이터를 제공하고 예측 결과를 받아보세요.
4. 평가 탭에서 배포의 품질, 공정성 및 설명 가능성을 모니터링하기 위한 평가를 구성하십시오. 모델에 연결하고, 훈련 및 페이로드 데이터에 접근하며, 평가 결과를 저장할 저장소에 연결할 수 Watson OpenScale 있도록 필요한 모든 모델 세부 정보를 제공하십시오.
5. 공정성을 위한 모니터를 구성하여 모델이 편향되지 않은 결과를 생성하도록 보장하십시오. 공정성을 모니터링할 필드를 선택한 후, 기준 그룹과 비교하여 모니터링 대상 그룹의 예측을 측정할 임계값을 설정하십시오. 예를 들어, 모델을 평가하여 성별에 기반한 편향되지 않은 예측을 제공하는지 확인할 수 있습니다.
6. 피드백 데이터라고 불리는 라벨링된 테스트 데이터를 기반으로 모델이 생성한 올바른 결과의 수를 기준으로 모델 성능을 판단하기 위해 품질 모니터를 구성합니다. 품질 임계값을 설정하여 지표 값이 허용 가능한 범위를 벗어나는 시점을 추적합니다.
7. 모니터를 드리프트에 대해 구성하여 배포가 최신 상태이며 일관성을 유지하도록 합니다. 특징 중요도를 사용하여 모델에 대한 특징 드리프트의 영향을 판단하십시오. 예를 들어, 중요한 특징에서 발생하는 소량의 드리프트는 덜 중요한 특징에서 발생하는 중간 정도의 드리프트보다 모델에 더 큰 영향을 미칠 수 있습니다.
8. 설명 가능성을 위해 배포 결과를 모니터링하여 모델이 예측을 결정하게 된 요인을 파악할 수 있습니다. 귀하의 요구에 가장 적합한 설명 방법을 선택하십시오. 예를 들어, 철저한 설명을 위해서는 SHAP(Shapley Additive EXplanations) 방법을, 더 빠른 설명을 위해서는 LIME(Local Interpretable Model-Agnostic Explanations) 방법을 선택할 수 있습니다.
9. 마지막으로, 모델 평가를 검토하여 몇 가지 입력값에 대한 사소한 변경이 다른 결정을 초래할 수 있는 영역을 찾을 수 있습니다. 입력값 변경이 모델 성능을 향상시킬 수 있는지 확인하기 위한 테스트 시나리오.

Watson OpenScale 를 사용하여 배포 공간 내의 배포를 모니터링하는 방법을 확인하려면 다음 동영상을 시청하세요.

다음 섹션에서는 배포 공간에서 평가를 Watson OpenScale 구성하고 모델 인사이트를 검토하는 방법을 설명합니다: