자동 설정을 통한 모델 평가 구성

머신러닝 모델 평가를 위한 자동 설정 옵션은 머신러닝 환경, 데이터베이스 및 샘플 모델을 자동으로 설정해 줍니다. 가이드 투어의 단계에 따라 샘플 모델을 평가하는 방법을 알아보세요. 설정이 완료되면 대시보드에 자신의 모델을 추가할 수 있습니다.

서비스 : Watson Studio, Watson Machine Learning 및 기타 보조 서비스는 기본적으로 제공되지 않습니다. 관리자는 IBM Cloud Pak for Data 플랫폼에 이러한 서비스를 설치해야 합니다. 서비스가 설치되어 있는지 확인하려면 ‘서비스’ 목록을 열고 해당 서비스가 활성화되어 있는지 확인하십시오.

샘플 모델

자동 설정 기능은 ‘German Credit Risk’ 샘플 데이터 세트를 사용하여 모델 평가의 주요 특징을 보여줍니다.

샘플 데이터 개요

독일 신용 위험 샘플 데이터는 샘플 모델 훈련에 사용된 은행 고객들의 기록 모음입니다. 각 대출 신청자에 대한 20개의 속성이 포함되어 있습니다. 자동 설정의 일환으로 프로비저닝된 샘플 모델들은 신규 고객의 신용 위험 등급을 예측하도록 학습되었습니다. 예측에 고려되는 두 가지 변수인 성별과 연령에 대해 편향 여부를 검증함으로써, 고객의 성별이나 연령에 따라 결과가 일관되게 나타나는지 확인할 수 있습니다.

결과를 평가하기 위해 결과는 그룹으로 나뉩니다. 참조군은 긍정적인 결과를 얻을 가능성이 가장 높은 것으로 간주되는 집단입니다. 이 경우 참조 그룹은 25세 이상의 남성 고객 및 고객입니다. ‘모니터링 대상 그룹’이란, 해당 그룹의 결과가 모니터링 대상 그룹의 결과와 크게 다르지 않은지 확인하기 위해 검토해야 할 그룹을 말합니다. 이 경우, 모니터링 대상 그룹은 여성과 19세에서 25세 사이의 고객입니다.

자동 설정 실행

모델이 어떻게 평가되는지 빠르게 확인하려면, Watson OpenScale 을 처음 실행할 때 제공되는 데모 시나리오 옵션을 실행해 보세요.

  1. 탐색 메뉴 에서 ‘서비스 > 탐색 메뉴인스턴스’를 선택합니다.
  2. ‘인스턴스’ 페이지에서 ‘ Watson OpenScale ’ 인스턴스의 오버플로 메뉴를 클릭한 다음 오버플로우 메뉴‘열기’를 선택합니다.
  3. 모델 평가 페이지가 표시되면 ‘자동 설정’을 클릭하세요.
  4. 메시지가 표시되면 Watson Machine Learning 인스턴스를 선택하고 ‘다음’을 클릭하세요. Watson Machine Learning 의 로컬에 설치된 인스턴스를 사용해야 합니다. 원격 인스턴스에 대한 옵션이 없습니다.
  5. Db2 데이터베이스에 대한 호스트 이름 또는 IP 주소 ( https:// 앞이나 뒤에 슬래시(/)를 포함하지 않은 상태), 포트, 데이터베이스, 사용자 이름 및 비밀번호를 입력하십시오. 클러스터의 일부인 Db2 옵션에 대해서는 ‘데이터베이스(Data Database) ’ 섹션을 참조하십시오. 해당 섹션에서는 ‘ Db2 Warehouse ’ 및 ‘ Db2 Advanced Enterprise Server Edition’과 같은 옵션을 확인할 수 있습니다. 외부 데이터베이스의 경우 IBM Db2 데이터베이스를 사용할 수 있습니다. 준비를 클릭하십시오.

모델 평가 서비스가 설정되는 동안 화면에 표시되는 데모 시나리오를 확인해 보실 수 있습니다. 구성이 완료되면 둘러볼지 또는 대시보드를 종료할지 선택하십시오.

  • 투어를 시작하려면 ‘투어 시작’을 클릭하세요.
  • 자동 설정을 종료하고 대시보드로 이동하려면 ‘직접 둘러보기’를 클릭하세요.

안내된 둘러보기 하이라이트

안내된 둘러보기에서는 다음 기능에 대해 설명합니다.

  1. 사용자 인터페이스(UI) 소개: UI의 네 가지 기본 영역에는 인사이트, 설명, 구성 및 지원이 포함됩니다.
  2. 독일 신용 위험 모델의 결과 모니터링 및 보기: 사전정의된 모니터를 사용하여 공정성, 품질 및 드리프트에 대한 모델을 평가할 수 있습니다. 또한 모델 평가를 위해 사용자 정의 모니터를 사용할 수도 있습니다.
  3. 공정성 모니터 탐색: 공정성 모니터를 사용하여 모델에서 편향된 결과를 찾습니다. 공정성 문제가 발견되면, 설정 가능한 임계값에 따라 경고가 발령됩니다.
  4. 데이터 세트 탐색: 균형, 페이로드, 훈련 및 편향성 제거 데이터 세트 간에 전환하여 모델의 공정성 점수에 미치는 영향을 확인합니다.
  5. 트랜잭션 소개: 그룹 편향성 및 개별 편향성에 대한 페이로드 데이터 세트에서 트랜잭션을 검토합니다.
  6. 모델 결과를 설명: 모델에서 신뢰를 빌드하기 위해 모델 예측을 이끈 기능을 이해하십시오. 또한 보다 선호하는 모델 결과를 수신하도록 기능 값을 변경하는 방법에 대해 학습합니다.
  7. 드리프트 모니터 탐색: 드리프트 모니터를 사용하여 모델의 데이터 처리가 정확도 저하를 일으키는지 여부를 판별하십시오.
  8. 트랜잭션 검토: 트랜잭션 목록을 검토하여 정확도의 저하를 조사하십시오.

특정 페이지 둘러보기

특정 페이지에 대해 자동 설정 안내를 사용하려면 다음 단계를 따르세요:

  1. 안내된 둘러보기를 수행할 페이지를 여십시오.
  2. 지원 탭을 열고 이 페이지 둘러보기를 선택하십시오.

둘러보기 재설정

자동 설정 안내를 초기화하려면 ‘지원’ 탭을 열고 ‘자동 설정 초기화’를 선택하세요.

자세히 보기