조직이 모델 모니터링 및 AI에 대한 책임을 통해 AI로 이루어지는 의사 결정 프로세스를 완전히 이해하고, 이를 맹목적으로 신뢰하지 않는 것이 중요합니다. 설명 가능한 AI는 인간이 머신 러닝(ML) 알고리즘, 딥 러닝 및 신경망을 이해하고 설명하는 데 도움이 될 수 있습니다.

머신 러닝 모델은 통상적으로 해석이 불가능한 블랙 박스라고 생각합니다.² 딥 러닝에 사용되는 신경망은 인간이 이해하기 가장 어려운 것 중 하나입니다. 주로 인종, 성별, 연령 또는 지역을 기반으로 하는 편견은 AI 학습 모델에서 오랜 기간 위험이 되었습니다. 또한, 생산 데이터가 학습 데이터와 다르기 때문에 AI 모델의 성능이 드리프트되거나 저하될 수 있습니다. 그러므로 비즈니스에서 이러한 알고리즘 활용의 비즈니스에 대한 영향을 측정하는 동시에 AI 설명 가능성을 높이기 위해 모델을 지속적으로 모니터링하고, 관리하는 것이 중요해졌습니다.또한, 설명 가능한 AI는 최종 사용자의 신뢰, 모델 감사 가능성 및 AI의 생산적 활용을 촉진하는 데 도움이 됩니다. 또한, 생산 AI의 규정 준수, 법률, 보안 및 평판에 대한 위험을 완화합니다.

설명 가능한 AI는 공정성, 모델 설명 가능성 및 책임성을 갖춘 실제 조직에서 AI 방식을 대규모로 구현하기 위한 방법론인 책임있는 AI의 구현을 위한 핵심 요구 사항 중 한 가지입니다.³ 조직은 책임감 있는 AI의 도입을 위해 신뢰와 투명성을 기반으로 AI 시스템을 구축하여 윤리적 원칙이 AI 애플리케이션과 프로세스에 포함되도록 해야 합니다.

기업은 설명 가능한 AI를 통해 이해 관계자들이 AI 모델의 동작을 이해하는 데 도움을 주는 동시에 모델 성능을 개선하고 문제를 해결할 수 있습니다. 배포 상태, 공정성, 품질 및 드리프트에 대해 모델 인사이트를 추적하여 모델을 조사하는 것은 AI를 확장하기 위해 필수적인 과정입니다.

지속적 모델 평가를 통해 기업은 모델 예측을 비교하고, 모델 위험을 정량화하며, 모델 성능을 최적화할 수 있습니다. 설명을 생성하는 데 사용되는 데이터와 함께 모델 동작에서 양수 및 음수 값을 표시하면, 모델 평가를 빠르게 할 수 있습니다.데이터와 AI 플랫폼은 모델 예측에 대한 기능 속성을 생성하고, 팀이 인터랙티브 차트와 내보내기 가능한 문서로 모델 동작을 시각적으로 조사할 수 있도록 지원합니다.

설명 가능한 AI로 원하는 결과를 도출하려면, 다음 사항을 고려해야 합니다.

공정성 및 편견 제거: 공정성을 관리하고 모니터링하십시오. 배포를 스캔하여 잠재적 편견을 확인하십시오. 

모델 드리프트 완화: 모델을 분석하고 가장 논리적인 결과에 따라 권장 사항을 제시합니다. 모델이 의도한 결과에서 벗어날 때 이를 알립니다.

모델 위험 관리: 모델 위험을 정량화하고, 이를 완화합니다. 모델이 부적절하게 실행되면 경고를 받습니다. 편차가 지속될 때 어떤 일이 발생했는지 이해합니다.

라이프사이클 자동화: 통합 데이터와 AI 서비스의 일부로 모델을 구축, 실행 및 관리합니다. 플랫폼의 도구와 프로세스를 통합하여 모델을 모니터링하고, 결과를 공유합니다. 머신 러닝 모델의 종속성을 설명합니다.

멀티클라우드 적용 가능: 퍼블릭 클라우드, 프라이빗 클라우드 및 온프레미스를 포함한 하이브리드 클라우드에서 AI 프로젝트를 배포합니다.설명 가능한 AI로 신뢰와 확신을 높이십시오.

• 헬스케어: 진단, 이미지 분석, 리소스 최적화 및 의료 진단을 가속화합니다. 환자 치료를 위한 의사 결정의 투명성과 추적 가능성을 개선합니다. 설명 가능한 AI를 통해 의약품 승인 프로세스를 간소화합니다.

• 금융 서비스: 투명한 대출과 신용 승인 프로세스로 고객 경험을 개선합니다. 신용 위험, 자산 관리 및 금융 범죄 위험에 대한 평가를 가속화합니다. 잠재적 불만과 문제의 해결을 가속화합니다. 가격 책정, 상품 추천 및 투자 서비스에 대한 신뢰를 높입니다.

• 형사 사법 분야: 예측 및 위험 평가 프로세스를 최적화합니다. DNA 분석, 교도소 인구 분석 및 범죄 예측에 설명 가능한 AI를 사용하여 문제 해결을 가속화합니다. 학습 데이터와 알고리즘의 잠재적 편향을 식별합니다.