topics 설명 가능한 AI 설명 가능한 AI란 무엇인가요?
IBM의 설명 가능한 AI 솔루션 살펴보기 AI 주제 업데이트 구독
구름의 픽토그램, 파이 차트, 그래프 픽토그램의 콜라주가 있는 그림
설명 가능한 AI란 무엇인가요?

설명 가능한 인공 지능(XAI)은 사용자가 머신 러닝 알고리즘으로 생성된 결과와 출력을 이해하고, 신뢰할 수 있게 하는 일련의 프로세스와 방법입니다. 

설명 가능한 AI는 AI 모델과 이에 대한 예상되는 영향 및 잠재적 편향을 설명하는 데 사용됩니다. 이는 AI로 이루어지는 의사 결정에서 모델 정확성, 공정성, 투명성 및 결과를 특성화하는 데 도움이 됩니다. 설명 가능한 AI는 조직이 AI 모델을 생산에 투입할 때 신뢰와 확신을 구축하는 데 매우 중요한 역할을 합니다. 또한, AI를 통한 설명 가능성은 조직이 AI 발전에 대한 책임 있는 접근 방식을 채택하는 데 도움이 됩니다.

AI가 발전함에 따라 인간은 알고리즘이 어떻게 결과에 도달하게 되었는지를 이해하고 되짚어볼 수 있어야 합니다.전체 계산 과정은 일반적으로 해석이 불가능한 "블랙 박스"라고 불리는 대상으로 변화합니다. 이러한 블랙 박스 모델은 데이터에서 직접 생성됩니다. 또한, 알고리즘을 만드는 엔지니어나 데이터 과학자도 그 안에서 무슨 일이 일어나고 있는지 또는 AI 알고리즘이 특정한 결과에 어떻게 도달하게 되는지 정확하게 이해하거나 설명할 수 없습니다.

AI로 구현되는 시스템이 어떻게 특정 출력으로 이어지게 되는지 이해하면 많은 이점이 있습니다.  설명 가능성은 개발자가 시스템이 예상대로 작동하는지 확인하는 데 도움이 될 수 있으며, 규제 표준을 충족해야 할 수도 있고, 결정의 영향을 받는 사람들이 해당 결과에 이의를 제기하거나 변경할 수 있게 하는 데 중요하게 작용할 수 있습니다.¹

AI 거버넌스가 엔터프라이즈 AI 확장을 위해 비즈니스에 필수적인 이유

AI 채택을 가로막는 장벽, 특히 AI 거버넌스 및 위험 관리 솔루션의 부족에 대해 알아보세요.

관련 내용

데이터 리더를 위한 가이드 읽기

설명 가능한 AI는 왜 중요한가요?

조직이 모델 모니터링 및 AI에 대한 책임을 통해 AI로 이루어지는 의사 결정 프로세스를 완전히 이해하고, 이를 맹목적으로 신뢰하지 않는 것이 중요합니다. 설명 가능한 AI는 인간이 머신 러닝(ML) 알고리즘, 딥 러닝 및 신경망을 이해하고 설명하는 데 도움이 될 수 있습니다.

머신 러닝 모델은 통상적으로 해석이 불가능한 블랙 박스라고 생각합니다.² 딥 러닝에 사용되는 신경망은 인간이 이해하기 가장 어려운 것 중 하나입니다. 주로 인종, 성별, 연령 또는 지역을 기반으로 하는 편견은 AI 학습 모델에서 오랜 기간 위험이 되었습니다. 또한, 생산 데이터가 학습 데이터와 다르기 때문에 AI 모델의 성능이 드리프트되거나 저하될 수 있습니다. 그러므로 비즈니스에서 이러한 알고리즘 활용의 비즈니스에 대한 영향을 측정하는 동시에 AI 설명 가능성을 높이기 위해 모델을 지속적으로 모니터링하고, 관리하는 것이 중요해졌습니다.또한, 설명 가능한 AI는 최종 사용자의 신뢰, 모델 감사 가능성 및 AI의 생산적 활용을 촉진하는 데 도움이 됩니다. 또한, 생산 AI의 규정 준수, 법률, 보안 및 평판에 대한 위험을 완화합니다.

설명 가능한 AI는 공정성, 모델 설명 가능성 및 책임성을 갖춘 실제 조직에서 AI 방식을 대규모로 구현하기 위한 방법론인 책임있는 AI의 구현을 위한 핵심 요구 사항 중 한 가지입니다.³ 조직은 책임감 있는 AI의 도입을 위해 신뢰와 투명성을 기반으로 AI 시스템을 구축하여 윤리적 원칙이 AI 애플리케이션과 프로세스에 포함되도록 해야 합니다.

현재 사용 가능한 제품: watsonx.governance

타사 플랫폼에 구축된 생성형 AI를 위한 책임감 있고 투명하며 설명 가능한 워크플로우를 가속화합니다

AI 윤리에 대해 알아보기
설명 가능한 AI가 작동하는 방식

조직은 설명 가능한 AI뿐만 아니라 해석 가능한 머신 러닝을 통해 AI 기술의 근본적인 의사 결정에 액세스할 수 있고, 이를 조정할 수 있는 권한을 가질 수 있습니다. 설명 가능한 AI는 최종 사용자가 AI가 올바른 결정을 내리고 있다고 신뢰할 수 있도록 도와줌으로써 제품 또는 서비스에 대한 사용자 경험을 개선할 수 있습니다. AI 시스템은 언제 신뢰할 수 있는 결정에 대해 충분한 확신을 주며, AI 시스템은 발생하는 오류를 어떻게 수정할 수 있나요?⁴

AI가 발전함에 따라 AI 모델의 결과가 정확한지 확인하기 위해 머신 러닝 프로세스를 이해하고, 제어할 수 있어야 합니다. AI와 설명 가능한 AI(XAI)의 차이점, AI를 XAI로 전환하기 위해 사용되는 방법과 기법, AI 프로세스 해석과 설명의 차이점을 살펴보겠습니다.

AI와 XAI의 비교
"일반적인" AI와 XAI의 차이점은 정확히 무엇인가요? XAI는 머신 러닝 프로세스 중에 내린 각 결정을 추적하고 설명하기 위한 특정 기술과 방법을 구현합니다. 반면, AI는 종종 머신 러닝 알고리즘을 사용하여 결과에 도달하지만, AI 시스템 설계자는 이러한 알고리즘이 어떻게 결과에 도달했는지 완전히 이해하지 못합니다. 이로 인해 정확성을 확인하기가 어렵고, 통제력, 책임성 및 감사 가능성을 상실하게 됩니다.

설명 가능한 AI 기법
XAI 기법의 설정은 세 가지 주요 방법으로 이루어집니다. 예측 정확도 및 추적 가능성은 기술의 요구 사항을 다루며, 의사 결정 이해는 인간의 요구를 다룹니다. 설명 가능한 AI, 특히, 설명 가능한 머신 러닝은 미래의 전투원들이 새로운 세대의 인공 지능 머신 파트너를 이해하고, 충분하게 신뢰하며, 효과적으로 관리하기 위해 필수적입니다.⁵

예측 정확도
정확성은 일상적인 운영에서 AI가 얼마나 성공적으로 사용되는지를 나타내는 핵심 구성 요소입니다. 시뮬레이션을 실행하고, XAI의 출력을 학습 데이터 세트의 결과와 비교하여 예측 정확도를 판단할 수 있습니다. 이를 위해 가장 많이 사용되는 기술은 머신 러닝 알고리즘에 의한 분류기 예측을 설명하는 LIME(Local Interpretable Model-Agnostic Explanations)입니다.

추적 가능성
추적 가능성은 설명 가능한 AI를 달성하기 위한 또 다른 핵심 기술입니다. 예를 들어, 의사 결정을 내릴 수 있는 방법을 제한하고, 머신 러닝 규칙 및 기능에 대한 범위를 더 좁게 설정하여 달성할 수 있습니다. 추적 가능성에 관한 설명 가능한 AI 기법의 예로는 각 뉴런의 활성화를 기준 뉴런과 비교하고, 활성화된 각 뉴런 간의 추적 가능한 링크를 보여주며, 이들 간 의존성을 표시하는 DeepLIFT(Deep Learning Important FeaTures)가 있습니다.

의사 결정 이해
이는 인적 요소입니다. 많은 이들이 AI를 신뢰하지 않지만, AI로 효율적인 업무를 하기 위해서는 이를 신뢰하는 법을 배워야 합니다. 이는 AI로 업무를 수행하는 팀을 교육하여 AI가 의사 결정을 내리는 방법과 이유를 이해할 수 있도록 하여 달성할 수 있습니다.

AI에서의 설명 가능성 및 해석 가능성

해석 가능성은 관찰자가 의사 결정의 이유를 이해하는 정도입니다. 이는 인간이 AI 출력의 결과를 예측할 수 있는 성공률이며, 설명 가능성은 여기에서 한 단계 더 나아가 AI가 어떻게 결과에 도달했는지를 살펴봅니다.

설명 가능한 AI는 책임있는 AI와 어떤 관련이 있습니까?

설명 가능한 AI와 책임있는 AI는 유사한 목표를 갖고 있지만 접근 방식은 다릅니다. 설명 가능한 AI와 책임있는 AI의 주요 차이점은 다음과 같습니다.

  • 설명 가능한 AI는 결과가 계산된 후 AI 결과를 살펴봅니다.
  • 책임있는 AI는 결과가 계산되기 이전에 AI 알고리즘이 책임있는 AI가 되도록 계획 단계에서 AI를 살펴봅니다.
  • 설명 가능한 AI와 책임있는 AI는 더 나은 AI를 만들기 위해 함께 작동할 수 있습니다.
지속적 모델 평가

기업은 설명 가능한 AI를 통해 이해 관계자들이 AI 모델의 동작을 이해하는 데 도움을 주는 동시에 모델 성능을 개선하고 문제를 해결할 수 있습니다. 배포 상태, 공정성, 품질 및 드리프트에 대해 모델 인사이트를 추적하여 모델을 조사하는 것은 AI를 확장하기 위해 필수적인 과정입니다.

지속적 모델 평가를 통해 기업은 모델 예측을 비교하고, 모델 위험을 정량화하며, 모델 성능을 최적화할 수 있습니다. 설명을 생성하는 데 사용되는 데이터와 함께 모델 동작에서 양수 및 음수 값을 표시하면, 모델 평가를 빠르게 할 수 있습니다.데이터와 AI 플랫폼은 모델 예측에 대한 기능 속성을 생성하고, 팀이 인터랙티브 차트와 내보내기 가능한 문서로 모델 동작을 시각적으로 조사할 수 있도록 지원합니다.

설명 가능한 AI의 이점
신뢰성과 투명성을 갖춘 AI 운영

생산 AI에 대한 신뢰를 구축합니다.AI 모델을 생산에 신속하게 도입합니다.AI 모델의 해석 가능성과 설명 가능성을 보장합니다.모델 평가 프로세스를 단순화하는 동시에 모델 투명성과 추적 가능성을 높입니다.

AI 결과 도출시간 단축

모델을 체계적으로 모니터링하고 관리하여 비즈니스 결과를 최적화합니다. 모델 성능을 지속적으로 평가하고 개선합니다. 지속적인 평가를 기반으로 모델 발전을 위한 노력을 미세 조정합니다.

모델 거버넌스에 대한 위험 및 비용 완화

AI 모델을 설명 가능하고, 투명하게 유지합니다. 규제, 규정 준수, 위험 및 기타 요구 사항을 관리합니다. 수동적 검사로 인한 간접비와 비용이 소모되는 오류를 최소화합니다. 의도하지 않은 편향의 위험을 완화합니다.

설명 가능한 AI에 대한 다섯 가지 고려 사항

설명 가능한 AI로 원하는 결과를 도출하려면, 다음 사항을 고려해야 합니다.

공정성 및 편견 제거: 공정성을 관리하고 모니터링하십시오. 배포를 스캔하여 잠재적 편견을 확인하십시오. 

모델 드리프트 완화: 모델을 분석하고 가장 논리적인 결과에 따라 권장 사항을 제시합니다. 모델이 의도한 결과에서 벗어날 때 이를 알립니다.

모델 위험 관리: 모델 위험을 정량화하고, 이를 완화합니다. 모델이 부적절하게 실행되면 경고를 받습니다. 편차가 지속될 때 어떤 일이 발생했는지 이해합니다.

라이프사이클 자동화: 통합 데이터와 AI 서비스의 일부로 모델을 구축, 실행 및 관리합니다. 플랫폼의 도구와 프로세스를 통합하여 모델을 모니터링하고, 결과를 공유합니다. 머신 러닝 모델의 종속성을 설명합니다.

멀티클라우드 적용 가능: 퍼블릭 클라우드, 프라이빗 클라우드 및 온프레미스를 포함한 하이브리드 클라우드에서 AI 프로젝트를 배포합니다.설명 가능한 AI로 신뢰와 확신을 높이십시오.

설명 가능한 AI의 사용 사례
  • 헬스케어: 진단, 이미지 분석, 리소스 최적화 및 의료 진단을 가속화합니다. 환자 치료를 위한 의사 결정의 투명성과 추적 가능성을 개선합니다. 설명 가능한 AI를 통해 의약품 승인 프로세스를 간소화합니다.
  • 금융 서비스: 투명한 대출과 신용 승인 프로세스로 고객 경험을 개선합니다. 신용 위험, 자산 관리 및 금융 범죄 위험에 대한 평가를 가속화합니다. 잠재적 불만과 문제의 해결을 가속화합니다. 가격 책정, 상품 추천 및 투자 서비스에 대한 신뢰를 높입니다.
  • 형사 사법 분야: 예측 및 위험 평가 프로세스를 최적화합니다. DNA 분석, 교도소 인구 분석 및 범죄 예측에 설명 가능한 AI를 사용하여 문제 해결을 가속화합니다. 학습 데이터와 알고리즘의 잠재적 편향을 식별합니다.
관련 솔루션 
watsonx.governance

IBM watsonx.governance AI 거버넌스용 툴킷을 사용하면 조직의 AI 활동을 지시, 관리 및 모니터링할 수 있으며, 소프트웨어 자동화를 통해 생성형 AI 및 머신 러닝 모델 모두에 대한 위험을 완화하고 규제 요건을 관리하며 윤리적 문제를 해결하는 역량을 강화할 수 있습니다.

watsonx.governance 알아보기
IBM Cloud Pak for Data

AI 라이프사이클 자동화를 위해 현대화합니다.거의 모든 곳에서 데이터와 AI 서비스에 대한 거버넌스와 보안을 보강합니다.

더 알아보기
IBM Watson Studio

신뢰와 투명성을 갖춘 AI를 구축하고 확장합니다. 설명 가능한 AI에 대한 지속적인 모니터링을 통해 AI 모델을 구축, 실행 및 관리합니다.

더 알아보기
IBM Knowledge Catalog

활성 메타데이터 및 정책 관리를 기반으로 하는 엔드투엔드 데이터 카탈로그를 사용하여 데이터와 AI 모델을 관리합니다.

더 알아보기
리소스 AI 거버넌스의 시급성

AI 거버넌스에 대한 3단계 접근 방식을 읽어보세요. 윤리적 AI를 모니터링할 수 있는 거버넌스 시스템을 구축하는 방법에 대한 인사이트를 알아보세요.

모니터링을 위한 모델 준비

모델 모니터를 설정하고, 활성화하는 방법을 알아보세요. 신용 위험 샘플 모델을 사용하여 배포를 선택하고, 페이로드 로깅을 위한 데이터 유형을 설정합니다.

설명 가능한 AI의 가치 살펴보기

Forrester Consulting은 설명 가능한 AI와 모델 모니터링을 적용하는 기업에 대한 예상 투자 수익률을 조사합니다.

신뢰와 투명성을 통해 AI 확장하기

Lufthansa는 AI 라이프사이클 자동화와 드리프트 및 편향성 완화를 통해 고객 경험과 항공사의 효율성을 개선합니다.

다음 단계 안내

생성 모델과 머신 러닝 모델 모두를 위해 수명 주기 전반에 걸쳐 책임감 있고 투명하며 설명 가능한 AI 워크플로우를 가속화하세요. 조직의 AI 활동을 지시, 관리 및 모니터링하여 증가하는 AI 규정을 더 잘 관리하고 위험을 감지 및 완화할 수 있습니다.

watsonx.governance 살펴보기 라이브 데모 예약하기
각주

¹ “Explainable AI”(ibm.com 외부 링크), The Royal Society, 2019년 11월 28일.

² ”Explainable Artificial Intelligence”(ibm.com 외부 링크), Jaime Zornoza, 2020년 4월 15일.

³ ”Explainable Artificial Intelligence (XAI): Concepts, Taxonomies, Opportunities and Challenges toward Responsible AI”(ibm.com 외부 링크), ScienceDirect, 2020년 6월. 

⁴ ”Understanding Explainable AI”(ibm.com 외부 링크), Ron Schmelzer, Forbes 기고자, 2019년 7월 23일.

⁵ ”Explainable Artificial Intelligence (XAI)”(ibm.com 외부 링크), Dr. Matt Turek, The U.S. Defense Advanced Research Projects Agency(DARPA).