프로덕션 AI에서 설명 가능한 AI의 유용성 알아보기

설명 가능한 AI란?

설명 가능한 AI(XAI, Explainable Artificial Intelligence)는 머신 러닝 알고리즘으로 작성된 결과와 출력을 인간인 사용자가 이해하고 이를 신뢰할 수 있도록 해주는 일련의 프로세스와 방법론입니다. 설명 가능한 AI를 사용하면 AI 모델, 이의 예상된 영향 및 잠재적 편향을 기술할 수 있습니다. 이는 AI 기반 의사결정에서 모델 정확성, 공정성, 투명성 및 최종 결과를 특성화하는 데 유용합니다. 설명 가능한 AI는 기업이 AI 모델을 생산에 투입할 때 신뢰감과 자신감을 얻는 데 있어서 매우 중요합니다. AI 설명가능성은 기업이 AI 개발에 책임 있는 접근 방식을 적용하는 데도 도움이 됩니다.

AI가 고도로 발전함에 따라, 인간은 AI 알고리즘의 결과 도출 과정을 파악하고 이를 역추적해야하는 난제에 봉착하게 되었습니다. 전체 계산 프로세스는 해석이 불가능한 소위 말하는 "블랙박스"로 전환됩니다. 이러한 블랙박스 모델은 데이터로부터 직접 구축됩니다. 또한 알고리즘을 만드는 엔지니어나 데이터 사이언티스트조차도 그 내부에서 도대체 무슨 일이 발생하는지 혹은 AI 알고리즘이 특정 결과를 어떻게 도출하는지를 파악하거나 설명할 수가 없습니다.

AI 기반 시스템이 특정 결과를 도출하는 방법을 파악할 수 있으면 매우 유용합니다.  설명가능성은 개발자가 시스템이 예상대로 작동 중인지를 보장하는 데 유용하며, 규제 방식의 표준을 따라야 할 수도 있습니다. 또한 이는 의사결정으로 침해를 당한 사람들이 해당 결과에 이의를 제기하거나 이를 바꿀 수 있도록 허용하는 데 있어서 중요할 수도 있습니다.¹

랩탑으로 작업 중인 전문가

설명 가능한 AI가 왜 중요할까요?

AI의 책임성과 모델 모니터링을 통해 기업이 AI 의사결정 프로세스를 완벽히 이해하는 것이 매우 중요합니다. 이를 맹목적으로 신뢰하는 것은 자칫 위험할 수 있습니다. 설명 가능한 AI는 인간이 머신 러닝(ML) 알고리즘, 딥 러닝 및 신경망을 이해하고 설명하는 데 있어서 매우 유용합니다.

ML 모델은 종종 해석이 불가능한 블랙박스로 여겨져 왔습니다.² 딥 러닝에 사용되는 신경망은 인간이 이해하기에 가장 어려운 분야에 속합니다. 종종 인종, 성별, 나이 또는 지역에 기반한 편향은 AI 모델을 훈련시키는 데 있어서 지속적인 위험 요인이었습니다. 게다가 프로덕션 데이터가 훈련 데이터와 상이하므로, AI 모델 성능이 표류하거나 저하될 수 있습니다. 따라서 기업에게는 해당 알고리즘 사용의 기업적 영향을 관찰함과 동시에 모델을 지속적으로 모니터하고 관리하여 AI 설명가능성을 개선하는 일이 시급합니다. 또한 설명 가능한 AI는 일반 사용자 신뢰성, 모델 감사가능성 그리고 AI의 생산적인 사용을 촉진하는 데에도 도움이 됩니다. 또한 프로덕션 AI의 규제 준수, 법률, 보안 및 평판 리스크도 줄여줄 수 있습니다.

설명 가능한 AI는 책임 있는 AI를 구현하기 위한 핵심 요구사항 중 하나임과 동시에 공정성, 모델 설명가능성 및 책임성을 통해 실제 기업에서 AI 방법들을 대규모로 구현하기 위한 방법론입니다. AI 책임성 적용을 지원할 수 있도록, 기업들은 신뢰성과 투명성에 기반한 AI 시스템을 구축하여 AI 애플리케이션과 프로세스에 윤리적 원칙을 주입시켜야 합니다.

랩탑 컴퓨터의 비디오 미팅에서 사람들을 바라보는 남자

지속적 모델 평가

설명 가능한 AI를 사용함으로써 기업은 이해 당사자가 AI 모델의 작동을 이해할 수 있도록 도와주면서도 문제점을 해결하고 모델 성능을 개선할 수 있습니다. 배치 상태, 공정성, 품질 및 표류성에 관한 모델 인사이트의 추적을 통한 모델 행동 감시는 AI 스케일링에 반드시 필요합니다. 지속적 모델 평가는 기업이 모델 예측치를 비교하고 모델 리스크를 정량화하며 모델 성능을 최적화할 수 있도록 지원합니다. 설명의 생성에 사용되는 데이터로 모델 동작의 긍정적 및 부정적 가치를 표시하면 모델 평가를 가속화할 수 있습니다. 데이터 및 AI 플랫폼은 모델 예측을 위한 기능 속성을 생성할 수 있으며, 팀들이 대화식 차트와 출력 가능한 문서를 사용하여 모델 동작을 시각적으로 감시하도록 할 수 있습니다.

랩탑으로 작업 중인 전문가

설명 가능한 AI의 가치

출처: IBM Cloud Pak for Data의 모델 모니터링 및 설명 가능한 AI를 다루는 Forrester 연구

설명 가능한 AI의 이점

신뢰감과 자신감을 갖고 AI 운용

프로덕션 AI의 신뢰성을 구축합니다. AI 모델을 신속하게 생산에 투입합니다. AI 모델의 해석가능성과 설명가능성을 보장합니다. 모델 투명성과 추적성을 높이면서도 모델 평가 프로세스를 간소화합니다.

AI 성과 도출 시간 단축

모델을 체계적으로 모니터하고 관리하여 비즈니스 성과를 최적화합니다. 모델 성능을 지속적으로 평가하고 개선합니다. 지속적인 평가를 기반으로 모델 개발 작업을 미세 조정합니다.

모델 거버넌스 리스크 및 비용 완화

AI 모델의 설명가능성과 투명성을 유지합니다. 규정, 규제 준수, 리스크 및 기타 요구사항을 관리합니다. 수동 검사의 오버헤드와 비용이 많이 드는 오류를 최소화합니다. 의도치 않은 편향의 리스크를 완화합니다.

설명 가능한 AI에 대한 IBM 접근 방식

100년이 넘도록 IBM은 단지 몇 사람이 아닌 모든 사람들에게 혜택을 제공할 수 있는 혁신을 추진하기 위해 끊임없이 노력해 왔습니다. 이러한 철학은 AI에도 그대로 적용됩니다. 우리는 인간의 의사결정을 대체하는 대신 이를 보강할 수 있는 신뢰할 수 있는 기술을 만들어서 제공하는 것을 목표로 삼고 있습니다.

AI가 많은 애플리케이션에서 소중한 인사이트와 패턴을 제공하겠다고 지속적으로 약속하지만, AI 시스템이 널리 채택될지 여부는 AI 결과를 사람들이 신뢰할 수 있을지 여부에 크게 의존합니다. 기술에 대한 인간의 신뢰는 이의 작동 방식에 대한 이해와 함께 이의 안전성과 신뢰성에 대한 평가에 기반을 두고 있습니다. 따라서 설명 가능한 AI는 아주 중요합니다.  설명 가능한 AI에 대한 IBM의 접근 방식은 AI의 안정성과 공정성 그리고 설명가능성을 제공함은 물론 이의 무해성을 보장하도록 지원하는 것입니다.

혁신의 중심에서, IBM Research는 공정성, 견고성, 설명가능성, 책임성 및 가치 조정을 성취하는 방법과 AI 애플리케이션의 전체 라이프사이클에서 이들을 통합하는 방법에 대한 다양한 접근 방법을 개발하고 있습니다. 기업들이 통제되고 안전하며 확장 가능한 방식으로 당사의 최신 AI 기술을 활용할 수 있도록, IBM Research에서 마련한 설명 가능한 AI 프레임워크와 툴은 IBM Cloud Pak for Data 플랫폼에 통합되어 있습니다.

사무실 창가에 서서 휴대전화를 바라보는 사람

설명 가능한 AI와 관련된 5가지 고려사항

설명 가능한 AI와 관련된 5가지 고려사항

설명 가능한 AI를 통해 원하는 결과를 도출하려면 다음을 고려해야 합니다.

공정성 및 편향 제거: 공정성을 관리하고 모니터합니다. 잠재적 편향과 관련하여 배치를 스캔합니다. 

모델 표류성 완화: 모델을 분석하고 가장 논리적인 결과를 기반으로 권고안을 마련합니다. 모델이 의도한 결과에서 벗어나면 경보를 전달합니다.

모델 리스크 관리: 모델 리스크를 정량화하고 이를 완화합니다. 모델이 부적절하게 수행되면 경보를 받습니다. 편향이 지속되는 경우 무슨 일이 있었는지를 파악합니다.

라이프사이클 자동화: 통합 데이터 및 AI 서비스의 일부로서 모델을 구축, 실행하고 이를 관리합니다. 플랫폼에서 툴과 프로세스를 통합하여 모델을 모니터하고 결과를 공유합니다. 머신 러닝 모델의 종속성을 설명합니다.

멀티클라우드 준비: 퍼블릭 클라우드, 프라이빗 클라우드 및 온프레미스를 포함한 하이브리드 클라우드에서 AI 프로젝트를 배치합니다. 설명 가능한 AI로 신뢰감과 자신감을 높입니다.

현대적인 유리 건물의 클로즈업

IBM Cloud Pak for Data를 사용하여 AI 설명가능성 개선

기업이 데이터와 모델의 영향력과 관련성을 평가하여 AI 설명가능성을 개선할 수 있도록, IBM Cloud Pak® for Data 플랫폼은 통합 환경에서 데이터 및 AI 서비스를 제공합니다. 이는 또한 배치, 공정성, 품질 및 리스크에 대한 비즈니스 수익 모델 인사이트도 지원합니다. 이 솔루션은 대조적 설명과 LIME(Local Interpretable Model-Agnostic Explanations) 등의 툴을 사용하여 AI 트랜잭션, 범주형 모델, 이미지 모델 및 비정형 텍스트 모델을 설명하는 데 유용합니다. 최신형 정보 아키텍처에서 AI 라이프사이클을 자동화하여 AI의 설명가능성과 투명성을 제공하는 일은 프로덕션 AI 성공의 필수 요소입니다.

설명 가능한 AI에 대한 추가 정보

설명 가능한 AI는 어떻게 작동할까요?

해석 가능한 머신 러닝과 함께 설명 가능한 AI를 사용함으로써, 기업들은 AI 기술의 근원적 의사결정에 접근할 수 있으며 적절한 조정을 수행할 수 있습니다. 설명 가능한 AI는 AI가 훌륭한 의사결정을 내린다고 최종 사용자가 신뢰할 수 있게끔 도와줌으로써 제품이나 서비스의 사용자 경험을 향상시킬 수 있습니다. AI 시스템은 언제쯤 사용자가 신뢰할 수 있을 만큼 의사결정에서의 충분한 신뢰를 제공할까요? 또한 AI 시스템은 오류 발생 시에 이를 어떻게 교정할 수 있을까요?⁴

AI가 발전을 거듭함에 따라, AI 모델 결과의 정확성을 보장하기 위해서는 지속적으로 ML 프로세스를 파악하고 통제해야 합니다. AI 및 XAI 간의 차이점, AI를 XAI로 전환하는 데 사용되는 방법과 기법, 그리고 AI 프로세스의 해석과 설명 간의 차이점을 살펴봅니다.

AI 및 XAI 간의 비교

"일반적인" AI와 설명 가능한 AI 간의 차이점은 정확히 무엇일까요? ML 프로세스 중에 내려진 각 의사결정의 추적성과 설명가능성을 보장할 수 있도록, XAI는 별도의 기술과 메소드를 구현합니다. 일반적인 AI는 종종 ML 알고리즘을 사용하여 결과를 도출하지만, AI 시스템의 설계자는 해당 알고리즘이 어떻게 해당 결과를 도출했는지를 완벽히 이해하지 못합니다. 따라서 정확성을 확인하기가 좀처럼 쉽지 않으며 통제성, 책임성 및 감사가능성이 유실될 수 있습니다.

설명 가능한 AI 기술

XAI 기술의 설정은 3개의 기본 메소드로 구성되어 있습니다. 예측 정확성과 추적성은 기술적 요구사항을 처리하는 한편, 의사결정 이해도는 인간의 요구사항을 처리합니다. 미래의 전사들이 차세대의 인공지능 머신 파트너를 이해하고 적절히 신뢰하며 이를 효과적으로 관리한다고 가정할 경우 설명 가능한 AI, 특히 설명 가능한 머신 러닝은 필수적입니다.⁵

예측 정확성
정확성은 상시적 운용에서 AI의 성공적인 활용도에 대한 핵심 구성요소입니다. 시뮬레이션을 실행하고 XAI 출력을 훈련 데이터 세트의 결과와 비교함으로써, 예측 정확도가 결정될 수 있습니다. 이에 사용되는 가장 유명한 기술은 ML 알고리즘에 의한 분류기의 예측을 설명하는 LIME(Local Interpretable Model-Agnostic Explanations)입니다.

추적가능성
추적가능성은 XAI 성취를 위한 또 다른 핵심 기술입니다. 예를 들어, 이는 의사결정이 이루어지는 방법을 제한하고 ML 규칙과 특성의 범위를 보다 좁게 설정함으로써 달성됩니다. 추적가능성 XAI 기술의 예로는 DeepLIFT(Deep Learning Important FeaTures)를 들 수 있습니다. 이 기술은 각 뉴런의 활성화를 이의 참조 뉴런과 비교하고, 활성화된 각 뉴런들 간의 추적가능한 링크를 보여주며, 심지어는 이들 간의 종속성까지도 보여줍니다.

의사결정 이해도
이는 인적 요소입니다. 많은 사람들이 AI에 대해 불신을 갖고 있지만, 이를 보다 효율적으로 업무에 활용하려면 이를 신뢰하는 법을 배워야 합니다. 이는 AI의 의사결정 방법과 그 근거를 이해할 수 있도록 AI 관련 업무를 수행하는 팀을 교육함으로써 달성됩니다.

AI의 설명가능성 대 해석가능성

해석가능성은 관찰자가 의사결정의 근거를 이해할 수 있는 정도를 의미합니다. 해석가능성은 인간이 AI 출력의 결과를 예상할 수 있는 성공률이라고 볼 수 있습니다. 한편, 설명가능성은 한 걸음 더 나아가서 AI가 해당 결과를 어떻게 도출했는지를 살펴봅니다.

설명 가능한 AI는 책임감 있는 AI와 어떤 관련성이 있을까요?

설명 가능한 AI와 책임감 있는 AI는 유사한 목표를 지니면서도 그 접근 방식은 서로 다릅니다. 설명 가능한 AI와 책임감 있는 AI 간의 주요 차이점은 다음과 같습니다.

  • 설명 가능한 AI는 결과가 계산된 이후에 AI 결과를 살펴봅니다.
  • 책임감 있는 AI는 계획 단계 중에 AI를 살펴봄으로써 결과가 계산되기 전에 AI 알고리즘에 책임을 지웁니다.
  • 설명 가능한 AI와 책임감 있는 AI를 함께 사용하면 보다 뛰어난 AI 결과를 얻을 수 있습니다.

설명 가능한 AI에 대해 자세히 알아보려면, 지금 바로 IBMid를 등록하고 IBM Cloud Pak for Data 체험판을 시작하세요.

설명 가능한 AI를 구현하는 방법

다음과 같은 리소스를 활용하면 설명 가능한 AI의 구현 방법에 대해 자세히 알아볼 수 있습니다.

온라인 세미나: 모델을 관리하고 모니터하는 방법. 모델이 작동하지 않을 때 무엇을 수행할 수 있는지 알아봅니다.
웨비나 보기(IBM 외부 링크) →

학습 경로: 신뢰감을 갖고 AI 관리 변화하는 비즈니스 상황에 맞게 AI를 조정 및 관리하면서도, 라이프사이클 전체에서 AI로부터 얻은 결과를 추적하고 이를 측정하는 방법을 알아봅니다.
튜토리얼 보기 →

실습 랩: 머신 러닝 모델 모니터 모델의 공정성, 정확성 및 설명가능성을 평가하기 위한 단계별 프로세스를 살펴봅니다. 
랩 보기 →

설명 가능한 AI 유스케이스

의료서비스

수술 중인 3명의 외과 의사들의 클로즈업 사진

진단, 이미지 분석, 리소스 최적화 및 의료 진단을 가속화합니다. 환자 치료를 위한 의사결정에서 투명성과 추적가능성을 개선합니다. 설명 가능한 AI를 사용하여 제약 승인 프로세스를 효율화합니다.

금융 서비스

신용카드를 들고 랩탑으로 작업하는 여성

투명한 대출 및 여신 승인 프로세스로 고객 경험을 개선합니다. 신용 리스크, 자산 관리 및 금융 범죄 리스크 평가를 가속화합니다. 잠재적 불만과 문제의 해결을 가속화합니다. 가격 책정, 제품 추천 및 투자 서비스의 신뢰도를 개선합니다.

사법 제도

범죄 현장 테이프로 봉쇄 표시된 구획 앞에 서 있는 경찰

예측 및 리스크 평가의 프로세스를 최적화합니다. DNA 분석, 감금 개체군 분석 및 범죄 예측 분야에서 설명 가능한 AI를 사용하여 해결을 가속화합니다. 훈련 데이터와 알고리즘에서 잠재적 편향을 감지합니다.

각주

¹ ”Explainable AI”, The Royal Society, 2019년 11월 28일. (IBM 외부 링크)
² ”Explainable Artificial Intelligence”, Jaime Zornoza, 2020년 4월 15일. (IBM 외부 링크)
³ ”Explainable Artificial Intelligence (XAI): Concepts, Taxonomies, Opportunities and Challenges toward Responsible AI", ScienceDirect, 2020년 6월. (IBM 외부 링크)
⁴ ”Understanding Explainable AI", Ron Schmelzer, Forbes 기고가, 2019년 7월 23일. (IBM 외부 링크)
⁵ ”Explainable Artificial Intelligence (XAI)”, Dr. Matt Turek, 미국 DARPA(Defense Advanced Research Projects Agency). (IBM 외부 링크)