AI 해석 가능성이란 무엇인가요?

AI 모델은 데이터 입력, 알고리즘, 로직, 데이터 과학 및 기타 프로세스로 구성된 복잡한 웹을 사용하여 인사이트를 반환합니다. 모델이 복잡할수록 인간이(설계하고 구축한 사람일지라도) 인사이트로 이어지는 단계를 이해하기가 더 어려울 수 있습니다. 해석 가능한 모델은 사용자가 결정을 쉽게 이해할 수 있는 모델입니다.

AI의 사용이 확대되고 있습니다. 대규모 언어 모델(LLM)을 사용하는 시스템은 스마트 홈 디바이스부터 신용카드 사기 탐지, ChatGPT 및 기타 생성형 AI 툴의 광범위한 사용에 이르기까지 일상 생활의 일부가 되고 있습니다. 매우 복잡한 모델(딥 러닝 알고리즘 및 신경망 포함)이 점점 더 보편화됨에 따라 AI 해석 가능성이 더욱 중요해지고 있습니다.

또한 AI 시스템과 머신 러닝 알고리즘은 의료, 금융 및 기타 중요하거나 삶을 변화시키는 결정을 내리는 산업에서 점점 더 보편화되고 있습니다. 이처럼 큰 이해관계가 있는 만큼 대중은 결과가 공정하고 신뢰할 수 있다고 믿을 수 있어야 합니다. 이러한 신뢰는 AI 시스템이 예측에 도달하고 의사 결정을 내리는 방식을 이해하는 데 달려 있습니다.

화이트박스 AI 모델에는 보기 쉽고 이해하기 쉬운 입력과 로직이 있습니다. 예를 들어, 각 단계 사이의 명확한 흐름을 보여주는 기본 Decision Trees는 일반인이 해독하기 어렵지 않습니다. 화이트박스 모델은 해석하기 쉬운 선형적인 의사 결정 시스템을 사용하는 경향이 있지만, 정확도가 떨어지거나 인사이트나 애플리케이션의 활용도가 떨어질 수 있습니다.

블랙박스 AI 모델은 더 복잡하고 내부 작동에 대한 투명성이 떨어집니다. 사용자는 일반적으로 모델이 어떻게 결과에 도달하는지 알지 못합니다. 이러한 보다 복잡한 모델은 보다 정확하고 세부적인 경향이 있습니다. 하지만 이해하기 어렵거나 불가능하기 때문에 신뢰성, 공정성, 편견 및 기타 윤리적 문제에 대한 우려를 동반합니다. 블랙박스 모델을 해석하기 쉽게 만드는 것은 블랙박스 사용에 대한 신뢰를 구축하는 한 가지 방법입니다.

AI 해석 가능성은 AI 모델의 내부 작동을 이해하는 데 중점을 두는 반면, AI 설명 가능성은 모델의 아웃풋에 대한 이유를 제공하는 것을 목표로 합니다.

해석 가능성은 투명성과 관련이 있으며, 사용자가 모델의 아키텍처, 모델이 사용하는 기능과 이를 결합하여 예측을 제공하는 방식을 이해할 수 있도록 하는 것입니다. 해석 가능한 모델의 의사 결정 과정은 인간이 쉽게 이해할 수 있습니다. 해석 가능성을 높이려면 내부 운영을 더 많이 공개해야 합니다.

설명 가능성은 검증에 관한 것이며, 종종 예측을 한 후에 모델의 아웃풋에 대한 정당성을 제공하는 것입니다. 설명 가능한 AI(XAI)는 결과를 초래한 요인을 식별하는 데 사용됩니다. 자연어를 사용하여 복잡한 프로세스와 기본 데이터 과학을 인간에게 명확하게 하는 방식으로 다양한 설명 방법을 사용하여 모델을 제시할 수 있습니다.

AI 해석 가능성은 모델을 디버그하고, 편향을 감지하고, 규정을 준수하고, 사용자와의 신뢰를 구축하는 데 도움이 됩니다. 이를 통해 개발자와 사용자는 모델이 사람과 비즈니스에 어떤 영향을 미치는지 확인하고 책임감 있게 개발할 수 있습니다.

해석 가능성은 다음과 같은 몇 가지 이유로 중요합니다.

• 신뢰
• 편향성과 공정성
• 디버깅
• 규정 준수
• 지식 이전

해석 가능성이 없으면 사용자는 혼란에 빠지게 됩니다. 이러한 책임의 부재는 기술에 대한 대중의 신뢰를 떨어뜨릴 수 있습니다. 이해관계자가 모델이 의사 결정을 내리는 방식을 완전히 이해하면 모델의 아웃풋을 수용할 가능성이 높아집니다. 모델 해석 가능성은 투명성과 명확성을 제공하여 사용자가 의료 진단이나 재무 결정과 같은 실제 애플리케이션에서 이를 안심하고 신뢰할 수 있게 해줍니다.

학습 데이터 내의 편향은 AI 모델에 의해 증폭될 수 있습니다. 그로 인한 차별적인 결과는 사회적 불평등을 지속시킬 뿐만 아니라 조직을 법적 및 평판 위험에 노출시킵니다. 해석 가능한 AI 시스템은 모델이 인종, 연령 또는 성별과 같은 보호 대상 특성에 따라 편향된 결정을 내리고 있는지 감지하는 데 도움이 될 수 있습니다. 해석 가능성을 통해 모델 개발자는 차별적인 패턴을 식별하고 완화하여 보다 공정한 결과를 보장할 수 있습니다.

해석 가능한 머신 러닝을 통해 ML 알고리즘 및 ML 모델 개발자는 오류를 식별하고 수정할 수 있습니다. 처음부터 100% 정확한 머신 러닝 모델은 없습니다. AI의 추론을 이해하지 못하면 디버깅은 비효율적이고 위험한 프로세스입니다. ML 모델의 작동 방식을 이해함으로써 개발자와 데이터 과학자는 잘못된 예측의 원인을 정확히 찾아내고 모델의 성능을 최적화할 수 있습니다. 결과적으로 이 프로세스는 전반적인 신뢰성을 높이고 최적화를 돕습니다.

미국의 ECOA(평등기회법) 또는 유럽연합의 GDPR(일반 데이터 보호 규정)과 같은 일부 규정에서는 자동화된 시스템을 통한 의사 결정이 투명하고 설명 가능해야 한다고 규정하고 있습니다. 또한 유럽연합의 EU AI 법 등 점점 더 많은 AI 관련 규정이 AI 개발 및 사용에 대한 표준을 정하고 있습니다. 해석 가능한 AI 모델은 의사 결정에 대한 명확한 설명을 제공하여 이러한 규제 요구 사항을 충족하는 데 도움이 될 수 있습니다. 해석 가능성은 감사 문제, 책임 및 데이터 개인정보 보호에도 도움이 될 수 있습니다.

해석 가능성이 없으면 개발자와 연구원은 AI 인사이트를 실행 가능 결과로 변환하거나 변화에 따라 기술을 발전시키는 데 어려움을 겪을 수 있습니다. 해석 가능성이 있으면 모델의 기초와 결정에 대한 이해관계자들 간에 더 쉽게 지식을 이전 하고, 해당 지식을 활용하여 다른 모델 개발에 정보를 제공할 수 있습니다.

스탠포드 대학교의 연구원인 Nigam Shah는 엔지니어의 해석 가능성, 인과적 해석 가능성, 신뢰 유도 해석 가능성 등 세 가지 주요 유형의 해석 가능성을 구분합니다.¹

이 유형은 AI 모델이 아웃풋에 어떻게 도달했는지에 초점을 맞춥니다. 여기에는 모델의 내부 작동에 대한 이해가 포함되며 모델을 디버그하거나 개선해야 하는 개발자 및 연구자에게 적합합니다.

이 유형은 모델이 그 아웃풋을 생성한 이유에 중점을 둡니다. 여기에는 모델의 예측에 가장 큰 영향을 미치는 요인과 이러한 요인의 변경이 결과에 미치는 영향을 식별하는 것이 포함됩니다.

이 유형은 모델의 아웃풋에 대한 신뢰를 구축하는 설명을 제공하는 데 중점을 둡니다. 여기에는 기술적 전문 지식이 없더라도 사용자가 이해할 수 있고 공감할 수 있는 방식으로 모델의 의사 결정 프로세스를 제시하는 것이 포함됩니다.

AI 모델의 해석 가능성에 영향을 미치는 몇 가지 특성이 있습니다.

• 내재적 및 사후 비교
• 로컬 및 글로벌 비교
• 모델별 및 모델에 구애받지 않음 비교

내재적 해석 가능성은 Decision Trees 및 선형 회귀 모델과 같이 본질적으로 해석이 가능한 모델을 말합니다. 간단한 구조로 이해하기 쉽습니다. 그러나 사후 해석 가능성에는 사전 학습된 모델에 해석 방법을 적용하여 동작을 설명하는 것이 포함됩니다. 사후 해석은 더 복잡하거나 블랙박스 모델에 가장 적합합니다.

로컬 해석 가능성은 개별 예측을 설명하는 데 중점을 두고 모델이 특정 결과에 도달한 이유를 보여주는 데 도움이 됩니다. 글로벌 해석 가능성은 전체 데이터 세트에서 모델의 동작을 이해하여 전체 패턴과 추세를 보여주는 것을 목표로 합니다.

모델별 해석 가능성 방법은 모델의 내부 구조를 사용하여 설명을 제공합니다. 모델에 구애받지 않는 방법은 모든 유형의 모델에서 작동합니다.

다양한 방법으로 AI 모델에서 해석 가능성을 설정할 수 있습니다.

일부 모델은 내재적 해석이 가능할 정도로 간단합니다. 이러한 본질적으로 해석 가능한 모델은 Decision Trees, 규칙 기반 시스템 및 선형 회귀와 같은 간단한 구조에 의존합니다. 인간은 선형 모델의 의사 결정 패턴과 프로세스를 쉽게 이해할 수 있습니다.

더 복잡한 모델에는 사후 해석이 필요하며, 이 경우 해석 방법이 사전 학습시킨 모델에 적용되어 모델의 아웃풋을 설명합니다. 몇 가지 일반적인 사후 해석 방법은 다음과 같습니다.

• LIME(Local Interpretable Model-Agnostic Explanations)
• Shapley 부가 설명(SHAP)
• 부분 종속성 플롯(PDP)
• 개별 조건부 기대치(ICE) 플롯

LIME은 한 번에 하나의 예측에 초점을 맞춰 모델의 예측을 설명하는 데 도움이 됩니다. 이는 특정 예측에 대한 복잡한 모델의 동작을 모방하는 더 간단하고 해석 가능한 모델을 만들어서 이를 수행합니다. 이 방법은 특정 특성(예: 모양, 색상 또는 다른 데이터 포인트)이 모델의 아웃풋에 미치는 영향을 확인하기 위해 특성 속성을 사용합니다. 예를 들어, 특정한 예측을 수행한 후 특성 값을 약간 수정하거나 조정하여 많은 유사한 인스턴스를 생성합니다. 거기에서 이러한 "교란된" 기능 값과 그 결과를 기반으로 더 간단하고 해석하기 쉬운 모델을 만듭니다. 간단히 말해서 LIME은 복잡한 모델이 어떻게 동작하는지에 대한 단순하고 지역적인 설명을 제공합니다.

SHAP는 해석 가능성에 대한 협력적 게임 이론 스타일의 접근 방식으로, 가능한 모든 기능 조합과 이러한 기능이 예측에 미치는 영향을 고려합니다. 다양한 시나리오에서 예측에 얼마나 기여하는지에 따라 각 기능에 값(Shapley 값이라고 함)을 할당합니다. SHAP는 모든 머신 러닝 시스템에서 작동할 수 있습니다. 머신 러닝 알고리즘이 제공하는 개별 예측에 대한 로컬 설명과 모델 전체에 대한 글로벌 설명을 모두 제공합니다. 그러나 계산 복잡성으로 인해 SHAP는 더 느리고 비용이 많이 드는 방법일 수 있습니다.

PDP는 특성이 데이터 세트 전체에서 평균적으로 모델의 예측에 어떤 영향을 미치는지 보여줍니다. 특성과 모델의 아웃풋 간의 관계를 시각화하고 다른 모든 특성을 일정하게 유지하는 데 도움이 됩니다. 이 방법은 적은 수의 특성을 해석하거나 관련자가 특성의 특정 하위 집합에 집중하려는 경우에 유용합니다.

ICE 플롯은 예측된 결과가 특정 기능에 얼마나 의존하는지 보여줍니다. PDP와 유사하지만 데이터 세트 전체의 평균이 아닌 개별 인스턴스에 대한 기능과 모델 출력 간의 관계를 보여줍니다. 예를 들어 인스턴스 수준에서 가변성을 강조하고 기능 간의 상호 작용을 표시하는 등 모델의 동작에 대한 보다 자세한 보기를 제공하여 PDP를 보완할 수 있습니다. 또한 컴퓨터 과학 연구자나 이해관계자가 모델 작동에서 이상치나 비정상적인 패턴을 식별하려는 경우에 유용합니다.

AI 해석 가능성은 AI 모델을 사용하여 개인이나 사회에 영향을 미치는 결정을 내리는 모든 산업에서 중요합니다. AI 해석 가능성과 관련된 일부 산업은 다음과 같습니다.

해석 가능성에는 몇 가지 어려움과 한계가 따릅니다.

모델 성능과 해석 가능성 사이에는 상충 관계가 있는 경우가 많습니다. 더 간단한 화이트박스 모델은 해석 가능성이 높지만 심층 신경망과 같은 복잡한 블랙박스 모델에 비해 정확도가 낮을 수 있습니다.

또한 해석 가능성은 표준화의 부족으로 어려움을 겪고 있습니다. 다양한 방법은 동일한 모델에 대하여 서로 다른 설명을 제공할 수 있으므로, 공식적인 프레임워크 없이 이를 비교하고 검증하는 것이 어렵습니다. 해석 가능성은 종종 주관적입니다. 어떤 사용자에게는 이해하기 쉬운 것이라도 다른 사용자에게는 충분하지 않을 수 있습니다.

일부 전문가들은 어떤 경우에는 해석 가능성이 필요하지 않거나 다른 경우에는 역효과를 낼 수 있다고 말합니다. 모델이 비공개이거나 큰 영향을 미치지 않거나 문제가 이미 많이 수용된 연구 주제인 경우 더 큰 해석 가능성은 중복되거나 불필요할 수 있습니다. 경우에 따라 해석의 투명성이 높아지면 악의적인 행위자가 시스템을 악용하거나 사용자가 시스템의 효율성을 훼손하는 방식으로 시스템을 조작할 수 있으므로 안전에 문제가 발생할 수 있습니다.