신뢰할 수 있는 AI란 무엇인가요?

신뢰할 수 있는 인공 지능 또는 TAI는 인공 지능 모델 배포와 관련된 잠재적 위험을 완화할 수 있습니다. 이러한 AI 위험에는 사람, 조직 및 에코시스템에 대한 피해가 포함됩니다. 이러한 피해가 발생하면 특정 AI 모델에 대한 신뢰뿐만 아니라 전반적인 인공 지능에 대한 신뢰가 훼손될 수 있습니다.

신뢰할 수 있는 AI 프레임워크는 조직의 AI 기술 개발, 채택 및 평가에 도움이 될 수 있습니다. 미국 국립표준기술연구소(NIST), 유럽연합 집행위원회의 AI 고위 전문가 그룹, 경제협력개발기구(OECD) 등 여러 정부 및 정부 간 조직에서 이러한 프레임워크를 구축했습니다.

또한 기업은 AI 시스템의 신뢰성을 개선하기 위해 다양한 전략과 도구를 구현할 수 있습니다. 예를 들어, 지속적인 모니터링, 문서화 및 AI 거버넌스 프레임워크는 모두 위험을 최소화하는 데 도움이 될 수 있습니다.

기술의 작동 방식을 이해하는 것이 기술의 효율성을 신뢰하는 데 중요한 경우가 많습니다. 그러나 딥 러닝 모델과 같은 많은 AI 및 머신 러닝(ML) 시스템은 블랙박스와 같은 방식으로 작동합니다. 데이터를 수집하고 아웃풋을 생성하지만, 해당 아웃풋에 도달하는 방법에 대한 투명성이 거의 또는 전혀 없습니다.

그 결과 신뢰 부족이 발생하고 있습니다. 2023년 설문조사에 따르면 기업 리더의 40% 이상이 AI 신뢰성에 대한 우려를 표명했습니다.¹ 한편, 소비자들은 AI에 대한 불신도 드러냈는데, 2024년 연구에 따르면 제품 라벨에 '인공 지능'이라는 용어를 포함하면 구매자가 해당 제품을 구매할 가능성이 낮아질 수 있다고 합니다.²

AI 시스템이 위험도가 높은 사용 사례에서 오류나 유해한 결과를 초래하는 실제 사례는 AI 신뢰에 대한 우려를 더욱 부추깁니다. 잘 알려진 한 의료 서비스 사례에서 AI 모델은 패혈증을 안정적으로 진단하지 못했습니다. 이 모델은 훈련 환경에서는 우수한 성능을 보였지만 병원 환자의 3분의 2 이상에서 패혈증을 감지하지 못했습니다.³

또 다른 사례로는 소수 커뮤니티를 불균형하게 표적으로 삼는 예측 정책 시스템과 여성 후보자보다 남성 후보자를 선호하는 지원자 추적 시스템 등 AI 모델이 편향된 알고리즘 의사 결정을 보여주었습니다. 또한 AI 챗봇이 실수로 민감한 개인 데이터를 노출하거나 해커가 AI 모델의 취약점을 악용하여 기업의 독점 정보를 훔치는 등의 보안 문제도 있습니다.

AI 모델이 성능이 저조하거나 유해한 결과를 도출하면 해당 모델뿐만 아니라 AI 전반에 대한 신뢰가 약화되어 향후 AI의 개발과 도입을 저해할 수 있습니다. 신뢰할 수 있는 AI 시스템을 구축하고 미래의 AI 개발을 지원한다는 것은 은유적인 AI 블랙박스 내부를 밝히는 것을 의미합니다. 이를 통해 이해관계자는 AI 애플리케이션을 통해 정확하고 신뢰할 수 있는 결과를 얻을 수 있으며, 편향적이거나 원래 의도와 맞지 않는 결과에 대한 위험을 최소화할 수 있습니다.

각 조직과 프레임워크는 신뢰할 수 있는 AI를 위한 다양한 지침 원칙과 목표를 강조합니다. 자주 인용되는 신뢰할 수 있는 AI의 원칙은 다음과 같습니다.

• 책임
• 설명 가능성
• 공정성
• 해석 가능성 및 투명성
• 개인 정보 보호
• 신뢰성
• 견고성 및 보안
• 안전

AI의 책임은 AI 행위자가 라이프사이클 전반에 걸쳐 AI 시스템의 적절한 기능에 대해 책임을 지도록 하는 것을 의미합니다. 여기에는 AI 기술을 개발, 배포 또는 운영하는 데 관여하는 개인 및 조직이 포함됩니다.⁴

AI 설명 가능성은 모델의 아웃풋을 검증하거나 그에 대한 정당성을 제공하는 것입니다. 설명 가능한 AI로 통칭되는 다양한 설명 가능 방법이 있으며, 이를 통해 인간 사용자는 머신 러닝 알고리즘이 생성한 결과와 아웃풋을 이해하고 신뢰할 수 있습니다. 

AI의 공정성은 개인과 집단을 공평하게 대우하는 것을 의미합니다. 여기에는 알고리즘 및 데이터 편향을 완화하는 것이 포함됩니다. 알고리즘 편향은 머신 러닝 알고리즘의 체계적 오류가 불공정하거나 차별적인 결과를 초래할 때 발생하며, 데이터 편향은 AI 모델에 사용되는 학습 데이터의 왜곡되거나 대표성이 없는 특성을 의미합니다.

AI 해석 가능성은 사람들이 AI 모델의 의사 결정 과정을 더 잘 이해하고 설명하는 데 도움이 됩니다. 해석 가능성은 투명성과 관련이 있으며, 사용자가 모델의 아키텍처, 모델이 사용하는 기능과 이를 결합하여 예측을 제공하는 방식을 이해할 수 있도록 하는 것입니다. 일부 모델은 본질적으로 해석이 가능하지만, 해석 방법을 사용해야 하는 모델도 있습니다.

AI 개인정보 보호란 AI가 수집, 사용, 공유 또는 저장하는 개인 정보 또는 민감한 정보를 보호하는 것을 말합니다. AI 개인정보 보호는 데이터 개인정보 보호와 밀접한 관련이 있습니다. 정보 개인정보 보호라고도 하는 데이터 개인정보 보호는 개인이 자신의 개인 데이터를 제어해야 한다는 원칙입니다. 암호화부터 연합 학습에 이르기까지 다양한 방법을 통해 AI와 데이터 개인정보 보호를 개선할 수 있습니다.

신뢰성은 특정 조건에서 주어진 기간 동안 고장 없이 의도하거나 필요한 대로 작동할 수 있는 능력으로 정의할 수 있습니다. 신뢰할 수 있는 AI 시스템은 예상 조건에서 사용할 때 해당 시스템의 전체 수명을 포함할 수 있는 지정된 기간 동안 올바른 결과를 제공해야 합니다.⁵

안전하고 견고한 AI 시스템은 적대적 공격과 무단 접근으로부터 보호하는 보호 메커니즘을 갖추고 있어 사이버 보안 위험과 취약성을 최소화합니다. 이는 비정상적인 조건에서도 의도하지 않은 피해를 입히지 않고 작동할 수 있으며 예기치 않은 이벤트가 발생한 후에도 정상 기능으로 돌아갑니다.

안전한 AI 시스템은 사람의 생명, 상황, 재산 또는 환경을 위험에 빠뜨리지 않습니다. 이는 사람들을 위험으로부터 보호하기 위해 사전 예방적으로 설계되었으며 시스템 사용 중지 가능성을 포함하여 안전하지 않은 결과를 완화하는 조치를 포함합니다.⁶

신뢰할 수 있는 품질이 부족한 AI 시스템은 다양한 위험을 초래합니다. 미국 상무부 산하 미국 국립표준기술연구소(NIST)는 AI 위험 관리의 벤치마크가 된 프레임워크를 개발했습니다. 이는 AI 시스템으로 인한 잠재적 피해의 위험을 다음 카테고리로 분류합니다.⁷

• 사람에게 해를 끼침
• 조직에 미치는 피해
• 에코시스템에 해를 끼침

이 카테고리에는 개인의 시민적 자유, 권리, 신체적 또는 심리적 안전 또는 경제적 기회에 발생하는 피해가 포함됩니다. 또한 차별을 통해 집단에 미치는 영향과 민주적 참여 또는 교육 접근에 대한 해악의 형태로 사회에 미치는 영향을 포함합니다.

이 카테고리는 조직의 비즈니스 운영에 대한 피해, 보안 침해 또는 금전적 손실로 인한 피해, 평판에 대한 피해를 의미합니다.

이 카테고리에는 "상호 연결되고 상호 의존적인 요소 및 리소스"에 대한 피해가 포함됩니다. NIST는 특히 글로벌 금융 시스템, 공급망 또는 '상호 관련된 시스템'은 물론 천연 자원, 환경 및 지구에 대한 피해를 예로 들었습니다.

AI 시스템의 편향적이거나 부정확한 아웃풋은 여러 가지 피해를 초래할 수 있습니다. 앞의 예로 돌아가서, 편향된 지원자 추적 시스템은 개인의 경제적 기회에 손상을 입힐 뿐만 아니라 조직의 평판에도 해를 끼칠 수 있습니다. 대규모 언어 모델(LLM)을 속여 기업의 운영을 마비시키는 맬웨어를 실행하는 경우, 이는 기업과 해당 기업이 속한 공급망 모두에 피해를 입힐 수 있습니다.

신뢰할 수 있는 AI 시스템은 이러한 끔찍한 시나리오와 결과를 예방하는 데 도움이 될 수 있습니다. NIST에 따르면 "신뢰할 수 있는 AI 시스템과 책임감 있는 사용은 부정적인 위험을 완화하고 사람, 조직 및 에코시스템을 이롭게 하는 데 기여할 수 있습니다."

최근 몇 년 동안 AI 공급자와 사용자가 신뢰할 수 있는 AI 시스템의 개발, 배포 및 운영을 안내하기 위해 다양한 프레임워크가 등장했습니다. 이러한 프레임워크에는 다음이 포함됩니다.

2023년 1월에 발표된 NIST AI 위험 관리 프레임워크(AI RMF)에는 AI 수명 주기 전반의 AI 위험과 신뢰할 수 있는 AI 시스템의 특성에 대한 개요가 포함되어 있습니다. 이 프레임워크는 테스트, 평가, 검증 및 검증 작업을 포함하여 조직이 이러한 시스템을 관리하는 데 도움이 되는 특정 조치를 간략하게 설명합니다.

자발적 프레임워크는 모든 회사 또는 지역에 적용되지만 NIST는 모든 신뢰할 수 있는 AI 특성이 모든 환경에 적용되는 것은 아니라는 점을 인정합니다. 이 프레임워크는 적용 가능한 신뢰성 메트릭을 선택할 때 인간의 판단을 사용하도록 장려하고, 신뢰할 수 있는 AI 특성 또는 다른 특성을 최적화할 때 일반적으로 절충점이 수반된다는 점을 고려합니다. 2024년 7월, NIST는 생성형 AI에 초점을 맞춘 AI RMF에 대한 보조 리소스를 출시했습니다.

OECD AI 원칙은 AI 사용에 있어 인권과 민주적 가치의 존중을 장려합니다. 2019년 5월에 채택되어 2024년 5월에 업데이트된 OECD 프레임워크는 정책 입안자를 위한 가치 기반 원칙과 권고 사항을 모두 포함하고 있습니다. OECD는 이 권고안을 미국, 유럽연합 국가, 남미 및 아시아 국가를 포함한 전 세계 47개 국가가 지지하는 최초의 정부 간 AI 표준으로 홍보하고 있습니다.

2019년 4월 유럽연합 집행위원회의 AI에 관한 고위급 전문가 그룹이 발표한 유럽연합의 가이드라인은 AI 윤리에 중점을 두고 EU의 AI 개발에 대한 '인간 중심' 접근 방식을 강조합니다. 이 가이드라인에는 '인간의 선택의지와 감독', '사회 및 환경적 웰빙' 등 7가지 윤리 원칙이 포함되어 있습니다. 이듬해 그룹은 조직이 AI 시스템을 평가하는 데 도움이 되는 신뢰할 수 있는 AI에 대한 평가 목록(ibm.com 외부 링크)을 발표했습니다.

가이드라인 자체는 구속력이 없지만, 나중에 유럽연합에서 인공 지능의 개발 또는 사용을 규율하는 법률인 획기적인 EU AI 법에 인용되었습니다. 이 법의 본문에는 EU AI 윤리 원칙이 "가능한 경우 AI 모델에 적용되어야 한다."⁸고 명시되어 있습니다.

다른 조직들도 신뢰할 수 있는 AI를 장려하는 프레임워크와 지침을 발표했습니다. 예를 들어 백악관 과학기술국(AI 권리장전 청사진을 통해),Deloitte(ibm.com 외부 링크) 및 IBM과 같은 회사가 포함됩니다.

신뢰할 수 있는 AI, 윤리적 AI, 책임감 있는 AI라는 용어는 종종 같은 의미로 사용됩니다. 또한 각 개념의 정의는 출처에 따라 다를 수 있고 상당한 중복을 포함하는 경우가 많기 때문에 세 가지 개념을 결정적으로 구분하는 것은 어려울 수 있습니다.

예를 들어, 신뢰할 수 있는 AI와 윤리적 AI에 대한 일반적인 정의는 공정성 및 개인정보 보호와 같은 원칙을 각 개념의 기본으로 나열합니다. 마찬가지로, 책임감과 투명성은 신뢰할 수 있는 AI와 책임감 있는 AI 모두와 관련이 있는 속성입니다.

세 가지 AI 기반 개념을 식별하는 한 가지 방법은 핵심 원칙을 넘어 그 사용 방식에 집중하는 것입니다.

• 신뢰할 수 있는 AI는 흔히 어떤 성과를 달성한 것으로 간주되지만, 사용자와의 신뢰를 구축하는 것은 바로 AI입니다.
• 반면 윤리적 AI는 설계 및 개발 과정에서 인간의 가치와 도덕적 기준을 반영하는 윤리적 고려 사항이 내재된 AI 시스템으로 설명할 수 있습니다.
• 책임감 있는 AI는 이러한 윤리를 AI 애플리케이션과 워크플로에 포함시키는 실질적인 수단을 포괄하는 것으로 해석할 수 있습니다.

조직은 AI 알고리즘 및 데이터 세트를 포함한 인공 지능 시스템이 신뢰할 수 있는 AI의 원칙에 따라 작동하도록 보장하기 위해 중요한 조치를 취할 수 있습니다.

평가: AI 기반 비즈니스 프로세스를 평가하면 기업이 다양한 신뢰할 수 있는 메트릭에서 개선의 여지가 있는 부분을 판단하는 데 도움이 될 수 있습니다.

지속적인 모니터링: AI 편향 및 모델 드리프트와 같은 문제에 대한 지속적인 모니터링을 통해 조직은 불공정하거나 부정확한 프로세스나 아웃풋을 사전에 해결하여 공정성과 신뢰성을 지원합니다.

위험 관리: 위험 관리 프레임워크와 툴을 구현하면 보안 위반과 개인정보 침해를 탐지하고 최소화하여 AI의 견고성을 강화할 수 있습니다.

문서화: 데이터 과학 및 AI 수명 주기 전반에 걸쳐 자동화된 문서를 업계 및 규제 감사에 사용하여 책임성과 투명성을 확보할 수 있습니다.

AI 거버넌스 프레임워크: AI 거버넌스 프레임워크에는 데이터 및 모델 관리에 대한 절차가 포함되어 있어 조직 내 개발자와 데이터 과학자가 내부 표준과 정부 규정을 모두 준수하도록 보장하는 데 도움이 됩니다.

AI 거버넌스 소프트웨어와 오픈 소스 툴킷은 조직이 이러한 단계를 비롯한 기타 단계를 수행하여 AI 시스템의 신뢰성을 개선하는 데 도움이 될 수 있습니다. 적절한 조치와 안전장치를 마련하면 기업은 AI의 힘을 활용하면서 위험을 최소화할 수 있습니다.