AI 거버넌스는 조직 내에서 AI 활동을 모니터링하고 관리하는 기능입니다. 여기에는 기업 내에 배포된 데이터 및 모델의 출처를 추적하고 문서화하는 프로세스와 절차뿐만 아니라, 모델을 학습시키고 지속적인 정확도를 검증 및 모니터링하는 데 사용되는 기술도 포함됩니다. 효과적인 AI 거버넌스는 기업에 다음의 세 가지 주요 성과를 제공합니다.
규정 준수. AI 솔루션 및 AI 제공 의사 결정이 업계에서 인정하는 관행, 규제 표준, 법적 요구 사항과 일치하도록 지원합니다.
신뢰. AI 모델이 설명 가능하고 공정하도록 보장하여 AI가 제공하는 의사 결정에 대한 신뢰를 확보할 수 있습니다.
효율성. AI 개발 및 배포 관행을 표준화하고 최적화하여 시장 출시 속도를 높이고 AI 개발 비용을 절감합니다.
AI 거버넌스를 도입하지 않는 기업은 여러 가지 부정적인 결과를 초래할 수 있습니다. 머신 러닝 프로세스는 반복적이며 협업을 필요로 합니다. 올바른 거버넌스와 문서화가 없으면 데이터 과학자나 검증자가 모델 데이터의 리니지나 모델이 어떻게 구축되었는지 확신할 수 없습니다. 따라서 결과 재현이 어려울 수 있습니다. 관리자가 잘못되거나 불완전한 데이터를 사용하여 모델을 학습시키면 수개월의 노력이 물거품이 될 수 있습니다.
AI 거버넌스가 없으면 상당한 불이익이 발생할 수 있습니다. 은행 사업자들은 대출 자격을 결정할 때 편향된 모델을 사용한 것에 대해 막대한 벌금을 부과받았습니다. EU는 일반 데이터 보호 규정(GDPR)에 AI 규정을 추가할 계획입니다. GDPR을 위반할 경우 현재 "최대 2,000만 유로 또는 이전 회계 연도의 전 세계 연간 매출의 4% 중 더 높은 금액이 벌금으로 부과될 수 있습니다."
브랜드 평판도 위험에 처해 있습니다. 한 실험에서는 AI 소프트웨어를 사용하여 소셜 미디어에서 젊은이들의 음성 패턴을 학습했습니다. 인터넷 트롤들이 인종 차별적, 성차별적, 반유대주의적 게시물을 만드는 툴을 '가르치자' 행정부 관리들이 그러한 소프트웨어를 즉시 제거했습니다.
개념적 아키텍처
위 다이어그램은 대규모 언어 모델(LLM)을 사용하는 생성형 AI 솔루션을 위한 AI 거버넌스 솔루션의 주요 구성 요소를 보여줍니다.
모델 거버넌스는 AI 거버넌스를 위한 중앙 정보 센터입니다. 기업 직원이 AI 모델이 공정성, 투명성 및 규정 준수 요구 사항을 충족하는지 확인하고 감사하고 보고하는 데 사용할 수 있는 대시보드, 보고서 및 알림 기능을 제공합니다. 또한 모델 거버넌스 구성 요소를 통해 기업은 모델이 개발 단계에서 프로덕션 단계로 전환되는 시기와 방법에 영향을 주는 게이팅 기준 및 기타 정책을 설정할 수 있습니다.
모델 모니터링은 모델이 설명 가능하고 공정하고 규정을 준수하는지 확인하기 위해 모델의 아웃풋을 적극적으로 모니터링하고, 모델이 배포될 때에도 이러한 상태를 유지하는지 확인합니다. 모델이 드리프트하거나 아웃풋에서 편향을 보이기 시작하면 모델 모니터링 구성 요소는 AI 운영 직원이 조사할 수 있도록 플래그를 지정합니다.
개념적 설명
아래 다이어그램은 기업 AI 거버넌스를 제공하기 위한 간략한 구성 요소 상호 작용을 보여줍니다.
모델 개발 및 지속적인 모니터링을 위한 정보 흐름과 구성 요소 간의 상호 작용을 보여주는 AI 거버넌스 솔루션 설명.
기업 거버넌스 팀의 구성원은 모델 거버넌스 구성 요소를 사용하여 (i) 프라이빗 인프라, 하이퍼스케일러 및 클라우드 기반 플랫폼 전반에 걸쳐 기업 내에 배포된 AI 모델(파운데이션 및 비파운데이션)을 시각화하고, (ii) 기업 내에서 배포 및 운영할 모델에 대한 최소 운영 기준 및 기타 정책을 설정합니다. 기준 및 정책 제어는 후속 모니터링 및 경고를 위해 모델 모니터링 구성 요소로 전파됩니다.
모델 개발자는 프롬프트 조정을 통해 대규모 언어 모델(LLM)을 조정하고 테스트 프롬프트에 대한 모델 응답을 평가합니다. 이러한 테스트의 결과는 요약 통계와 함께 캡처되며 모델 모니터링 구성 요소로 전파되어 모델 및 데이터 리니지를 제공하기 위해 기록됩니다.
모델 검증자는 조정 및 테스트 결과에 대한 후기를 작성하고 모델 모니터링 구성 요소의 도움을 받아 기업 거버넌스 팀에서 설정한 게이팅 기준 및 제어와 비교합니다. 기준과 제어가 충족되면 해당 모델은 프로덕션에서 사용할 수 있도록 승인됩니다.
모델 개발자는 모델 모니터링 구성 요소를 사용하여 시간 경과에 따른 모델의 성능을 모니터링합니다. 특히, 개발자는 모델 응답이 공정성(편향 없음), 정확성(올바른 응답), 투명성(설명 가능한 응답)에 대한 기업 기준을 계속 충족하는지 확인합니다.
모델 모니터링 구성 요소는 배포된 AI 모델(파운데이션/생성형 모델 및 '기존' 머신 러닝 모델)을 지속적으로 모니터링하여 정확성 및 성능 통계를 캡처합니다.
또한 모델 모니터링 구성 요소는 사용자 프롬프트와 모델의 응답을 캡처하여 (i) 모델 드리프트(편향 및/또는 모델 정확도의 편차)를 방지하고 (ii) 테스트 데이터를 캡처하여 추가 조정이 도움이 되는 주제 영역 또는 데이터 도메인을 식별하는 데 도움을 줍니다.
현재의 IBM 제품 솔루션
IBM watsonx.governance와 IBM OpenPages 솔루션을 개념적 모델에 매핑한 현재 상태는 아래 다이어그램에 나와 있습니다. watsonx.governance(watsonx.governance)는 watsonx.ai 엔드투엔드 툴킷, 온프레미스, 클라우드 기반 인프라 또는 Amazon Sagemaker와 같은 서드파티 AI 플랫폼에서 실행되는 파운데이션 모델을 런타임 동안 모니터링합니다. 또한 watsonx.governance는 watsonx.governance 내에서 AI 팩트시트로 알려진 모델 카드를 생성, 업데이트 및 관리하고 모델 성능 메트릭을 캡처 및 보고하는 기능을 제공합니다. IBM OpenPages의 모델 위험 관리 모듈은 위험 보고 및 관리 기능과 모델 거버넌스의 모델 개발 및 배포 정책 관리 기능을 제공합니다.
IBM OpenPages와 IBM watsonx.governance가 솔루션에 어떻게 작동하는지 보여주는 일러스트. 모델 거버넌스 및 모델 모니터링 기능을 각각 제공합니다.
미래의 IBM 제품 솔루션
가까운 시일 내에 watsonx.governance는 모델 거버넌스와 모델 모니터링의 모든 기능을 제공할 예정입니다.
가까운 미래에 IBM watsonx.governance가 모델 거버넌스 기능과 모델 모니터링 기능을 둘 다 제공하는 방식을 보여주는 일러스트.
생성형 AI 솔루션의 거버넌스는 '기존' AI 모델의 거버넌스와 유사하지만, 생성형 기능의 경우 부적절하거나 악의적인 프롬프트를 방지하고 모델이 사실적으로 정확하고 수용 가능한 아웃풋을 생성하는지 확인하기 위해 기존 모델보다 모델 입력 및 모델 아웃풋을 더 면밀하게 관리해야 합니다. 이 섹션에서는 모델 라이프사이클 관리와 모델 위험 및 규정 준수라는 두 가지 핵심 사용 사례에서 IBM watsonx.governance가 파운데이션 모델에 어떻게 적용되는지 설명합니다.
모델 라이프사이클 관리
AI 모델 라이프사이클을 관리하기 위한 사용자 및 기타 구성 요소와 IBM watsonx.governance의 상호작용을 보여주는 솔루션 설명.
위 다이어그램은 watsonx.governance를 사용하여 초기 테스트 및 검증부터 배포에 이르는 모델 라이프사이클을 관리하는 방법을 보여줍니다.
모델 개발자 프롬프트는 watsonx.ai 온프레미스 솔루션, watsonx.ai 서비스 또는 다른 온프레미스 또는 클라우드 기반 플랫폼에서 모델을 조정하고 이에 대해 프롬프트를 개발 및 테스트합니다.
프롬프트 및 모델 응답 데이터는 ROUGE, SARI, Chrf, BLEU와 같은 모델 성능 메트릭과 함께 watsonx.governance의 모델 인벤토리 관리 기능에서 캡처됩니다. 여러 버전의 프롬프트 및 응답 데이터를 캡처하여 기업의 요구 사항을 가장 잘 충족하는 모델 및 프롬프트 조합을 상호 비교하고 선택할 수 있습니다.
모델 검증기는 개별 프롬프트 및 모델 조합의 결과를 검토하고 프로덕션 배포를 승인할 버전을 선택합니다.
모델 개발자는 동일한 기능을 사용하여 특정 비즈니스 사용 사례에 대한 모델/프롬프트 조합 및 성능을 추적합니다.
모델 위험 및 규정 준수
아래에는 watsonx.governance 내의 모델 위험 및 규정 준수에 대한 구성 요소 설명이 나와 있습니다.
모델 위험을 관리하고 규정 준수를 유지하기 위해 사용자 및 기타 구성 요소와 IBM OpenPages 및 IBM watsonx.governance의 상호 작용을 보여주는 솔루션 설명.
기업의 AI 거버넌스 팀원들은 프로덕션 환경에서 모델이 충족해야 하는 모델 메트릭(예: ROUGE)의 최소, 최대 및 허용 편차로 지정된 기준을 결정하고 설정합니다. 이러한 기준은 IBM OpenPages Model Risk Management 툴 내에서 설정된 후 watsonx.governance로 전파됩니다.
모델 개발자는 watsonx.ai 온프레미스 솔루션, watsonx.ai 서비스 또는 다른 온프레미스 또는 클라우드 기반 솔루션(예: Sagemaker)에 배포된 파운데이션 모델에 대해 프롬프트 조정을 수행하고 테스트 프롬프트를 개발합니다.
프롬프트 정보 및 모델 응답 데이터는 모델 성능 메트릭과 함께 watsonx.governance로 전파되며, 여기서 메트릭은 거버넌스 팀에서 설정한 임계값과 비교됩니다.
메트릭 비교 결과는 거버넌스 팀의 검토 및 보고를 위해 IBM OpenPages로 전파됩니다. 특히, 프롬프트/모델 조합이 설정된 모든 기준을 충족하는 경우 프로덕션 준비 완료 또는 위험 없음 플래그가 지정될 수 있습니다. 모델이 일부 기준만 충족하는 경우 거버넌스 팀은 정책을 얼마나 엄격하게 만들었는지에 따라 잠재적 성능 저하 또는 프로덕션 부적합 플래그가 지정될 수 있습니다.
아키텍처 결정 및 고려 사항
자신감 있는 AI 운영을 위한 메커니즘을 보장하세요. 개발 및 배포 중에 모델을 평가하여 LLM의 응답이 할루시네이션의 결과가 아니고 욕설이 없는지 확인하는 것이 중요합니다. LLM 응답이 설명 가능하고 윤리적이며 신뢰할 수 있고 편향되지 않아야 합니다. LLM의 품질 메트릭은 데이터 과학자가 올바른 메트릭을 일관되게 선택할 수 있는 기능을 갖춘 기존 AI 모델과 상당히 다릅니다.
배포된 생성형 AI 솔루션은 시간이 지남에 따라 발생하는 편향이나 드리프트 없이 일관되어야 합니다. 기업이 다양한 클라우드에서 다양한 LLM을 사용하는 것은 드문 일이 아니며, 전반적으로 중앙 집중식 거버넌스를 지원하는 것이 중요합니다. 여러 클라우드의 다양한 배포 환경 전반에서 거버넌스 접근 방식을 취하는 것이 핵심 고려 사항입니다.
배포한 생성형 AI 애플리케이션을 최신 상태로 유지하고 지속적으로 변화하는 업계 규정을 준수하는지 확인해야 합니다. 모든 엔터프라이즈 배포 모델과 상황을 단일 뷰에서 파악할 수 있습니다.
학습 데이터에 욕설이 사용되지 않아야 합니다. 또한 독점 데이터 사용으로부터 기업을 면책하는 동시에 PII 또는 IP 데이터 유출을 방지해야 합니다. 생성형 AI 솔루션에 대한 데이터 리니지를 감사하고 확보하는 것이 핵심입니다.
여기에서는 라이프사이클 전반에서 모니터링 및 거버넌스 기능을 통해 RAG 모델을 엔드투엔드 방식으로 배포하는 방법을 설명합니다. 모델 거버넌스와 더불어 데이터 거버넌스도 중요합니다. AI OpenScale, FactSheets, IBM Open Pages 등의 IBM watsonx.Governance 구성 요소를 활용하여 생성형 AI 애플리케이션의 관리 및 제어를 보장하는 방법을 보여드립니다. IBM Watson Knowledge Catalog를 사용하면 데이터 관리, 데이터 리니지, PII 데이터 관리 등 적절한 데이터 관리가 가능합니다.