블랙박스 AI란?

채용 후보자의 이력서를 평가하는 블랙박스 모델을 생각해 보세요. 사용자는 입력, 즉 AI 모델에 투입하는 이력서를 볼 수 있습니다. 또한 사용자는 모델이 해당 이력서에 대해 반환하는 아웃풋인 평가를 확인할 수 있습니다. 그러나 사용자는 모델이 어떻게 결론에 도달하는지, 즉 고려하는 요소와 이러한 요소를 어떻게 평가하는지 등을 정확히 알지 못합니다. 

OpenAI의 ChatGPT 및 Meta의 Llama와 같은 대규모 언어 모델을 포함하여 오늘날 사용 가능한 가장 진보된 머신 러닝 모델 중 다수는 블랙박스 AI입니다. 이러한 인공 지능 모델은 복잡한 딥러닝 프로세스를 통해 방대한 데이터 세트를 학습하며, 모델의 제작자조차도 작동 방식을 완전히 이해하지 못합니다. 

이렇게 복잡한 블랙박스는 인상적인 결과를 제공할 수 있지만 투명성이 부족하여 아웃풋을 신뢰하기 어려울 수 있습니다. 사용자가 내부에서 무슨 일이 일어나고 있는지 알지 못하면 모델의 아웃풋을 쉽게 검증할 수 없습니다. 또한 블랙박스 모델의 불투명성은 사이버 보안 취약성, 편견, 개인정보 침해 및 기타 문제를 숨길 수 있습니다. 

이러한 문제를 해결하기 위해 AI 연구원들은 고급 모델의 성능과 AI 결과에 대한 투명성 필요 사이의 균형을 맞추는 설명 가능한 AI 도구를 개발하기 위해 노력하고 있습니다. 

블랙박스 AI 모델은 개발자가 의도적으로 블랙박스로 만들거나 학습의 부산물로 블랙박스가 되는 두 가지 이유 중 하나로 발생합니다. 

일부 AI 개발자와 프로그래머는 AI 도구를 대중에게 공개하기 전에 내부 작동 방식을 모호하게 만들며, 이러한 전술은 종종 지적 재산을 보호하기 위한 것입니다. 시스템 제작자는 해당 시스템의 작동 방식을 정확히 알고 있지만 소스 코드와 의사 결정 프로세스를 비밀로 유지합니다. 이러한 이유로 기존의 많은 규칙 기반 AI 알고리즘은 블랙박스입니다.

그러나 생성형 AI 도구를 포함한 최첨단 AI 기술 중 다수는 '유기적 블랙박스'라고 할 수 있습니다. 이러한 도구의 제작자는 의도적으로 도구의 작업을 모호하게 만들지 않습니다. 오히려 이러한 모델을 구동하는 딥러닝 시스템이 너무 복잡하여 제작자 자신조차도 그 내부에서 무슨 일이 일어나는지 정확히 이해하지 못합니다.

딥러닝 알고리즘은 다층 신경망을 사용하는 머신 러닝 알고리즘의 일종입니다. 기존 머신 러닝 모델은 하나 또는 두 개의 계층이 있는 네트워크를 사용할 수 있는 반면, 딥러닝 모델에는 수백 또는 수천 개의 계층이 있을 수 있습니다. 각 계층에는 인간 두뇌의 기능을 모방하도록 설계된 코드 묶음인 뉴런이 다수 포함되어 있습니다.

심층 신경망은 사람의 개입 없이도 비정형 원시 빅데이터 세트를 소비하고 분석할 수 있습니다. 방대한 양의 데이터를 가져오고, 패턴을 식별하며, 이러한 패턴에서 학습하고, 학습한 내용을 사용하여 이미지, 비디오, 텍스트와 같은 새로운 아웃풋을 생성할 수 있습니다. 

AI 시스템은 감독 없이 대규모 학습을 할 수 있는 이러한 능력을 덕분에 고급 언어 처리, 독창적인 콘텐츠 생성, 인간 지능에 가까워 보일 수 있는 기타 업무와 같은 작업을 수행할 수 있습니다.

그러나 이러한 신경망은 본질적으로 불투명합니다. AI 개발자를 포함한 사용자는 '가시 계층'이라고도 하는 입력 및 아웃풋 계층에서 어떤 일이 일어나는지 볼 수 있습니다. 들어가는 데이터와 나오는 예측, 분류 또는 기타 콘텐츠를 볼 수 있습니다. 그러나 그 사이의 모든 네트워크 계층, 즉 소위 '숨겨진 계층'에서 무슨 일이 일어나는지는 모릅니다.

AI 개발자는 데이터가 네트워크의 각 계층을 통해 이동하는 방식을 폭넓게 알고 있으며 모델이 수집한 데이터로 무엇을 하는지에 대해 일반적으로 파악하고 있습니다. 그러나 모든 세부 사항을 아는 것은 아닙니다. 예를 들어, 특정 뉴런 조합이 활성화될 때 그것이 무엇을 의미하는지, 또는 모델이 프롬프트에 응답하기 위해 벡터 임베딩을 어떻게 찾아 결합하는지는 정확히 알지 못할 수도 있습니다. 

기본 코드를 공유하는 오픈 소스 AI 모델조차도 모델이 활성화되어 있을 때 모델의 각 계층 내에서 일어나는 일을 사용자가 여전히 해석할 수 없기 때문에 궁극적으로 블랙박스인 모델입니다.

오늘날 사용 가능한 가장 진보된 AI 및 ML 모델은 매우 강력하지만 이러한 성능으로 인해 해석 가능성이 낮다는 대가를 치르게 됩니다. 

생성형 AI 모델은 복잡한 신경망에 의존하여 자연어 명령에 응답하고 새로운 문제를 해결하며 독창적인 콘텐츠를 만들지만, 이러한 신경망 내부에서 일어나는 일을 해석하기는 어렵습니다. 더 간단한 규칙 기반 AI 모델은 설명하기 쉽지만 일반적으로 생성형 AI 모델만큼 강력하거나 유연하지는 않습니다.

따라서 조직은 단순히 설명하기 쉬운 기존 AI 도구를 사용하는 것만으로는 블랙박스 문제를 해결할 수 없습니다. 기존 AI 모델도 많은 기능을 수행할 수 있지만 고급 AI 모델만이 할 수 있는 작업들이 있습니다.

블랙박스 머신 러닝 모델을 사용해야 하는 실질적인 이유가 있을 수 있지만, 투명성 부족은 이러한 고급 모델의 가치를 최대한 활용하는 데 장애물이 될 수 있습니다.  

특히 블랙박스 AI는 다음과 같은 과제를 제기합니다.

사용자는 블랙박스 모델이 어떻게 결정을 내리는지, 즉 어떤 요소에 가중치를 두고 어떤 상관관계를 도출하는지 알 수 없습니다. 모델의 아웃풋이 정확해 보일지라도 해당 아웃풋으로 이어지는 프로세스를 명확하게 이해하지 못하면 검증이 어려울 수 있습니다. 

사용자가 모르는 사이에 블랙박스 모델은 잘못된 이유로 올바른 결론에 도달할 수 있습니다. 발굽을 밟는 것만으로 숫자를 세고 간단한 산수를 할 수 있었던 말의 이름을 따서 이 현상을 '영리한 한스(Clever Hans) 효과'라고 부르기도 합니다. 사실 한스는 주인의 몸짓에서 언제 발 구르기를 멈춰야 하는지 알려주는 미묘한 신호를 포착하고 있었습니다.

영리한 한스 효과는 모델이 의료와 같은 분야에 적용될 때 심각한 결과를 초래할 수 있습니다. 예를 들어, 폐 엑스레이를 기반으로 COVID-19를 진단하도록 훈련된 AI 모델은 학습 데이터에서는 높은 정확도 수준에 도달하지만 현실 세계에서는 성능이 떨어지는 것으로 알려져 있습니다. 

이러한 성능 격차는 모델이 관련 없는 요인을 기반으로 COVID를 식별하는 방법을 학습하기 때문에 발생하는 경우가 많습니다. 한 실험 모델은 엑스레이 자체가 아닌 엑스레이에 주석이 있는 것을 기반으로 COVID를 '진단'했습니다. 이러한 현상은 의사가 다른 의사들을 위해 관련된 특징을 강조 표시했기 때문에 모델의 학습 데이터 중 COVID 양성 엑스레이에 주석이 달릴 가능성이 더 높아 발생했습니다.¹

블랙박스 모델이 잘못된 결정을 내리거나 부정확하거나 유해한 아웃풋을 지속적으로 생성하는 경우 이 동작을 수정하기 위해 모델을 조정하기 어려울 수 있습니다. 모델 내부에서 무슨 일이 일어나는지 정확히 알지 못하면 사용자는 어디에서 잘못되었는지 정확히 찾아낼 수 없습니다.

이 문제는 개발자가 실시간 주행 결정을 내릴 수 있도록 정교한 AI 시스템을 학습시키는 자율 주행 차량 분야에서 중요한 과제를 제기합니다. 자율 주행 차량이 잘못된 결정을 내리면 치명적인 결과를 초래할 수 있습니다. 그러나 이러한 차량의 모델은 매우 복잡하기 때문에 잘못된 결정을 내리는 이유와 이를 수정하는 방법을 이해하기가 어려울 수 있습니다. 

이 문제를 해결하기 위해 많은 자율 주행 차량 개발자는 레이더 및 라이더 센서처럼 더 설명 가능한 시스템으로 AI를 보완합니다. 이러한 시스템은 AI 자체에 대한 정보를 제공하지는 않지만, 개발자에게 AI 모델이 잘못된 판단을 내리도록 하는 환경과 상황에 대한 인사이트를 제공합니다.²

조직은 블랙박스 모델에서 일어나는 모든 일을 볼 수 없기 때문에 내부에 숨어 있는 취약점을 놓칠 수 있습니다. 생성형 AI 모델은 프롬프트 인젝션 및 데이터 조이즈닝 공격에도 취약하며, 이러한 공격은 사용자가 알지 못하는 사이에 모델의 동작을 비밀리에 변경할 수 있습니다. 사용자가 모델의 프로세스를 볼 수 없으면 해당 프로세스가 언제 변경되었는지 알 수 없습니다.

블랙박스 모델은 편향에 취약할 수 있습니다. 모든 AI 도구는 학습 데이터나 설계에 인간의 편향이 존재하는 경우 이러한 편향을 재현할 수 있습니다. 블랙박스 모델의 경우 편향의 존재나 그 원인을 정확히 찾아내기가 특히 어려울 수 있습니다.

편향은 최선이 아니며 노골적이고 유해하며 불법적인 결과를 초래할 수 있습니다. 예를 들어, 학습 데이터가 남성으로 치우친 경우 채용 후보자를 선별하도록 학습된 AI 모델이 재능 있는 여성 지원자를 걸러내는 방법을 학습할 수 있습니다. 

일부 형사 사법 시스템은 정교한 AI 모델을 사용하여 개인의 재범 위험을 평가합니다. 이러한 모델은 적어도 대중에게는 모델이 어떤 요소를 고려하는지 정확히 알지 못하는 블랙박스인 경우가 많습니다. 알고리즘이 투명하지 않으면 예측을 신뢰하거나 모델이 틀렸을 때 이의를 제기하기 어려울 수 있습니다.³

유럽연합 AI 법 및 CCPA(California Consumer Privacy Act)과 같은 특정 규정은 조직이 AI 기반 의사 결정 도구에서 민감한 개인 데이터를 사용하는 방식에 대한 규칙을 설정합니다. 블랙박스 모델을 사용하면 조직이 규정 준수 여부를 알거나 감사 시 규정 준수를 입증하기 어려울 수 있습니다.

설명 가능한 AI(XAI) 또는 유리 상자 AI라고도 하는 화이트박스 AI는 블랙박스 AI의 반대되는 개념으로, 내부가 투명하게 작동하는 AI 시스템입니다. 사용자는 AI가 데이터를 수집하고 처리하고 결론에 도달하는 방법을 이해합니다. 

화이트박스 AI 모델을 사용하면 결과를 더 쉽게 신뢰하고 성능을 검증할 수 있을 뿐만 아니라 모델을 조정하여 오류를 수정하고 성능을 조정할 수 있습니다. 하지만 모든 AI를 화이트박스로 전환하는 것은 쉽지 않습니다. 

기존 AI 모델은 소스 코드를 공유함으로써 투명성을 높일 수 있는 경우가 많습니다. 그러나 정교한 머신 러닝 모델은 딥러닝 알고리즘을 통해 자체 매개변수를 개발합니다. 이러한 모델의 아키텍처에 액세스하는 것만으로는 해당 모델이 수행하는 작업을 항상 완전히 설명할 수는 없습니다.

하지만 고급 AI 모델을 더 설명하기 쉽게 하려는 노력이 진행되고 있습니다. 예를 들어, Anthropic의 연구원들은 어떤 뉴런 조합이 어떤 개념에 해당하는지 파악하기 위해 회사의 Claude 3 Sonnet LLM에 자동 인코더(신경망의 한 유형)를 적용하고 있습니다. 지금까지 연구원들은 금문교와 신경과학 분야와 같은 것을 의미하는 조합을 확인했습니다.⁴ 

OpenAI의 최근 o1 모델은 아웃풋에 도달하는 데 취하는 단계에 대한 정보를 공유하며, 이는 답변에 도달하는 방법을 설명하는 데 도움이 될 수 있습니다. 그러나 이것은 모델 내부를 직접 살펴보는 것이 아니라 모델이 자체 활동에 대해 생성한 설명입니다. 원시 생각의 연결고리를 포함하여 모델 작동의 상당 부분이 숨겨져 있습니다.⁵

다른 연구원들은 모델이 특정 결론에 도달하는 방법을 설명하는 데 도움이 되는 기술을 개발했습니다. 예를 들어, 로컬 해석 가능한 모델에 구애받지 않는 설명(LIME)은 모델의 아웃풋에 영향을 미칠 수 있는 특징을 식별하는 것을 목표로, 별도의 머신 러닝 모델을 사용하여 블랙박스의 입력과 아웃풋 간의 관계를 분석하는 프로세스입니다. 

이러한 결론 중심 기술은 명확하게 구조화된 입력 및 아웃풋이 있는 모델에서 작동하도록 설계되는 경우가 많습니다. 예를 들어, LIME은 예측과 분류를 설명하는 데 도움이 될 수 있지만, 심층 신경망이 있는 개방형 AI 시스템에 대해서는 설명이 부족합니다.

조직은 가능하다면 투명한 모델을 선택할 수 있지만, 일부 워크플로에는 정교한 블랙박스 AI 도구가 필요합니다. 하지만 블랙박스 모델을 더 신뢰할 수 있게 만들고 일부 위험을 완화할 수 있는 방법이 있습니다.