AI의 잘못된 정보: 기업의 노출과 위험을 줄이는 방법

정확한 정보는 현대 기업의 생명입니다. 기업은 공급망 관리부터 제품 마케팅에 이르기까지 모든 것에 대해 주요 비즈니스 결정을 내릴 때 정보를 활용합니다.

인공 지능(AI) 은 이러한 데이터 기반 의사 결정을 개선할 수 있지만 방해할 수도 있습니다. AI가 생성한 콘텐츠에는 가짜 뉴스 헤드라인과 끔찍한 법률 조언부터 Elmer 브랜드의 접착제를 주요 재료로 사용하는 피자 요리법에 이르기까지 오류가 가득할 수 있습니다.¹

이러한 답답한 상황이 과거의 일이 되는 시점에 도달할 수 있을까요? AI 애호가들은 믿고 싶지 않겠지만, 대답은 아마도 '그렇지 않다'일 것입니다.

IBM의 Matt Candy는 생성형 AI(gen AI) 모델은 의도치 않게 일부 잘못된 정보를 생성할 수 있는 취약성을 항상 갖고 있다고 설명했습니다. IBM Consulting의 생성형 AI 글로벌 매니징 파트너인 Candy는 "이러한 것들이 본질적으로 예측적, 즉 다음 단어가 무엇인지 예측하고 추측하는 것이기 때문에 항상 어느 정도의 위험은 존재합니다"라고 말했습니다.

Candy는 기존의 머신 러닝(ML) 모델 역시 잘못된 정보를 생성하는 것에서 자유롭지 않다고 덧붙였습니다. "이러한 모델은 일종의 결과를 효과적으로 예측하려고 시도하는 통계적 종류의 기계입니다"라고 그는 말합니다. "결국, 이러한 모델은 여전히 잘못된 답변이나 결과를 예측할 수 있습니다."

그러나 좋은 소식은 기업이 자체 AI 시스템이 잘못된 정보를 생성하고 퍼뜨릴 가능성을 줄이기 위해 취할 수 있는 여러 단계가 있다는 것입니다.

이러한 조치로 AI가 잘못된 정보를 생성하는 모든 사례를 예방할 수 없다면 기업은 피해가 유발되기 전에 이를 감지하기 위한 보호 장치를 구현할 수도 있습니다.

기업이 AI가 생성하는 잘못된 정보로부터 자신을 보호하는 방법을 살펴보기 전에 잘못된 정보와 관련 개념을 자세히 살펴보는 것이 중요합니다. 이러한 개념은 오늘날 에코시스템에서 AI가 광범위하게 사용되기 이전부터 존재했지만, 이러한 현상에 대한 AI의 영향은 상당히 큽니다.

잘못된 정보는 거짓 정보입니다. 일부 정의에 따르면 잘못된 정보는 다른 사람을 속이기 위해 의도적으로 만들어진 것이 아니라 오류로 인해 발생한다고 지적합니다.

AI로 생성된 잘못된 정보의 경우 부정확하거나 무의미한 아웃풋을 산출하는 대형 언어 모델(LLM), 비현실적이거나 부정확한 묘사가 포함된 AI 생성 이미지(예: 팔을 너무 많이 들고 있는 '실제 사람') 등이 그 예시일 수 있습니다.

AI 할루시네이션은 AI가 생성하는 잘못된 정보의 일반적인 원인입니다. AI 할루시네이션은 AI 알고리즘이 학습 데이터를 기반으로 하지 않거나 트랜스포머에 의해 잘못 디코딩되거나 식별 가능한 패턴을 따르지 않은 아웃풋을 생성할 때 발생합니다.

IBM Research의 IBM 펠로우인 Kush Varshney는 "할루시네이션이 발생하는 이유는 AI 모델이 언어를 유창하게 구사하는 동시에 다양한 정보 소스를 조합하려고 노력하기 때문입니다"라고 설명합니다. "인간조차도 여러 가지 일을 동시에 하려고 하면 실패할 수 있습니다. 이런 일은 AI 모델에서도 일어나는데, 언어를 유창하게 만들려고 하다가 정보를 놓치는 경우가 있으며, 그 반대의 경우도 존재합니다."

허위 정보는 때때로 잘못된 정보의 한 유형으로 간주되지만, 대상을 속이기 위해 만들어진 가짜 콘텐츠라는 점에서 구별됩니다. 음모론과 최근의 조작된 시청각 자료 등이 그 예입니다.

봇 및 기타 AI 도구로 활성화된 허위 정보의 두드러진 사례는 2024년 미국 대통령 선거를 앞두고 발생했습니다. 여기에는 당시 대통령이자 민주당 후보인 Joe Biden의 목소리를 사칭한 자동 녹음 전화, 공화당 대통령 Donald Trump에 대한 거짓 유명인 지지를 전달하는 이미지 확산 등이 포함되었습니다.^2,3

AI가 생성한 딥페이크 및 기타 기만적인 허위 정보 콘텐츠를 감지하는 도구는 엇갈린 결과를 제공했지만, 최신 세대의 AI 텍스트 감지기는 이전 버전보다 더 효과적인 것으로 입증되었습니다.^4,5 한편, TikTok과 Facebook과 같은 소셜 미디어 플랫폼들은 AI가 생성한 콘텐츠에 레이블을 지정하기 시작했습니다.⁶

잘못된 정보나 허위 정보와 달리, 악성 정보는 현실과 사실에 근거한 잠재적으로 유해한 정보입니다. 악성 정보는 사람이나 회사 등 타인에게 피해를 주기 위해 배포되기 때문에 해롭습니다.

예를 들어 기밀 정보를 무단으로 공유하는 행위는 악성 정보에 해당하며, 이는 AI로 인해 증폭되고 있는 관행입니다. 사기꾼은 생성형 AI 도구를 사용하여 정교하고 효과적인 피싱 이메일을 제작하여 기밀 정보를 획득하고 확산할 수 있습니다.

모든 AI 아웃풋에 오류가 전혀 없도록 하는 것은 불가능할 수 있지만, AI 시스템이 부정확하거나 완전히 조작된 정보를 생성할 가능성을 크게 줄이기 위해 기업이 취할 수 있는 조치가 있습니다.

• 데이터 품질 보장
• 검색 증강 생성(RAG) 배포
• 더 작은 규모의 생성형 AI 모델 사용

높은 품질의 데이터는 AI 모델 성능에 매우 중요합니다. 모델을 다양하고 균형 잡히고 잘 구성된 데이터로 훈련하여 편견과 할루시네이션의 가능성을 최소화해야 합니다. 기술 기업과 AI 개발자는 데이터 준비 및 데이터 필터링 도구를 사용하여 품질이 낮은 데이터와 악성 정보를 포함한 혐오스러운 콘텐츠를 제거함으로써 학습 데이터의 품질을 개선할 수 있습니다.

AI 할루시네이션 발생 가능성을 줄이는 데 가장 널리 사용되는 도구 중 하나는 검색 증강 생성(RAG)입니다. RAG는 생성형 AI 모델을 회사의 조직 데이터, 학술지, 전문 데이터 세트와 같은 외부 데이터 소스에 연결하는 아키텍처입니다. AI 챗봇과 기타 도구는 이러한 정보에 접근하여 더욱 정확하고 특정 분야에 특화된 콘텐츠를 생성할 수 있습니다.

OpenAI의 ChatGPT에서 소비자 대면 LLM 애플리케이션이 대중의 관심을 끌었지만, 기업은 할루시네이션에 덜 취약하면서 요구 사항에 더 잘 맞는 더 작고 전문화된 AI 모델을 찾는 경우가 많습니다.

"이 거대한 프론티어 모델은 얻을 수 있는 최대한의 데이터로 훈련되었습니다"라고 Candy는 말합니다. "그러나 대부분의 엔터프라이즈 사용 사례를 생각해 보면 셰익스피어의 모든 작품, 레딧의 모든 게시물 및 공개적으로 사용 가능한 다른 모든 데이터에 대해 훈련된 모델이 필요하지 않습니다."

모델이 작을수록 컨텍스트 창이 좁고 매개변수도 적게 사용하므로 할루시네이션 위험이 줄어듭니다. "혼동이 발생할 가능성이 더 작습니다"라고 Varshney는 덧붙입니다.

AI가 생성한 잘못된 정보로 인한 피해를 피할 때 할루시네이션을 완화하기 위한 조치는 퍼즐의 일부에 불과합니다. 기업은 놓칠 수 있는 할루시네이션과 부정확한 아웃풋을 감지할 수 있는 전략과 도구도 갖추고 있어야 합니다.

주요 AI 거버넌스 플랫폼 및 파운데이션 모델에는 이제 할루시네이션을 감지하는 능력이 포함되어 있습니다. IBM® watsonx.governance 및 IBM의 최신 Granite Guardian 릴리스(비즈니스용으로 설계된 IBM의 Granite 언어 모델 제품군에 속하는 IBM® Granite Guardian 3.1)는 모두 답변 관련성 및 '충실도'와 같은 메트릭에 대한 생성형 AI 모델의 성능을 평가합니다.

"사람들은 '충실함'이라고 부르는 것은 할루시네이션의 반대말입니다"라고 Varshney는 설명합니다. "원본 문서에 충실한 응답은 할루시네이션이 아닙니다." Granite Guardian 3.1은 또한 탈옥, 비속어, 사회적 편견 등 역효과가 있는 AI 사용 및 아웃풋을 감지하는 기능을 제공합니다.

AI 거버넌스 도구에도 불구하고 AI가 생성한 잘못된 정보의 확산을 방지하는 데는 여전히 인간의 역할이 중요합니다. 기업이 AI 시스템을 구현할 때 인간의 감독을 허용하는 제어 지점을 어디로 설정하고 있는지 고려해야 한다고 Candy는 말합니다. "우리는 프로세스에서 인간의 상호 작용, 인간의 견제와 균형, 의사 결정이 이루어지는 지점을 의도적으로 설계해야 합니다."

그는 점점 더 정교해지는 작업을 처리할 수 있는 강력한 AI 에이전트의 등장으로 이러한 인간의 의사 결정이 특히 중요해졌다고 지적합니다.

예를 들어 생명과학 회사는 여러 AI 에이전트를 사용하여 신약 개발에 대한 규정 준수 보고서를 조사하고 작성할 수 있지만, 회사는 여전히 인간 직원을 배정하여 정부 기관에 보고서를 제출하기 전에 보고서를 검토하고 사실 확인을 진행합니다.

"궁극적으로, 프로세스를 둘러싸고 확인하고 검증하는 역할은 인간이 맡게 될 것입니다"라고 Candy는 말합니다. "저는 인간이 맡는 부분의 중요성을 과소평가하지 않겠습니다."