오픈 소스, 오픈 리스크: 규제되지 않은 생성형 AI의 위험 증가

메인스트림 생성형 AI 모델에는 안전 장벽이 내장되어 있지만 오픈 소스 모델에는 그러한 제한이 없습니다. 이러한 사실이 사이버 범죄에서 갖는 의미는 다음과 같습니다.

오픈 소스가 소프트웨어의 미래라는 것은 의심의 여지가 없습니다. 2024 오픈 소스 현황 보고서에 따르면, 작년에 3분의 2 이상의 기업이 오픈 소스 소프트웨어 사용을 늘린 것으로 나타났습니다.

생성형 AI도 예외는 아닙니다. GitHub 및 기타 플랫폼에서 오픈 소스 프로젝트에 기여하는 개발자의 수가 급증하고 있습니다. 조직은 고객 서비스 챗봇부터 코드 생성에 이르기까지 광범위한 사용 사례에서 생성형 AI에 수십억 달러를 투자하고 있습니다. 이들 중 다수는 처음부터 독점 AI 모델을 구축하거나 오픈 소스 프로젝트를 기반으로 구축하고 있습니다.

하지만 생성형 AI에 투자하는 기업은 합법적인 기업만이 아닙니다. 또한 경쟁국 사이에 잘못된 정보를 확산시키는 테러 지원국부터 악성 코드 또는 표적 피싱 사기를 개발하는 사이버 범죄자에 이르기까지 악의적인 행위자들에게 진정한 금광과도 같습니다.

현재로서는 악의적인 행위자를 저지하는 몇 가지 요소 중 하나는 개발자가 AI 모델을 오용으로부터 보호하기 위해 마련한 가드레일입니다. ChatGPT는 고의로 피싱 이메일을 생성하지 않으며, Midjourney는 가학적인 이미지를 생성하지 않습니다. 그러나 이러한 모델은 완전한 비공개 소스 에코시스템에 속하며, 개발자가 모델을 사용할 수 있는 용도와 사용할 수 없는 용도를 결정할 수 있는 권한을 갖습니다.

ChatGPT는 공개 출시 후 단 두 달 만에 1억 명의 사용자를 달성했습니다. 그 이후로 수많은 사용자가 원하는 것을 하기 위해 가드레일을 뚫고 '탈옥'하려 노력했으며, 성공의 정도는 다양했습니다.

오픈 소스 모델의 거침없는 부상으로 인해 이러한 가드레일은 어차피 쓸모없게 될 것입니다. 일반적으로 성능이 비공개 소스 모델에 비해 뒤처져 있지만, 오픈 소스 모델이 개선될 것이라는 데는 의심의 여지가 없습니다. 그 이유는 간단합니다. 개발자가 원하는 데이터를 사용하여 학습할 수 있기 때문입니다. 긍정적인 측면은 대기업과 규제 기관의 손에만 맡기는 대신 투명성과 경쟁을 촉진하는 동시에 AI의 대중화를 지원할 수 있다는 점입니다.

하지만 보호 장치가 없다면 생성형 AI는 사이버 범죄의 새로운 개척지가 될 것입니다. FraudGPT 및 WormGPT와 같은 악성 AI는 다크 웹 시장에서 널리 사용되고 있습니다. 두 가지 모두 2021년 EleutherAI에서 개발한 오픈 소스 대규모 언어 모델(LLM) GPT-J를 기반으로 합니다.

또한 악의적인 행위자들은 악성 콘텐츠를 생성할 수 있는 전문 모델을 구축하기 위해 Stable Diffusion과 같은 오픈 소스 이미지 합성기를 사용하고 있습니다. AI로 생성된 동영상 콘텐츠를 목전에 두고 있습니다. 현재 그 기능을 제한하는 것은 고성능 오픈 소스 모델의 가용성과 이를 실행하는 데 필요한 상당한 컴퓨팅 성능뿐입니다.

이러한 문제를 충분히 훈련된 팀이라면 충분히 처리할 수 있는 외부 위협으로 치부하고 싶을 수도 있습니다. 그러나 더 많은 조직이 독점 생성형 AI 모델 구축에 투자함에 따라 내부 공격 표면이 확장될 위험도 있습니다.

모델 개발에서 가장 큰 위협 요인 중 하나는 학습 프로세스 자체입니다. 예를 들어 학습 데이터 세트에 기밀 데이터, 저작권 보호 데이터 또는 잘못된 데이터가 있는 경우 나중에 이러한 데이터가 프롬프트에 대한 응답으로 다시 표시될 수 있습니다. 이는 개발팀의 감독 소홀이나 악의적인 행위자의 의도적인 데이터 포이즈닝 공격 때문일 수 있습니다.

프롬프트 주입 공격은 또 다른 위험 요소로, 모델을 속이거나 탈옥하여 공급업체의 이용 약관에 위배되는 콘텐츠를 생성하는 것을 포함합니다. 이는 모든 생성형 AI 모델이 직면한 위험이지만, 충분한 감독이 부족한 오픈 소스 환경에서는 그 위험이 더 커집니다. AI 도구가 오픈 소스화되면 해당 조직은 기술의 개발 및 사용에 대한 통제력을 잃게 됩니다.

규제되지 않은 AI로 인한 위협을 이해하는 가장 쉬운 방법은 비공개 소스 AI에 잘못된 행동을 요청하는 것입니다. 대부분의 경우 협력을 거부하지만, 수많은 사례에서 알 수 있듯이 일반적으로 창의적인 제안과 시행착오만 있으면 가능합니다. 그러나 Stability AI, EleutherAI 또는 Hugging Face와 같은 조직에서 개발한 오픈 소스 AI 시스템 또는 사내에서 구축 중인 독점 시스템을 사용하면 이러한 제한이 없습니다.

궁극적으로 오픈 소스 AI 모델의 위협은 오용에 얼마나 개방적인가에 달려 있습니다. 모델 개발의 대중화를 진전시키는 것 자체는 고귀한 목표이지만, 위협은 계속 진화하고 커질 것이며 기업은 규제 당국이 이를 따라잡을 것이라고 기대하기 어렵습니다. 이것이 바로 AI 자체가 사이버 보안 전문가의 무기고에서 중요한 도구가 된 이유입니다. 그 이유를 알아보려면 AI 사이버 보안에 대한 가이드를 읽어보세요.