잠재된 두려움은 완전히 떨치세요. AI 생성 멀웨어에 맞서 싸우려면 사이버 보안의 기초에 집중하세요. 

지난 여름, HYAS의 사이버 보안 연구원들은 사이버 공격을 스스로 추론, 전략 수립 및 실행할 수 있는 완전 자율적인 AI 기반 맬웨어 변종인 EyeSpy의 개념 증명을 발표했습니다.¹ 이들은 이 실험을 통해 인공 지능이 곧 불러올 파괴적이고 탐지할 수 없는 사이버 위협의 새로운 시대를 엿볼 수 있을 것이라고 경고했습니다.

또는 그렇지 않을 수도 있습니다.

IBM X-Force Adversary Services의 CNE 기능 개발 책임자인 Ruben Boonen은 "AI, 사이버 보안 및 기타 분야에서 AI에 대한 과대 광고가 너무 많습니다."라고 말합니다. "하지만 현재로서는 AI 기반 멀웨어에 대해 너무 걱정할 필요가 없다는 것이 제 생각입니다. AI가 없었다면 불가능했던 일을 가능하게 한 사례는 아직 본 적이 없습니다."

위협 환경은 계속해서 진화하고 있으며 AI 기반 멀웨어가 심각한 위험을 초래할 때가 올 수 있습니다. 그러나 적어도 현재로서는 많은 보안 전문가들이 AI 멀웨어에 대한 논의에는 단순한 추측성 내용과 약간의 마케팅 요소가 섞여 있다고 생각합니다. 

오늘날 AI를 사용하는 위협 행위자들은 주로 사이버 보안팀이 이미 익숙한 기본 스크립트와 소셜 엔지니어링 공격을 개선하는 데 AI를 사용하고 있습니다. 즉, 조직은 자산 패치, 직원 교육, 올바른 위협 탐지 솔루션에 대한 투자 등 기본에 계속 집중함으로써 스스로를 보호할 수 있습니다.

Meta의 Llama와 같은 범용 대규모 언어 모델(LLM)과 IBM의 watsonx Code Assistant와 같은 대상 애플리케이션은 모두 프로그래머가 코드 작성, 디버깅 및 번역을 통해 개발을 가속화하는 데 도움이 될 수 있습니다.

문제는 이러한 혜택이 자비로운 프로그래머에게만 국한되지 않는다는 점입니다. 합법적인 AI 시스템을 탈옥하거나 자체 시스템을 생성함으로써 위협 행위자는 이러한 AI 도구를 사용하여 멀웨어 개발 프로세스를 간소화할 수 있습니다.

일부 사람들은 AI가 맬웨어 시장 진입 장벽을 낮춰 사이버 범죄자들이 기술 수준에 관계없이 악성 프로그램을 작성할 수 있게 될까봐 우려합니다. 더 나쁜 경우, 위협 행위자가 AI 기술을 이용해 일반적인 방어 체계를 우회하고 엄청난 혼란을 야기할 수 있는 새로운 맬웨어를 개발할 수도 있습니다.

일부 연구자들은 AI를 멀웨어에 통합하는 다양한 방법을 실험하여 AI가 생성한 사이버 위협이 초래할 수 있는 위험을 설명하려고 했습니다. 

• 보안 회사 HYAS에서 개발한 BlackMamba는 ChatGPT를 사용하여 런타임에 악성코드를 합성하는 다형성 키로거입니다.²
  
  
• HYAS의 EyeSpy 또한 AI를 사용하여 대상 시스템을 평가하고 민감한 데이터가 포함되어 있을 가능성이 가장 높은 앱을 식별하고 공격 방법을 선택합니다.¹
  
  
• Morris II는 악성 프롬프트를 사용하여 AI 앱을 속여 민감한 정보를 유출하고 다른 사람에게 웜을 퍼뜨리는 웜입니다.
  

이러한 실험은 언뜻 보기에는 우려스러워 보이지만 많은 보안 전문가들은 이것이 단순한 호기심에 지나지 않는다고 생각합니다.

"블랙맘바(BlackMamba)와 아이스파이(EyeSpy) 같은 것들은 전혀 두렵지 않습니다"리고 조직이 실제 사이버 공격에 대한 방어를 강화할 수 있도록 레드 팀 훈련을 실시하는 부넨(Boonen)은 말합니다. 

"이 프로그램들이 어떻게 구현되는지에 대한 기술적인 세부 사항을 보면, 우리가 고객과의 업무에서 사용할 경우 성공할 가능성이 없다고 생각합니다.”라고 그는 설명합니다.

Boonen과 다른 사람들이 오늘날 AI 기반 멀웨어 담론에 회의적인 몇 가지 이유가 있습니다. 

첫째, 이러한 "새로운 위협"은 보안 팀이 이전에 못했던 어떤 것도 실제로 수행하지 않으며, 이는 기존 방어 전략이 여전히 효과적임을 의미합니다.

IBM X-Force Threat Intelligence의 수석 멀웨어 리버스 엔지니어인 케빈 헨슨(Kevin Henson)은 "BlackMamba와 EyeSpy에서 제시하는 개념은 새로운 것이 아닙니다"라고 말합니다. "방어자들은 이전에도 메모리에 숨어 다형성 코드를 포함한 이러한 능력을 가진 멀웨어를 만난 적이 있습니다." 

Henson은 메타프로그래밍과 같은 기술을 사용하여 중요한 데이터를 난독화하고 컴파일할 때마다 코드 패턴과 같은 특정 요소를 고유하게 생성하는 맬웨어 작성자를 지적합니다.  

둘째, LLM은 인상적인 코딩 기술을 가지고 있지만 가까운 시일 내에 전례 없는 멀웨어 변종을 생성할 수 있을 것 같지는 않습니다. 

"악성코드를 생성하는 데 ChatGPT[및 기타 AI 툴]를 사용하는 것은 일련의 데이터에 대해 학습된 모델에 의해 코드가 생성되기 때문에 한계가 있다고 생각합니다."라고 Henson은 말합니다. "결과적으로 생성된 코드는 사람이 개발한 코드만큼 복잡하지 않습니다."

AI와 머신 러닝 알고리즘이 맬웨어 생산에 필요한 숙련도를 떨어뜨려 사이버 범죄의 르네상스를 열 수 있다는 이야기가 많이 나오고 있지만, 현재 모델은 아직 그 단계에 이르지 못했습니다. 사용자는 LLM이 생성하는 모든 것이 원하는 대로 작동하는지 확인하기 위해 코드에 대해 한두 가지 정도는 알아야 합니다. 

Boonen은 "AI는 생산성을 높이는 원동력이며, AI를 사용할 때 코드를 작성하는 데 필요한 지식 수준은 어느 정도 감소합니다."라고 말합니다. "하지만 크게 줄어드는 것은 아닙니다."

사실, 위협 행위자가 오늘날 AI 기반 멀웨어를 광범위하게 구현하기 시작한다면 방어자가 쉽게 탐지하고 무력화할 수 있는 저품질 코드가 넘쳐날 가능성이 있습니다. 

부넨은 "앞으로 AI를 활용하여 더 뛰어난 멀웨어가 만들어질 기술적 가능성이 없다는 말은 아닙니다"라고 말합니다. "모델들이 지금과 같은 속도로 계속 개선된다면, 상당한 기술적 성능을 발휘할 수 있는 시점이 올 것이라고 생각합니다. 그렇다면 우리는 이 문제를 좀 더 진지하게 받아들여야 할 것입니다. 하지만 적어도 아직 이 단계에 있다고 생각하지 않습니다"고 말합니다.

"멀웨어는 악성 소프트웨어에 불과하기 때문에 이 문제는 소프트웨어 개발에서 일어나는 일과 매우 유사합니다"라고 IBM X-Force Threat Intelligence의 멀웨어 리버스 엔지니어인 Golo Mühr는 말합니다. 

"현재로서는 AI가 코드에 완벽하게 통합된 앱은 많지 않습니다."라고 Mühr는 설명합니다. "일반적으로 소프트웨어에서 AI가 주류가 된다면 맬웨어에서도 AI가 보편화될 것으로 예상할 수 있습니다."

X-Force Threat Intelligence 인덱스에 따르면 이러한 패턴은 과거에도 발생했습니다. 랜섬웨어와 크립토재킹은 이러한 공격을 가능하게 하는 합법적인 기술(랜섬웨어용 Microsoft Active Directory, 크립토재킹용 암호화폐 및 서비스형 인프라)이 완전히 채택되기 전까지는 만연한 위협이 되지 못했습니다.  

Mühr는 모든 새로운 기술은 개발자가 채택하기 전에 적절한 투자 수익을 제공해야 하며, 이는 맬웨어 개발자에게도 마찬가지라고 지적합니다.

IBM의 X-Force를 포함한 사이버 보안 연구원들은 아직 위협 행위자가 인공 지능을 사용하여 새로운 맬웨어를 생성한다는 증거를 찾지 못했습니다. 하지만 사이버 범죄자들은 간단한 스크립트 작성이나 피싱 이메일과 같은 일상적인 악의적인 활동에도 AI 툴을 사용하고 있습니다.

“합법적인 소프트웨어 개발에서는 생성형 AI가 개발 프로세스를 보완하고, 지침을 제공하고, 기본 코드 스니펫을 생성하는 데 사용되는 것을 볼 수 있습니다” 라고 Mühr는 말합니다.“이런 종류의 AI 기술은 오늘날 이미 위협 행위자들에 의해 악의적인 목적으로 사용되고 있지만, 그렇게 극도로 정교한 위협이라고 볼 수는 없습니다." 

예를 들어, 마이크로소프트(Microsoft)와 오픈AI(OpenAI)는 LLM을 코딩 어시스턴트로 사용하려는 여러 국가 단위의 행위자를 적발하고 저지했습니다. 러시아와 연계된 “포레스트 블리자드(Forest Blizzard)” 그룹은 LLM을 사용하여 대상 시스템의 취약점을 조사했으며, 이란 그룹 “크림슨 샌드스톰(Crimson Sandstorm)”은 LLM을 사용하여 웹 스크래핑 스크립트를 작성했습니다.³

하지만 많은 보안 전문가들이 가장 우려하는 AI의 악의적 사용은 LLM을 이용한 피싱 공격입니다. 

"저는 지금 시점에서 가장 큰 위협은 사칭과 피싱을 위한 생성형 AI의 사용이라고 생각합니다"라고 Mühr는 말합니다. "AI가 인간과 유사한 텍스트, 비디오 및 오디오를 생성하여 이미 큰 영향을 미칠 수 있는 사용 사례입니다. 그리고 우리는 이미 이것이 피싱을 위해 무기화되는 징후를 발견했습니다."   

예를 들어, 해커는 LLM을 사용하여 신뢰할 수 있는 브랜드의 목소리를 매우 유사하게 모방하는 피싱 이메일을 작성할 수 있습니다. 또한 이러한 LLM 생성 이메일에는 잠재적 피해자가 사기성 메일인지 흔히 파악할 수 있는 문법 오류나 어색한 표현과 같은 일반적인 위험 신호가 없습니다. 

악의적인 행위자는 AI를 활용하여 사기 행위를 더욱 설득력 있도록 만드는 딥페이크를 생성할 수도 있습니다. 예를 들어, 중국 홍콩 특별 행정구의 사기꾼들은 AI 생성 화상 회의를 사용해 피해자를 속여 2,500만 달러를 사기성 은행 계좌로 이체하도록 했습니다.⁴

이러한 AI 기반 사기는 인간을 대상으로 하는 한편, 이를 막기 위한 기업 보안 시스템도 모두 속일 수 있습니다. 예를 들어, X-Force가 "Hive0137"이라고 부르는 사이버 범죄 그룹은 AI를 사용하여 피싱 이메일에 변형을 생성해 이미 사용되고 있는 악성 메시지 필터 기능을 회피할 수 있습니다. 

AI는 사이버 보안의 전쟁터를 근본적으로 바꾸지 못했습니다. 대신 공격자가 이미 수행하고 있던 작업을 간소화하는 데 도움이 되었습니다. 즉, AI 기반 공격에 대한 최선의 방어선은 조직이 기본 사항을 고수하는 것입니다.

IBM X-Force Threat Intelligence의 전략적 위협 분석가인 Ben Shipley는 "AI가 공격을 수행하는 데 사용된다고 해도 방어자의 위험과 대응 방식은 변하지 않습니다."라고 말합니다. "AI나 사람이 작성한 멀웨어는 여전히 멀웨어처럼 행동할 것입니다. AI가 작성한 랜섬웨어는 사람이 작성한 랜섬웨어보다 피해자에게 더 큰 영향을 미치지 않습니다."

표준 보안 조치는 AI 지원 또는 기타 맬웨어가 시스템에 침입하기 위해 악용해야 하는 취약점을 해결하는 데 도움이 될 수 있습니다. 예를 들어, 공식적인 패치 관리 프로그램은 악의적인 행위자가 소프트웨어 버그를 찾기 전에 소프트웨어 버그를 수정할 수 있습니다. 다단계 인증과 같은 강력한 ID 및 액세스 제어는 오늘날 사이버 공격의 가장 일반적인 벡터 중 하나인 계정 도용을 방지할 수 있습니다.

다음과 같은 다른 조치도 AI 공격에 대처하는 데 도움이 될 수 있습니다. 

• 위협 인텔리전스 프로그램 및 플랫폼을 통해 보안 팀은 AI 생성 멀웨어와 같은 새로운 위협을 파악할 수 있습니다.
   
• 방화벽과 같은 시그니처 기반 툴과 AI 알고리즘을 사용하여 네트워크 트래픽에서 의심스러운 활동을 식별하는 이상 징후 기반 툴을 포함한 다양한 위협 탐지 툴이 혼합되어 있습니다. 수작업으로 코딩된 표준 맬웨어는 이미 일부 보안 솔루션을 회피하는 데 능숙하기 때문에 해커가 AI를 사용하는지 여부에 관계없이 여러 가지 탐지 방법을 사용하는 것이 합리적입니다.
  
  
• 보안 교육은 직원들이 AI 기반 소셜 엔지니어링 및 허위 정보 캠페인을 식별하고 적절하게 대응하는 데 도움이 될 수 있습니다.

악의적인 행위자는 AI 도구를 사용하여 프로세스를 간소화할 수 있지만, 방어자도 동일한 작업을 수행할 수 있고 수행해야 합니다. 

IBM의 데이터 유출 비용(CODB) 보고서에 따르면, 사이버 보안에 AI와 자동화를 사용하는 조직은 침해 비용을 크게 줄일 수 있습니다. 

AI를 통해 더욱 효과적으로 예방할 수 있고 위협 탐지 및 복구 기간을 단축하여 데이터 침해에 소모되는 평균적인 비용에서 188만 달러를 절약할 수 있습니다. (보안 AI 및 자동화에 광범위하게 투자하는 조직의 경우 평균 유출 비용은 384만 달러입니다. 보안 AI 및 자동화가 없는 조직의 경우, 유출로 인한 평균 비용은 572만 달러입니다.)

기존의 규칙 기반 AI는 엔드포인트 탐지 및 대응(EDR) 툴, 사용자 및 엔티티 행동 분석(UEBA) 툴 등 많은 일반적인 사이버 보안 툴에 이미 존재합니다. 하지만 새로운 생성형 AI 모델도 방어자를 도울 준비가 되어 있습니다. 

"생성형 AI 모델이 인시던트 대응과 같은 분야에 큰 영향을 미칠 것이라고 생각합니다"라고 Boonen은 말합니다. "예를 들어, 모델은 인간이 할 수 있는 것보다 더 짧은 시간에 훨씬 더 많은 데이터를 볼 수 있기 때문에 인시던트를 더 빨리 파악하거나 간추릴 수 있습니다." 

이를 통해 분석가는 이러한 인사이트를 사용하여 위협을 더 빠르고 효과적으로 차단할 수 있는 프로세스의 속도를 높일 수 있습니다.

AI는 악의적인 행위자가 사람들을 속이는 데 사용하는 딥페이크를 생성할 수 있지만, 이러한 사기 행위에 대응하는 데에도 중요한 역할을 할 수 있습니다.

"일부 이미지는 이미 실제 이미지와 거의 구분할 수 없을 정도이며, 앞으로 시간이 지나면 대부분의 사람들이 구분할 수 없게 될 것 같습니다."라고 Boonen은 설명합니다. "그래서 인간이 할 수 없는 곳에서 '이 동영상은 가짜입니다' 또는 '이 이미지는 가짜입니다'라고 말하도록 AI 모델을 학습시켜야 한다고 생각합니다."  

AI 기반 위협의 미래와 마찬가지로 사이버 보안 실무자에게도 AI는 급격한 혁신을 가져다주기보다 점진적인 변화에 더 가까울 것입니다. 보안 팀은 과대 광고나 종말론자의 비관론적 의견에 휩쓸리기보다는, 항상 해왔던 것처럼 현재에 두 발을 단단히 딛고 미래를 주시하는 것이 더 낫습니다.