생성형 AI와 함께 더욱 위험하고 교묘해지는 소셜 엔지니어링

IBM의 사이버 영역 글로벌 책임자이자 최고 피플 해커인 Stephanie Carruthers는 2022년에 느꼈던 기분을 이렇게 회상합니다. 최근 ChatGPT는 대중의 의식에 생성형 인공 지능을 불어넣었습니다. 섬뜩할 정도로 인간스러운 언어 능력과 박학다식함의 조합을 보면서, 이 기술이 앞으로 세상을 어떻게 바꾸어 갈지 궁금해한 사람이 많았습니다.

그리고 이 기술이 자신의 직업에 어떤 변화를 가져올 수 있는지도 궁금했습니다. 

"AI가 처음 소개되었을 때 사람들이 계속 묻더군요. AI가 제 일자리를 빼앗아갈까 두렵냐고요." Carruthers는 말했습니다. "저는 그럴 수 없다고 생각했습니다. 그런 일이 가능하려면 AI가 사람을 진정으로 이해해서 맞춤 캠페인을 개발하는 경지에 이르러야 할 테니까요."

Carruthers는 IBM® X-Force의 일환으로 모의 소셜 엔지니어링 계획과 사이버 공격을 실행하여 기업이 실제 공격에 대한 방어력을 높이도록 돕습니다. 초기 생성형 AI 모델은 꽤 두루뭉술한 피싱 사기를 꾸며낼 수는 있어도, 심각한 피해를 입히는 수준의 정교한 공격을 수행하지는 못했습니다. 이러한 계획에는 심층적인 연구, 치밀한 계획. 그리고 고도로 선별된 구실이 필요합니다.  

하지만 2년 반은 많은 일이 일어날 수 있는 시간입니다. 오늘날 많은 대규모 언어 모델(LLM)이 실시간으로 웹을 검색할 수 있습니다. 자율적으로 워크플로를 설계해서 작업을 수행할 수 있는 AI 에이전트는 발견한 정보에 입각해 자신의 행동을 조정하고 한 단계 더 발전할 수 있습니다.

특정 개인을 표적으로 삼아 소셜 엔지니어링 공격을 완벽하게 맞춤 조정할 수 있는 AI 기반 봇도 이제는 허황된 상상이 아닌 것 같습니다. 위협 행위자가 실행만 시키면 됩니다. 

Carruthers는 말합니다. “제가 걱정될 정도였습니다. AI 모델이 프롬프트가 거의 없는데도 나만을 위한 피싱 메시지를 작성할 수 있습니다. 정말 무서워요.”

2025 IBM® X-Force Threat Intelligence Index에 따르면, 오늘날 위협 행위자들은 과거보다 평균적으로 더 크고 광범위한 캠페인을 추진하고 있습니다. 그 원인 중 하나는 전술 변화인데, 많은 공격자가 여러 피해자를 동시에 공략할 수 있는 공급망 공격으로 관심을 옮긴 것입니다.

하지만 도구가 달라지기도 했습니다. 많은 공격자가 인턴이나 비서처럼 생성 AI를 도입해서 웹사이트를 구축하고, 악성 코드를 생성하고, 피싱 이메일을 작성합니다. 이렇게 해서 AI는 위협 행위자가 공격을 더 빨리, 더 많이 하는 데 도움을 줍니다. 

"AI 모델은 공격자가 메시지를 정리하는 데 실제로 도움이 됩니다" Carruthers는 말합니다. "메시지를 더 간결하고 다급하게 만들어서, 더 많은 사람이 걸려들게 합니다."

Carruthers는 조악한 문법과 어색한 구문 연결이 피싱 시도에서 가장 흔한 위험 신호 중 하나였다고 지적합니다. 사이버 범죄자는 맞춤법 검사를 꼬박꼬박 하지 않는 경우가 많고, 제2외국어나 제3외국어로 작성하다 보니 전체적으로 오류가 많아집니다.  

그러나 생성형 AI 도구는 거의 모든 세계 주요 언어로 기술적으로 완벽한 문장을 생성할 수 있기 때문에, 가장 명백한 소셜 엔지니어링 속임수를 감추고 더 많은 피해자를 속일 수 있습니다. 

AI는 메시지 작성 속도도 사람보다 훨씬 빠릅니다. Carruthers와 X-Force 팀의 실험 결과 생성형 AI는 쓸 만한 피싱 이메일을 5분 만에 작성했습니다 인간 팀은 비슷한 메시지를 작성하는 데 약 16시간이 걸렸고, 대상에 대한 심층 조사에 시간을 대부분 할애했습니다. 

AI 모델이 딥페이크 기술을 활용해 가짜 이미지와 음성은 물론 화상 통화까지 만들면서 사기 행각을 더 그럴듯하게 만들고 있다는 점도 유념하세요.    

미국에서 2024년 한 해에만 피싱 공격을 비롯한 사기 행각으로 생긴 손실이 125억 달러에 이릅니다. 생성형 AI를 사용해서 더 설득력 있는 피싱 메시지를 더 많은 언어로, 더 빨리 생성하는 사기꾼이 들어나면 이 수치도 덩달아 증가할 수 있습니다. 

그리고 AI 에이전트가 등장하면서 사기꾼들은 활동 범위를 더 넓힐 수 있게 되었습니다.

위협 행위자들은 실패한 사이버 공격을 연구해서 성공의 발판으로 삼곤 합니다. 표적(조직 또는 개인)을 연구해서 이들의 마음을 움직일 완벽한 맞춤 계획을 세우고 이야기를 만들며, 유효한 취약점을 캐내는 멀웨어를 개발하는 것입니다.

또한 온라인에서 공격에 필요한 정보를 대부분 찾을 수 있습니다.

Carruthers는 말했습니다. "소셜 미디어, 회사 웹 사이트, 오픈 웹에서 표적에 대한 많은 정보를 얻을 수 있습니다. 사람들이 블로그 게시물, 보도 자료, 미디어, 심지어 채용 공고에도 굉장히 많은 정보를 올리고 있습니다."

채용 공고는 공격자가 위험할 것 없어 보이는 정보를 활용해 피해자를 공격하는 방법을 잘 보여줍니다.

Carruthers는 이렇게 설명합니다. “채용 공고를 보면 표적 상대의 기술 스택이 어떻고 거래처는 어디인지가 보일 수도 있습니다. “그러면 그 표적의 환경에 맞게 멀웨어를 설정합니다. 알맞은 거래처 시늉을 하는 거죠."

Carruthers 같은 전문가들은, 워크플로를 설계하고 도구를 사용해서 복잡한 목표를 달성할 수 있는 AI 에이전트를 활용하면 공격자가 피싱 이메일과 가짜 웹사이트 이상으로 많은 작업을 자동화할 수 있을 것이라 우려합니다.

이론상으로 공격자는 AI 에이전트를 사용해 정보를 수집 및 분석하고 공격 계획을 세우며, 피싱 메시지와 딥페이크를 생성할 수 있습니다. 

이 과정은 표적별로 글쓰기 스타일만 바꿔가며 똑같은 피싱 메시지의 여러 버즌을 생성하는 것보다 훨씬 위험합니다. 이는 가장 효과적인 소셜 엔지니어링 형태라고 널리 알려져 있으며 표적을 고도로 공략하는 스피어 피싱이 확장된 형태입니다.

아직은 사이버 보안 전문가들이 실제 환경에서 악성 AI 에이전트를 의미 있는 수준으로 감지하지 못했지만 단지 시간문제일 수도 있습니다. MIT Technology Review 최신 기사에서 Malwarebytes의 Mark Stockley는 이렇게 말했습니다. "결국 우리는 사이버 공격 대부분이 에이전트를 통해 이루어지는 세상에 살게 될 겁니다. 그 시기가 얼마나 빨리 올 것이냐가 문제일 뿐이죠."

생성형 AI 시대에는 기존에 신뢰했던 소셜 엔지니어링 공격 방어 기술 상당수가 무력해질 것입니다. 

"우리가 직원들에게 가장 먼저 가르치는 건 문법 오류, 오타 등을 찾아보라는 겁니다." Carruthers는 말합니다. "AI를 사용하는 정교한 공격자들은 더 이상 그런 실수를 하지 않죠."

이렇게 양식화된 경고가 더 이상 통하지 않을 때의 선택지 중 하나는, 소셜 엔지니어링 전술에서 좀 더 실질적인 논의로 보안 인식 교육의 초점을 옮기는 것입니다.

Carruthers가 이전에 다루었던 것처럼 소셜 엔지니어는 사칭, 허위 정보, 감정 조작에 크게 의존합니다. AI 기반의 사기 행위는 철자를 더 잘 지킬 뿐, 여전히 소셜 엔지니어링 공격과 동일한 수법과 패턴에 의존합니다. 직원들이 이런 징후를 알아차리는 방법을 배우면 사이버 범죄 예방율을 높일 수 있습니다. 

소셜 엔지니어들은 호기심, 두려움, 측은지심, 무리에 속하고 싶은 욕구 같은 인간의 심리를 노리고 이런 감정이 자극되도록 말을 꾸며냅니다. "지금 당장 이 돈을 보내주세요. 안 그러면 정말 나쁜 일이 생깁니다."

직장에서 이루어지는 소통의 대부분은 감정적 부담이 훨씬 적습니다. 일을 하다 보면 스트레스를 받을 수 있고, 동료가 수동 공격을 하거나 상사가 부담을 줄 수도 있습니다. 하지만 보통은 조금이라도 예의를 차리려고 노력하기 마련입니다.

긴급한 요청을 할 땐 더 조근조근하게 말하기도 합니다. "저기요, 이 인보이스 오늘 처리되는지 확인해 주실 수 있을까요? 행정적으로 오류가 생겨서 다소 지연되었는데 인해 거래처에서 기분이 상하면 안 되니까요."

중요한 요청을 하면서 강한 감정을 담는다는 것은, 잠시 멈추고 생각하라는 신호여야 합니다.

소셜 엔지니어는 이야기꾼이며 검증된 레파토리 몇 가지를 고수하는 경향이 있습니다. 가장 흔한 예는 이렇습니다.

• 나 자네 상사인데, 도움이 좀 필요해. 나한테 아무 것도 물어보지 마.

• IT/사이버 보안/기술 거래처입니다. 귀사의 시스템이 손상되어서 지금 손을 써야 합니다.

• 저는 거래처인데, 그쪽에서 저를 위해 무언가를 해주지 않으면 즉시 서비스를 끊겠습니다. 

• 여기는 사법 기관 또는 공공 기관인데, 이 벌금을 내지 않으면 오늘 구속되십니다.

• 처음 뵙겠습니다만 당신에게 놀라운 투자 기회를 드리겠습니다.

• 여기는 택배사인데 귀하의 택배 배송에 문제가 생겼습니다. 이 링크를 클릭해서 문제를 해결하세요. 

• 여기는 신뢰할 수 있는 서비스 또는 브랜드인데 귀하의 계정이 해킹당했습니다. 지금 바로 조치를 취해 문제를 해결하세요. 

• 여기는 당신이 신뢰하는 서비스 또는 브랜드이며 놀라운 제안을 준비했습니다. 지금 바로 행동에 옮기세요.

이렇듯 교활한 공격자들은 최대한 개개인에 맞춤화된 이야기를 구상합니다. 높은 차원의 개괄에 그치지 말고, 각 조직 구성원들이 실제로 당할 수 있는 종류의 사이버 위협을 구체적으로 다루는 보안 교육을 하라는 것이 Carruthers의 조언입니다.

"현재 조직에서 실제로 발생 중인 공격의 맥락에서 보안 인식 교육 상태를 재평가하세요. "특정 유형의 사기 전화가 온다면 교육에서 해당 전화를 다루도록 합니다."

교육 콘텐츠 재구성과 더불어 교육 빈도를 높이는 것도 권장합니다. 그래야 사람들이 학습 내용을 잊지 않고 중요한 팁을 기억해 두었다가 실전에서 보안 조치를 사용할 가능성이 높아집니다.  

"조직 전체를 점령하기 위해 직원들부터 공격하는 것이 보통입니다." Carruthers는 말합니다. "1년에 한 번 있는 1시간짜리 교육이 정말 충분할까요?"

위험 신호를 찾다 보면 진행 중인 공격을 더 많이 포착할 수 있습니다. 하지만 온라인에 올리는 정보를 제한하면 일부 공격이 발생하는 것을 원천 차단할 수 있습니다. 

"개인과 조직 모두, 자신이 온라인에 무엇을 올리는지 인지해야 합니다." Carruthers는 말합니다.

소셜 엔지니어링 측면에서, AI 기술과 LLM의 힘은 표적에 대한 대량의 정보를 발굴하고 분석하는 능력에서 비롯됩니다. 이런 정보를 찾지 못하면 AI 기술이 개인 맞춤 공격을 만들 수 없으므로, 아무리 메시지를 깔끔하게 작성해도 피해자를 속이기가 어려워집니다.

Carruthers는 '과하게 공유하지 말라'는 조언을 '온라인에 기밀 정보를 게시하지 말라'는 뜻으로 해석하는 경우가 많다고 지적합니다. 그러나 사기꾼은 민감하지 않은 정보를 활용해서도 공격의 설득력을 높일 수 있습니다.  

"채용 공고를 보면 조직도가 일부 제시되어 있을 때가 많습니다. 이 직무는 이 직무에 보고하고, 저 직무는 어디에 보고하는지 알 수 있죠. 이건 귀한 정보입니다. 이를 통해 조직의 모양새를 가늠할 수 있습니다. 어느 직무를 사칭하고 무슨 호칭을 사용해야 하는지 알 수 있습니다."

개인은 소셜 미디어 계정을 철저하게 비공개로 운영할 수 있지만, 조직에게는 이런 방식이 썩 실용적이지 않습니다. 그래도 사진에서 직원 명찰을 흐리게 처리하는 등 외부에 공개하는 내용에 대해 더 신중을 기할 수 있습니다.

"직원 명찰 사진을 찾는 것을 대수롭지 않게 생각하는 경우가 많습니다. 하지만 소셜 엔지니어링 측면에서는 이제 그 배지를 복제해서, 권한이 없는 건물에 훨씬 쉽게 들어갈 수 있습니다."