去年夏天，HYAS 的网络安全研究人员发布了 EyeSpy 的概念验证，这是一种完全自主的、AI 驱动的恶意软件，他们说，它可以自行推理、制定战略和执行网络攻击。1他们警告说，这次实验只是人工智能即将引发的毁灭性、不可检测的网络威胁新时代的缩影。
也许不是。
IBM X-Force Adversary Services 的 CNE 能力开发负责人 Ruben Boonen 说：“在网络安全和其他领域，AI 被炒得沸沸扬扬。”“但我的看法是，目前我们不必过于担心人工智能驱动的恶意软件。我还没有看到过使用 AI 能够实现没有 AI 不可能实现的事情的任何演示。”
威胁环境总是在不断变化，也许有一天，基于 AI 的恶意软件会构成严重威胁。但至少就目前而言，许多安全专家认为有关 AI 恶意软件的讨论只是纯粹的猜测和少量的营销手段的混合。
目前，使用 AI 的威胁参与者主要利用 AI 来改进网络安全团队已经熟悉的基本脚本和社交工程攻击。这意味着组织可以通过继续专注于基础知识来保护自己，例如修补资产、培训员工和投资正确的威胁检测解决方案。
通用大型语言模型 (LLM)（例如 Meta 的 Llama）和有针对性的应用程序（例如 IBM 的 watsonx Code Assistant）都可以帮助程序员通过编写、调试和翻译代码来加速开发。
令人担忧的是，这些优点并不局限于仁慈的程序员。通过越狱合法的 AI 系统或创建自己的系统，威胁参与者可以假设使用这些 AI 工具来简化恶意软件的开发流程。
一些人担心 AI 可能会降低恶意软件市场的进入门槛，使更多网络罪犯能够编写恶意程序，无论其技能水平如何。或者，更糟糕的是，AI 技术可能会帮助威胁参与者开发出全新的恶意软件，从而绕过常见的防御系统，造成不可估量的破坏。
一些研究人员试图通过尝试将 AI 融入恶意软件的不同方法来说明 AI 生成的网络威胁可能带来的危险：
这些实验乍一看似乎令人担忧，但在许多安全专家看来，它们只不过是好奇而已。
Boonen 说：“[BlackMamba 和 EyeSpy] 这样的东西对我来说一点也不可怕，”他开展红队演习，帮助组织加强对真实网络攻击的防御。
他解释说：“当我研究如何实施这些计划的技术细节时，我认为如果我们在客户项目中使用这些计划，它们不会取得任何成功。”
Boonen 和其他人之所以对当今 AI 生成的恶意软件言论持怀疑态度，有几个原因。
首先，这些“新威胁”的所作所为并不是安全团队以前从未见过的，这意味着现有的防御战略对它们仍然有效。
IBM X-Force Threat Intelligence 首席恶意软件反向工程师 Kevin Henson 说：“BlackMamba 和 EyeSpy 提出的概念并不新鲜。”“防御者以前就遇到过具有这些功能的恶意软件——隐藏在内存中、多态代码。”
Henson 指出，恶意软件作者使用元编程等技术来混淆重要数据，并在每次编译时独特地生成某些元素，例如代码模式。
其次，虽然 LLM 确实拥有令人印象深刻的编码技能，但他们不可能在短期内生成任何前所未有的恶意软件变体。
“我认为，使用 ChatGPT [和其他 AI 工具] 生成恶意软件具有局限性，因为代码是由经过一组数据训练的模型生成的”，Henson 表示。“因此，生成的代码不会像人类开发的代码那样复杂。”
尽管关于 AI 和机器学习算法如何通过减少恶意软件的生产来引发网络犯罪复兴的讨论很多，但目前的模型还没有达到这一水平。用户仍然需要了解一些代码知识，以确保 LLM 生成的任何内容都能按照他们想要的方式运行。
Boonen 说：“AI 是提高生产力的助推器，在某种程度上，使用 AI 可以降低编写代码所需的知识水平。”“但并没有大幅减少。”
事实上，如果威胁参与者今天开始广泛实施基于 AI 的恶意软件，它很可能会产生大量的低质量代码，防御者可以轻松检测并化解。
Boonen 说：“我并不是说将来没有技术上的可能性，利用 AI 创造出真正优秀的恶意软件。”“如果模型以现在的速度不断改进，我想终将有一天，它们将能做一些实质性的事情。那么，我们就需要更加认真地对待它。但我认为我们还没到这个阶段。”
IBM X-Force Threat Intelligence 的恶意软件逆向工程师 Golo Mühr 说：“这个问题与软件开发中发生的情况如出一辙，因为恶意软件就是恶意软件。”
Mühr 解释说：“现在，我们还没有看到很多应用程序将 AI 无缝集成到代码中。”“当我们看到 AI 在一般软件中占据主导地位时，我们可以预见它在恶意软件中也会变得很常见。”
正如 X-Force Threat Intelligence Index 报告所述，这种模式过去也曾出现过。直到支持这些攻击的合法技术（用于勒索软件的 Microsoft Active Directory、用于加密劫持的加密货币和基础设施即服务）也被全面采用后，勒索软件和加密劫持才成为普遍的威胁。
Mühr 指出，任何新技术在被开发人员采用之前，都必须获得可观的投资回报，恶意软件开发人员也是如此。
包括 IBM 的 X-Force 在内的网络安全研究人员尚未发现威胁行为者利用人工智能在自然环境下生成新恶意软件的证据。但是，网络犯罪分子正在利用 AI 工具进行更多常见的恶意活动，比如编写简单的脚本和网络钓鱼电子邮件。
“在合法的软件开发中，我们看到生成式 AI 被用于补充开发流程，提供指导并创建基本代码片段，”Mühr 说。“如今，这种 AI 技术已经被威胁行为者用于恶意目的，但我们不会将其视为极其复杂的威胁。”
例如，Microsoft 和 OpenAI 已经抓获并阻止了多个试图利用其 LLM 作为编码助手的民族国家行为者。与俄罗斯有联系的“Forest Blizzard”组织利用 LLM 研究目标系统的漏洞，而伊朗的“Crimson Sandstorm”组织则利用 LLM 编写网络抓取脚本。3
然而，对于许多安全专家来说，LLM 辅助的网络钓鱼攻击是最令人担忧的 AI 恶意使用行为。
Mühr 表示：“我认为，目前最大的威胁是使用生成式 AI 进行冒充和网络钓鱼。在这种用例中，AI 已经可以通过创建类人文本、视频和音频产生巨大影响。我们已经看到有迹象表明，这种武器被用于网络钓鱼。”
例如，黑客可以利用 LLM 编写模仿可信品牌声音的网络钓鱼电子邮件。这些由 LLM 生成的电子邮件也缺乏常见的警示标志，例如语法错误和不当措辞，而潜在受害者通常会利用这些标志来识别骗局。
恶意行为者还可以利用 AI 生成深度伪造品，使其骗局更有说服力。例如，中国香港特别行政区的骗子利用 AI 生成的视频会议，诱骗一名受害者将 2500 万美元转入诈骗银行账户。4
这些人工智能驱动的骗局既能欺骗人类目标，也能欺骗旨在阻止它们的企业安全系统。例如，X-Force 称之为“Hive0137”的网络罪犯团伙很可能利用 AI 来生成网络钓鱼电子邮件的变体，这样他们就可以顺利通过过滤器来寻找已知恶意消息。
AI 并没有从根本上改变网络安全战场。相反，它帮助攻击者简化了他们已经在做的事情。这意味着，组织要想抵御 AI 驱动的攻击，最好的办法就是坚持基本原则。
IBM X-Force Threat Intelligence 战略威胁分析师 Ben Shipley 说：“如果我们谈论的是 AI 被用来实施攻击，那么防御者面临的风险和应对措施不会改变。”“由 AI 或人类编写的恶意软件仍然会表现得像恶意软件一样。AI 编写的勒索软件对受害者的影响并不比人类编写的勒索软件更严重了。”
标准安全措施可以帮助弥补恶意软件（无论是 AI 辅助还是其他方式）入侵系统所必须利用的漏洞。例如，正式的补丁管理计划可以在恶意参与者发现软件错误之前将其修复。强大的身份和访问控制（如多重身份验证）可以打击帐户劫持 – 当今网络攻击最常见的媒介之一。
其他措施也有助于对抗 AI 攻击：
虽然恶意行为者可以利用 AI 工具来简化流程，但防御者也可以而且应该这样做。
根据 IBM 的《数据泄露成本报告》，在网络安全方面使用 AI 和自动化的组织可以大大降低数据泄露成本。
AI 可以使预防工作更有效，并加快威胁检测和修复的时间，从而将平均数据泄露的成本减少 188 万美元。（对于大量投资于安全 AI 和自动化的组织来说，平均违规成本为 384 万美元。对于没有安全 AI 和自动化的组织，平均违规成本为 572 万美元。）
基于规则的传统 AI 已经存在于许多常见网络安全工具中，例如端点检测和响应 (EDR) 工具以及用户和实体行为分析 (UEBA) 工具。但是新的生成式 AI 模型也有望为防御者提供帮助。
Boonen 说：“我认为生成式 AI 模型将对事件响应等方面产生重大影响。例如，他们可能能够更快地理解或总结事件，因为与人类相比，模型可以在更短的时间内查看更多的数据。”
这加快了分析师的工作进程，他们可以利用这些洞察分析更快、更有效地阻止威胁。
虽然 AI 可以制造恶意行为者用来欺骗人们的深度伪造品，但它们也可以在打击这些阴谋方面发挥重要作用。
Boonen 解释说：“有些图像看起来已经几乎无法与真实图像区分开来，随着我们推进，我猜想大多数人将无法区分。”“因此，我认为我们必须训练 AI 模型，让它们能够说出‘这段视频是假的’或‘这张图片是假的’，而人类做不到这一点。”
与未来的人工智能驱动的威胁一样，AI 对网络安全从业人员的影响可能更多的是一种渐进的变化，而不是爆炸性的动荡。与其被大肆炒作或被末日论者所迷惑，安全团队最好做他们一直在做的事情：着眼未来，脚踏实地。
所有链接均为 ibm.com 外部链接。
1. EyeSpy poof-of-concept，HYAS，2023 年 8 月 1 日。
2. BlackMamba: using AI to generate polymorphic malware，HYAS，2023 年 7 月 31 日。
3. 在 AI 时代领先于威胁行为者，Microsoft，2024 年 2 月 14 日。
4. 财务人员在与伪造的“首席财务官”视频通话后支付了 2500 万美元， CNN，2024 年 2 月 4 日。