数十年来,网络钓鱼攻击始终利用人类情感窃取账户凭证与资金,至今仍未停歇。但自上世纪 90 年代出现首例钓鱼案件以来,随着技术的飞跃式发展,网络钓鱼已不再局限于识别充斥拼写错误和语法漏洞的诈骗信息。如今它意味着需要质疑:朋友或上司打来的电话是否真实——即使声音与他们本人完全一致。随着人工智能的崛起,恶意行为者正变得日益隐秘和复杂。每个人都需重新思考何为真实,习惯识别虚假信号,并学习如何在线上线下更好地保护身份信息。
社会工程学是涵盖各类攻击手段的统称,指攻击者与诈骗犯诱使人们泄露危及身份与账户的信息。这种威胁仍是导致数据泄露的主要攻击途径之一。虽然员工培训和高级垃圾邮件过滤器在一定程度上缓解了此问题,但这些措施似乎对日益增长的深度伪造威胁并不适用。2024年,超过 80% 的企业表示尚未制定应对包括深度伪造在内的 AI 攻击方案。
此外,Pindrop 公司《2025 年语音智能报告》发现,深度伪造诈骗较往年激增 1300%。深度伪造攻击代表着一个令人畏惧的新领域——在这个领域里,您已无法再信任所见所闻之事。
其背后的技术被称为生成对抗网络 (GAN)。该技术由研究员 Ian Goodfellow 及其同事于 2014 年开发并发表在研究论文中。GAN 是一种机器学习模型,通过从训练数据集中学习规律来生成新数据。但这究竟意味着什么?GAN 包含两个持续相互竞争的神经网络,以创造逼真的伪造数据。一个是生成器,另一个是判别器。
生成器负责制造合成内容,判别器则判定内容的真伪。二者的反复博弈最终使伪造内容无限趋近真实。这就像在钢块上磨剑。每次剑(生成器)划过钢块(判别器),剑刃都会变得更加锋利。
几年后的 2017 年,Reddit 用户“deepfakes”创造了“深度伪造”这个术语。此人恶意滥用了 GAN 的概念。他利用一个专注于成人内容的账号,发布了首批公开传播的深度伪造视频,利用无关人物的图像制造虚假内容并在网络传播。
早期的深度伪造通常质量较低且较易识别。但如今情况已截然不同。人们发布的语音与图像深度伪造已极难辨伪,这对虚拟世界中的身份与信任概念构成了根本性挑战。
2018 年随着 DeepFaceLab 等易于获取的开源工具发布,深度伪造技术进入主流视野。自此,制作逼真深度伪造内容的技术门槛持续降低。2023 年深度伪造工具市场急剧扩张,相关工具开发量激增 44%。遗憾的是,针对女性的非自愿色情内容制作成为推动深度伪造工具普及的驱动因素。该问题已呈泛滥之势——据 Security Hero 报告显示,2023 年网络上约 98% 的深度伪造视频涉及色情内容,而此类目标中仅有 1% 为男性。
近年来,深度伪造技术还被用于政治操纵与消费欺诈。深度伪造的目标多为公众人物,主因其在网络上有大量可获取的媒体样本。
2024 年初,新罕布什尔州选民接到伪装成拜登总统的自动语音电话,意图阻挠他们在民主党初选中的投票。恶意行为者甚至伪造来电显示为民主党主席号码。这起事件是利用深度伪造音频进行语音钓鱼(亦称“语音钓鱼”)的典型案例。此后,美国联邦通信委员会 (FCC) 已禁止在干扰选民投票的自动呼叫中使用 AI 生成语音。
此外还出现多起涉及 Elon Musk、新西兰总理 Christopher Luxon 和加拿大总理 Justin Trudeau 等知名公众人物的深度伪造视频。这些视频通过推广各类加密货币骗局来欺诈潜在投资者。
深度伪造技术也存在相对合法的用途。麻省理工学院高级虚拟中心的研究人员曾深度伪造 Richard Nixon 总统发表关于登月失败的演讲。这个由学生创建的项目旨在警示深度伪造时代媒体素养的重要性。迪斯尼及其他好莱坞大型制片厂也已投资运用该技术实现演员减龄效果,并在电影中应用高级视觉特效。
加入安全领导者的行列,订阅 Think 时事通讯,获取有关 AI、网络安全、数据和自动化的精选资讯。快速访问专家教程和阅读解释器,我们会将这些内容直接发送到您的收件箱。请参阅 IBM 隐私声明。
以下是四起利用深度伪造技术进行欺诈、欺骗和身份冒充的典型案例。
2024 年初,跨国工程公司奥雅纳确认其因深度伪造骗局损失 2,500 万美元。
该公司一名香港员工收到冒充英国办事处的钓鱼电子邮件,要求进行“机密”交易。当然,该员工起初是持怀疑态度的。该员工起初自然产生怀疑,但在与首席财务官及数名同事视频会议后疑虑尽消。他认出了这些面容与声音,便汇出了 2 亿港元(约合 2,560 万美元)。这笔资金在诈骗被发现前已通过 15 次转账流向 5 家不同银行。
奥雅纳首席数字信息官 Rob Greig 当时就此事件与世界经济论坛进行讨论。Greig 将事件定性为“技术强化的社会工程”而非网络攻击。强调系统并未遭到入侵,数据也未出现越权访问。而是员工被诱骗执行了其认为真实的交易。Greig 甚至尝试制作自己的深度伪造视频,耗时不足一小时。他认为此类事件的发生频率远超公众想象。
该案例凸显了深度伪造钓鱼攻击可能对企业造成的毁灭性经济损失。类似案件也针对个人实施,曾有老年人接到冒充其亲属的紧急求助电话。
深度伪造的危害不仅限于公众人物与企业高管。2024 年,巴尔的摩一位校长因其 AI 生成音频片段而生活天翻地覆——该音频伪造其发表种族主义和反犹太言论。
Pikesville 高中校长 Eric Eiswert 的一段伪造音频在网络疯传,内容显示其发表有害且贬损性言论。该片段累计获得超两百万次观看。这在网络和现实生活中都引起了巨大反响。当地社区反应尤为愤怒,因 Pikesville 地区居住着大量黑人和犹太人口。
在舆论压力下,Eiswert 被迫休假。由于收到恶意威胁与骚扰,警方在其住宅部署警卫。学校也加强了安保措施。
Eiswert 最初声称音频系伪造的辩驳未能获得认可,反被指责为逃避责任。这段伪造音频最初于 2024 年 1 月发布。直至 4 月当地警方才确认录音系伪造。警方以伪造音频相关罪名逮捕了该校体育主任 Dazhon Darien。Eiswert 此前一直在调查 Darien 盗窃学校资金及工作表现不佳的问题。2025 年 4 月,Dazhon Darien 承认购买 AI 克隆工具的罪行。
该事件严重损害了 Eiswert 的声誉,迫使其离职并转往另一所学校工作。
2019 年发生首批重大深度伪造攻击事件之一,欺诈者利用深度伪造音频从一家英国公司窃取 24.3 万美元。
某英国能源公司(匿名)CEO 接到自称德国母公司 CEO 的电话。该英国 CEO 注意到来电甚至带有德国 CEO 特有的“声调韵律”。诈骗者总计拨打了三次电话。首次通话要求英国 CEO 向匈牙利供应商银行账户转账 24.3 万美元。该 CEO 照办。第二次来电声称款项已获退款。第三次即最后一次通话则试图索取后续付款。当英国 CEO 发现首笔款项实际未获退款后,拒绝支付后续款项。首笔资金经匈牙利账户转至墨西哥等地,致使溯源困难。
这起早期深度伪造诈骗案如同预警信号,预示此类骗局未来将发展到何等猖獗与精密的程度。
作为 2025 年 6 月发生的较新攻击案例,朝鲜背景的黑客组织 BlueNoroff 利用深度伪造技术针对加密货币公司实施攻击。
某加密货币公司员工收到包含 Google Meet 会议链接的 Calendly 邀请。两周后该员工加入由威胁参与者操控的 Zoom 通话。通话中充满经深度伪造的高层管理人员影像。当员工遭遇音频故障时,攻击者发送了恶意 Zoom 扩展程序。Zoom 扩展程序实为部署恶意软件的脚本,可劫持系统中发现的所有加密货币钱包。
此次攻击凸显威胁参与者正将传统社会工程学与实时深度伪造冒充相结合,令终端用户的验证工作变得异常困难。
深度伪造已不再仅是潜在威胁;其危害与后果真实存在且日益显现。如今,深度伪造技术已发展到足以破坏许多组织(尤其是金融领域)所依赖的在线身份验证流程的可信度。随着越来越多用户通过各类设备的生物识别技术进行身份验证,深度伪造恶意使用的增长态势可能在未来五年甚至更短时间内,迫使人们彻底重构身份验证安全体系。
正如近期攻击事件所示,制作逼真深度伪造内容的门槛已大幅降低。从克隆语音到完整视频冒充,深度伪造技术正以更难以察觉和防御的方式赋能诈骗分子。
另一个需要严肃对待的方面是校园欺凌者对深度伪造技术的滥用:他们嘲弄骚扰同龄人、针对教育工作者,或刻意制造威胁恐吓他人的伪造场景。这种网络欺凌趋势持续恶化,呼吁家长教育子女并对其潜在威胁保持高度警惕。
认知威胁是实施防御的第一步。通过加强终端用户安全培训,并运用新兴的深度伪造检测工具,组织与个人方能开始反击这类新型威胁。
想要了解更多?请联系 X-Force 专家进行一对一简报,深入探讨深度伪造技术、相关威胁以及如何培训团队识别伪造内容,并在威胁参与者造成损害前及时拦截。
我们的网络靶场团队诚邀您参与实战化培训——可在我们全球各基地、您的办公室或虚拟环境中进行。立即联系我们。