什么是影子 AI?

摩天大楼的仰视图

作者

Tom Krantz

Staff Writer

IBM Think

Alexandra Jonker

Staff Editor

IBM Think

Amanda McGrath

Staff Writer

IBM Think

什么是 影子 AI?

影子 AI 是指员工或最终用户擅自使用的任何人工智能 (AI) 工具或应用程序,其未获得信息技术 (IT) 部门正式批准或监督。

 影子 AI 的一个常见例子是 未经授权使用  生成式人工智能(生成式 AI) 应用程序,如 OpenAI 的 ChatGPT ,以自动执行文本编辑和数据分析等任务。员工经常使用这些工具来提高工作效率和加快流程。然而,由于 IT 团队并不知道这些应用程序正在被使用,因此员工可能会在不知情的情况下将组织暴露在涉及 数据安全、合规性和公司声誉的重大风险中。

对于  CIO  和  CISO 来说,制定一项包含  人工智能治理 和安全 措施的稳健  AI 战略 是有效 管理 AI 风险的关键。通过制定强调合规性和 网络安全重要性的  AI 政策 ,领导者可以 管理影子 AI  的风险 , 同时拥抱  AI 技术的好处。

影子 IT 与影子 AI

要了解 影子 AI 的影响,最好将其与 影子 IT 区分开来。

影子 IT

影子 IT  指的是在未经  IT 部门 或  CIO 批准、知情或监督的情况下,在企业网络上部署任何软件、硬件或信息技术。当员工发现现有解决方案不足或认为已获批准的方案速度太慢时,他们可能会转向 未经批准的 AI 技术 。常见的例子包括使用个人 云存储 服务或未经批准的项目管理工具。

影子 AI

 影子 IT  专注于任何未经授权的应用程序或服务,而 影子 AI 则专注于特定的 AI 工具、平台和 用例。例如,员工可能会使用大型语言模型 (LLM) 快速生成报告,却没有意识到其中的安全风险。关键区别在于所使用工具的性质: 影子 AI  是指 未经授权使用 人工智能,这带来了与 数据管理、模型 输出 和 决策制定相关的独特问题。

影子 AI 有哪些风险?

从 2023 年到 2024 年,企业员工对 生成式 AI  应用的采用率从 74% 增长到 96%,因为企业开始采用 AI 技术。1 随着这一增长,影子 AI 也随之兴起。如今,超过三分之一 (38%) 的员工承认在未经雇主许可的情况下使用  AI 工具 共享敏感的工作信息。2

影子 AI 可能使公司面临多种风险,包括数据泄露、不合规罚款和严重的声誉损害:

数据泄露和安全漏洞

与 影子 AI  相关的最大风险之一是可能出现 数据泄露。如果对  AI 的使用 缺乏监督 ,员工可能会无意中暴露 敏感信息 ,从而导致 数据隐私 问题。根据最近对  CISO 进行的一项调查,每 5 家英国公司中就有 1 家因员工使用 生成式 AI 而发生 数据泄漏。3  数据泄露 风险的增加或许可以解释为什么四分之三的受访者也表示,内部人员对组织构成的风险大于外部威胁。4

不遵守法规

在许多行业中,监管合规性是没有商量余地的。使用影子 AI 可能会导致合规性问题,尤其是在数据保护隐私方面。组织可能需要遵守《通用数据保护条例》(GDPR) 等法规。违反 GDPR 可能会导致巨额罚款:重大违规行为(例如为非法目的处理数据)可能会给公司造成高达 2000 万欧元的损失或该组织上一年全球收入的 4%(以较高者为准)。

声誉受损

依赖 未经授权的 AI 模型 会影响 决策 质量。如果没有适当的管理,这些模型产生的 结果 可能不符合组织的目标或 道德标准。 有偏见的 数据、 过度拟合 和 模型漂移 是 AI 风险的几个例子,这些风险可能导致错误的战略选择并损害公司声誉。 

未经授权使用 AI 还可能违背公司的质量标准,损害消费者的信任。想想《体育画报》因发表由 AI 生成的作者撰写的文章而被曝光,或者 Uber Eats 因使用 AI 生成的食物图片而被指责时所引起的反响。

影子 AI 的原因

尽管存在风险,但出于几个原因, 影子 AI  正变得越来越普遍。组织正在拥抱 数字化转型,并进而整合 AI 技术,以重新构想工作流程和决策。 

用户友好型 AI 工具的激增意味着员工可以轻松访问先进的 AI 解决方案来增强他们的能力。许多 AI 应用程序都以软件即服务 (SaaS) 产品的形式提供,个人可以快速采用这些工具,而无需 IT 或安全团队参与。通过 AI 的民主化,员工正在寻找新的方法,以便:

  • 提高生产力: 员工经常使用 影子 AI 工具 来提高工作效率,规避 运营效率低下的问题。通过使用 生成式 AI 应用程序,个人可以自动执行重复性任务,快速生成内容,并 简化 原本需要更长时间才能完成的流程。
  • 加速创新: 影子 AI  可以培养创新文化,使团队能够尝试 新的 AI 工具 ,而无需等待官方批准。这种灵活性可以带来创造性的解决方案和改进的 工作流程,使组织在瞬息万变的市场中获得 竞争优势 。
  • 简化 解决方案: 通常情况下, 影子 AI  可以让团队实时应对挑战。员工可以利用现有的  AI 工具快速找到 临时 解决方案,而不是依赖传统的、速度较慢的方法。这种响应能力可以加强客户服务,提高运营效率。
小球在轨道上滚动的三维设计

最新的 AI 新闻 + 洞察分析

在每周的 Think 时事通讯中,提供有关 AI、云等的专家精选的洞察分析和新闻。

影子 AI 的示例

影子 AI 在组织中以各种方式表现出来,通常是由效率和创新的需求驱动的。影子 AI 的常见例子包括人工智能驱动的聊天机器人、用于数据分析的 ML 模型、营销自动化工具和数据可视化工具。

人工智能驱动的聊天机器人

在客户服务方面,团队可能会求助于 未经授权的 AI 聊天机器人 来生成咨询答案。例如,客户服务代表在回答客户的问题时,可能会询问 聊天机器人 ,而不是查看公司批准的材料。这可能会导致信息不一致或错误,与客户之间可能出现沟通不畅,如果代表的问题包含敏感的 公司数据,还可能存在安全风险。

用于数据分析的 ML 模型

员工可以使用外部 机器学习 模型来分析和查找公司数据 中的模式。虽然这些工具可以提供有价值的洞察分析,但 未经授权使用 AI 服务可能会造成安全漏洞。例如,分析师可能会使用预测行为模型,从专有数据集中更好地了解客户行为,却在不知情的情况下暴露了 敏感信息 。

营销自动化工具

营销团队可能会寻求使用影子 AI 工具来优化营销活动,这些工具可以自动执行电子邮件营销工作或分析社交媒体参与数据。使用这些工具可以改善营销成果。然而,缺乏治理可能会导致不遵守数据保护标准,尤其是在客户数据被不当处理的情况下。

数据可视化工具

许多组织使用人工智能驱动的 数据可视化 工具来快速创建热图、折线图、条形图等。这些工具能以通俗易懂的方式显示复杂的数据关系和洞察分析,从而帮助提高 商业智能 。然而,未经 IT 部门批准就输入公司数据可能会导致报告不准确和潜在的数据安全问题。

如何管理影子 AI 的风险

为了管理 影子 AI 的风险,组织可以考虑采取几种方法,鼓励 负责任地使用  AI ,同时认识到灵活性和创新的必要性:

强调协作

 IT 部门、 安全团队 和业务部门之间的开放式对话有助于更好地了解 AI 的功能 和局限性。协作文化可以帮助组织确定哪些  AI 工具 是有益的,同时也有助于确保遵守 数据保护 协议。

制定灵活的治理框架

治理框架可以适应 AI 采用的快节奏特性,同时维持安全措施。这些框架可以包括明确的指导方针,说明可以使用哪些类型的 AI 系统、如何处理敏感信息以及员工在 AI 道德和合规方面需要接受哪些培训。

设置护栏

围绕  AI 使用 的防护网 可以提供一个安全网,帮助确保员工只在规定的参数范围内使用经批准的工具。 防护网 可包括有关外部 AI 使用的政策、用于测试  AI 应用 的沙盒环境或用于阻止未经授权的外部平台的防火墙。

监控 AI 使用情况

要消除所有影子 AI  可能并不可行。因此,组织可以采用网络监控工具来跟踪应用程序的使用情况,并建立 访问控制 来限制未经批准的软件。定期审计和积极监控通信渠道也有助于识别是否以及如何使用未经授权的 应用程序 。

重申风险

影子 AI 的态势在不断发展,给组织带来了新的挑战。公司可以建立定期沟通渠道,例如时事通讯或季度更新,以告知员工有关影子 AI 及其相关风险。

通过增强对使用未经授权的 AI 工具的后果的认识,组织可以培养负责任的 AI 使用文化。这种理解可能会鼓励员工在部署新的应用程序之前寻求批准的替代方案或咨询 IT 人员。

脚注

所有链接均为 ibm.com 外部链接

1敏感数据共享风险随生成式 AI 的激增而加剧,Infosecurity Magazine,2024 年 7 月 17 日。

2超过三分之一的员工秘密与 AI 分享工作信息,Infosecurity Magazine,2024 年 9 月 26 日。

3五分之一的 CISO 承认员工通过生成式 AI 泄漏数据, Infosecurity Magazine,2024 年 4 月 24 日。

4第 99 条:处罚,欧盟《人工智能法案》。

相关解决方案
IBM watsonx.governance™

借助 IBM watsonx.governance 随时随地治理生成式 AI 模型,并在云端或本地进行部署。

了解 watsonx.governance
人工智能治理解决方案

了解人工智能治理如何能帮助增强员工对 AI 的信心、加速采用和创新并提高客户信任。

探索人工智能治理解决方案
人工智能治理咨询服务

借助 IBM Consulting,为《欧盟 AI 法案》做好准备并制定负责任的人工智能治理方法。

了解 AI 治理服务
采取下一步行动

借助单一组合来指导、管理和监控您的 AI,以加速负责任、透明且可解释的 AI。

深入了解 watsonx.governance 预约实时演示