什么是 AI 就绪数据?

AI 就绪数据的定义

AI 就绪数据是高质量、可访问且值得信赖的信息,组织可以自信地将其用于人工智能 (AI) 训练和相关项目。

妥善准备和管理的数据是 AI 成功的基础——正如谚语所说:“垃圾进,垃圾出。”准确、完整且一致的数据能够推动企业 AI 带来更优的性能和生产力提升。同时,针对良好治理和受保护数据的数据策略有助于确保法规合规并保护用户隐私。

随着基于人工智能的决策日益成为竞争优势,许多组织意识到传统的数据管理实践可能不足以提供 AI 就绪的数据。根据 IBM 商业价值研究院 2024 年的一项调查,只有 29% 的技术领导者强烈认同其企业数据能够满足高效扩展生成式 AI (gen AI) 所需的质量、可访问性和安全标准。1

为了实现并维持数据为 AI 应用做好准备的状态,组织可以聚焦于几项关键的数据实践:统一访问、治理、安全和支持。通过落实这些基础要素,组织可以确保其数据真正实现 AI 就绪——并借此将 AI 从昂贵的实验转变为企业价值的强大引擎。

为什么 AI 就绪数据很重要?

如果没有可信、高质量且管理良好的数据,AI 工具的结果往好里说可能令人失望,往坏里说则可能不准确、带有偏见或存在隐私风险。

AI 就绪数据通过以下能力,帮助确保 AI 技术交付真正的业务价值和可操作的洞察:

更强的治理能力

AI 就绪的数据集自带数据隐私政策和数据质量控制,确保治理从第一天起就嵌入流程和数据管道中。

更好的模型性能

干净、一致且标注良好的数据有助于模型避免错误和偏见,从而提高整体准确性和性能。

更快的 AI 开发

已建立的 AI 就绪数据流程通过减少访问、理解和准备 AI 数据所花费的时间,简化了 AI 解决方案的开发。

面向未来项目的可扩展性

正确准备和管理的 AI 就绪数据是一种可互操作、可重复使用的资产,团队可以在新的或并行的 AI 项目中反复利用。

AI Academy

数据管理是生成式 AI 的秘诀吗?

深入了解为什么高质量数据对于成功使用生成式 AI 至关重要。

实现 AI 就绪的常见数据障碍

那些难以从 AI 项目中实现投资回报率的组织,在真正实现 AI 就绪方面常常面临与数据相关的重大障碍,包括:

  • 数据蔓延与碎片化
  • 数据质量差
  • 运营瓶颈与技能差距
  • 安全与治理风险

数据蔓延与碎片化

数据孤岛是现代数据生态系统的一大顽疾。其扩散受多种因素驱动,从组织结构和文化,到 IT 复杂性和监管约束。这种数据碎片化为日常运营和战略计划(如 AI)都制造了障碍。

相互孤立的数据本质上是低效的,且往往是非结构化的,需要额外步骤才能有效准备和使用。它在整个组织中不一致,也更难管理以满足监管要求和隐私政策。这些问题显著拖慢了 AI 就绪数据的访问和准备速度,可能推高 AI 项目的成本和复杂性。

数据质量差

数据质量差源自多种原因。虽然数据孤岛和碎片化是一个例子,但其他常见原因包括不一致的数据质量管理实践、过时的系统和架构,以及集成挑战。通常,这是多种因素共同作用的结果。

即使是最高级的 AI 模型也会受到低质量数据的影响,导致输出结果不可靠、不准确甚至可能存在偏见。后果可能很严重:AI 项目失败造成的财务损失、因偏见决策导致的声誉损害,或对 AI 整体价值的信任度降低。

运营瓶颈与技能差距

人类专业知识对于 AI 的实施仍然至关重要。然而,AI 与新技术的快速发展正在改变角色分工,并加剧 AI 技能差距。许多组织在员工培训和技能提升方面滞后,这往往是由于学习形式无效、预算限制,或者缺乏获取合适工具和数据的途径。

没有充足的技术人才,现有的数据团队可能会发现自己力不从心。他们一边管理着复杂、孤立的数据环境,一边承受着为关键项目快速交付 AI 就绪数据的压力。

利用 IBM SkillsBuild 培养核心数据技能: 立即开始免费学习

安全与治理风险

随着数据碎片化和复杂性的出现,敏感和受保护的数据常常分散在各个业务部门、数据平台和存储库中。这种数据蔓延引发了有关合规性、访问控制和信任方面的担忧。

在没有适当安全和治理保障的情况下扩展企业 AI,会增加风险和监管复杂性。意识到这一障碍却难以解决的组织,可能会看到其 AI 项目陷入停滞。对于那些没有意识到这一障碍的组织来说,随着他们推进和扩展 AI,风险会不断累积。

非结构化数据与 AI 就绪

现代 AI(尤其是生成式 AI)依赖大量数据来交付真正的价值。幸运的是,数据生成并不仅限于大型企业。各种规模的组织每年都通过其网站、社交媒体、内部系统和客户互动产生大量数据。

然而,大多数组织并未充分利用其数据。据估计,传统大语言模型 (LLM) 中仅利用了 1% 的企业数据。2

为什么要让如此宝贵的 AI 燃料白白浪费?因为大多数企业数据是非结构化的。这些数据缺乏预定义的格式,来自不同的数据源,如 PDF、社交媒体帖子、图片、即时消息和电子邮件。其中只有不到  1% 的非结构化数据 具有适合 AI 直接使用的格式。3换句话说,绝大多数企业数据尚未达到 AI 就绪状态。

虽然结构化数据仍然极具价值,但未能挖掘非结构化数据的潜力——这些数据多样、灵活且富含洞察——是一个战略失误,也是扩展企业 AI 的重大障碍。

这一挑战反映在严峻的AI成果上:根据 IBM 商业价值研究院 (IBV)  2025 年 CEO 研究,只有 16% 的 AI 计划达到了企业规模。

当前对企业来说是关键时刻。AI 计划的成败取决于组织如何有效地为 AI 管理和准备高质量数据——包括结构化和非结构化数据。

什么使数据具备 AI 就绪?

具备以下特征的数据能够支持可信、可靠且有价值的 AI 用例:

  • 统一且可访问
  • 受治理
  • 安全
  • 受支持

统一且可访问

AI 无法处理它访问不到的数据。实现 AI 就绪的关键第一步是建立对企业数据的统一访问。这意味着要打破数据孤岛,为分散在数据库数据湖、应用程序和文档库中的信息创建一个单一的、可管理的视图。

访问范围越广,AI 能够交付的数据驱动洞察和价值就越大。AI 不仅可以提供内部答案,还能开始改善客户体验运营效率

统一的数据访问还能将孤立的数据转化为可复用的资产,使处理这些数据更加容易且成本更低。它支持多种工作负载并实现规模经济,将数据转化为战略资源。

数据集成和数据编织架构等技术使统一访问成为可能:

数据集成:将来自混合云和多云环境的数据转换并协调为统一的、一致的格式,供 AI 用例使用。实时数据集成尤其支持 AI 和自动化用例。

数据编织:在不物理移动数据的前提下,创建所有企业数据的虚拟统一视图。它结合了数据目录、联邦元数据、数据集成、虚拟化机器学习等能力,帮助用户快速发现、访问和使用 AI 就绪数据。 

受治理

有效的数据治理通过明确的策略、流程和标准,帮助确保数据的完整性安全性质量和可访问性。坚实的治理基础将企业数据转化为高质量、可信赖的 AI 就绪资产——这对于负责任的 AI 开发至关重要。

数据隐私法和 AI 相关法规正在迅速演变,通常要求详细的模型文档。这包括数据来源谱系和适用性等信息——违规行为将面临高额处罚。例如,根据《欧盟 AI 法案》,根据违规情况,罚款最高可达 3500 万欧元或公司全球年营业额的 7%。

偏见和准确性也日益令人担忧,近半数接受调查的 CEO 都在担心这些风险。在医疗保健和金融等高风险行业,AI 可能影响关键决策,强大的数据治理对于维护公平和信任至关重要。

强大的治理框架通过以下措施降低这些风险并支持高质量数据:

  • 支持数据隐私和法规合规的访问控制、文档谱系和使用指南

  • 涵盖 AI 生命周期各阶段的清晰、可执行的标准,以及用于公平准确数据实践的自动化偏见检测工具

  • 数据清洗数据 验证数据可观测性解决方案,有助于确保数据的准确性、清洁度和时效性

  • 元数据管理工具,使用描述性、结构性和 管理性元数据对 数据集 进行分类,从而使 AI 模型基于准确、相关的信息进行训练

安全

虽然数据安全通常被视为更广泛治理的一部分,但在 AI 就绪数据方面,它值得特别关注。生成式 AI 带来了一系列新的数据安全挑战,例如数据泄露提示注入攻击,这些都需要主动应对。

一次数据泄露就可能严重损害组织的盈利能力。根据 IBM《2025 年数据泄露成本报告》,全球数据泄露的平均成本已达到 440 万美元。

为了在 AI 生命周期(从收集、准备到训练和处置)中确保数据安全,组织应考虑数据安全的三个关键原则:发现、保护和监控。

发现

不了解的数据,就无法保障其安全。发现和分类流程帮助组织识别敏感数据,并按类型、敏感度和风险级别进行适当标记。这种可见性支持负责任的数据使用并遵守数据隐私法规。

保护

强有力的保护措施能够保障数据安全并确保其可用性。这些实践包括防火墙、加密终端安全数据备份业务连续性灾难恢复 (BCDR) 计划,以及灾难恢复即服务 (DRaaS) 等。 

监控

持续的、AI 驱动的监控提供了企业数据活动的全面视图。通过分析活动,监控平台可以及早帮助检测并标记异常行为或模式,并有助于防止数据滥用。

受支持

AI 就绪数据脱离实际环境并无价值。只有在适当的人力技能和数据基础设施的支持下,它才能产生真正的影响。

为了成功采用和扩展 AI 系统,各职能部门的团队将需要不同级别的培训和技能重塑。员工应培养对 AI 概念、工作流程、决策和负责任使用的基础理解。

虽然并非每个人都需要成为数据科学家,但数据素养数据民主化的文化可以使人们能够自信地使用 AI 应用程序并做出基于数据的决策。此外,AI 伦理和偏见识别培训可以增强对值得信赖的 AI 的治理。

组织还应考虑其数据存储基础设施是否已准备好满足 AI 工作负载的性能和容量需求。LLM 尤其需要在多个环境中拥有大量的存储资源。为了满足这些需求,如今许多组织正在采用诸如 Cloud Object Storage闪存存储以及数据湖数据仓库数据湖仓等存储解决方案。

作者

Alexandra Jonker

Staff Editor

IBM Think

相机、音量旋钮和剪贴板等图标排成螺旋状的 3D 渲染图
相关解决方案
IBM StreamSets

通过直观的图形界面创建和管理智能流数据管道,促进跨混合和多云环境的无缝数据集成。

深入了解流媒体集
IBM watsonx.data™

watsonx.data 支持您通过开放、混合和已治理数据,利用您的所有数据(无论位于何处)扩展分析和 AI。

了解 watsonx.data
数据和分析咨询服务

借助 IBM Consulting 释放企业数据的价值,构建一个可带来业务优势的洞察驱动型组织。

了解分析服务
采取下一步行动

设计数据战略,消除数据孤岛、降低复杂性并提高数据质量,以获得卓越的客户和员工体验。

  1. 深入了解数据管理解决方案
  2. 了解 watsonx.data
脚注

1 《技术领导者必须揭示的六大盲区》,IBM 商业价值研究院,2024 年 8 月 18 日。

2 《AI 的未来是开放的》,IBM,2024 年 5 月 23 日。

3 《未开发的价值:每位高管需要了解的非结构化数据》,IDC,2023 年 8 月。