妥善准备和管理的数据是 AI 成功的基础——正如谚语所说:“垃圾进,垃圾出。”准确、完整且一致的数据能够推动企业 AI 带来更优的性能和生产力提升。同时,针对良好治理和受保护数据的数据策略有助于确保法规合规并保护用户隐私。
随着基于人工智能的决策日益成为竞争优势,许多组织意识到传统的数据管理实践可能不足以提供 AI 就绪的数据。根据 IBM 商业价值研究院 2024 年的一项调查,只有 29% 的技术领导者强烈认同其企业数据能够满足高效扩展生成式 AI (gen AI) 所需的质量、可访问性和安全标准。1
为了实现并维持数据为 AI 应用做好准备的状态,组织可以聚焦于几项关键的数据实践:统一访问、治理、安全和支持。通过落实这些基础要素,组织可以确保其数据真正实现 AI 就绪——并借此将 AI 从昂贵的实验转变为企业价值的强大引擎。
通过 Think 时事通讯,了解有关 AI、自动化、数据等方面最重要且最有趣的行业趋势。请参阅 IBM 隐私声明。
如果没有可信、高质量且管理良好的数据,AI 工具的结果往好里说可能令人失望,往坏里说则可能不准确、带有偏见或存在隐私风险。
AI 就绪数据通过以下能力,帮助确保 AI 技术交付真正的业务价值和可操作的洞察:
干净、一致且标注良好的数据有助于模型避免错误和偏见,从而提高整体准确性和性能。
已建立的 AI 就绪数据流程通过减少访问、理解和准备 AI 数据所花费的时间,简化了 AI 解决方案的开发。
正确准备和管理的 AI 就绪数据是一种可互操作、可重复使用的资产,团队可以在新的或并行的 AI 项目中反复利用。
那些难以从 AI 项目中实现投资回报率的组织,在真正实现 AI 就绪方面常常面临与数据相关的重大障碍,包括:
随着数据碎片化和复杂性的出现,敏感和受保护的数据常常分散在各个业务部门、数据平台和存储库中。这种数据蔓延引发了有关合规性、访问控制和信任方面的担忧。
在没有适当安全和治理保障的情况下扩展企业 AI,会增加风险和监管复杂性。意识到这一障碍却难以解决的组织,可能会看到其 AI 项目陷入停滞。对于那些没有意识到这一障碍的组织来说,随着他们推进和扩展 AI,风险会不断累积。
现代 AI(尤其是生成式 AI)依赖大量数据来交付真正的价值。幸运的是,数据生成并不仅限于大型企业。各种规模的组织每年都通过其网站、社交媒体、内部系统和客户互动产生大量数据。
然而,大多数组织并未充分利用其数据。据估计,传统大语言模型 (LLM) 中仅利用了 1% 的企业数据。2
为什么要让如此宝贵的 AI 燃料白白浪费?因为大多数企业数据是非结构化的。这些数据缺乏预定义的格式,来自不同的数据源,如 PDF、社交媒体帖子、图片、即时消息和电子邮件。其中只有不到 1% 的非结构化数据 具有适合 AI 直接使用的格式。3换句话说,绝大多数企业数据尚未达到 AI 就绪状态。
虽然结构化数据仍然极具价值,但未能挖掘非结构化数据的潜力——这些数据多样、灵活且富含洞察——是一个战略失误,也是扩展企业 AI 的重大障碍。
这一挑战反映在严峻的AI成果上:根据 IBM 商业价值研究院 (IBV) 2025 年 CEO 研究,只有 16% 的 AI 计划达到了企业规模。
当前对企业来说是关键时刻。AI 计划的成败取决于组织如何有效地为 AI 管理和准备高质量数据——包括结构化和非结构化数据。
具备以下特征的数据能够支持可信、可靠且有价值的 AI 用例:
AI 无法处理它访问不到的数据。实现 AI 就绪的关键第一步是建立对企业数据的统一访问。这意味着要打破数据孤岛,为分散在数据库、数据湖、应用程序和文档库中的信息创建一个单一的、可管理的视图。
访问范围越广,AI 能够交付的数据驱动洞察和价值就越大。AI 不仅可以提供内部答案,还能开始改善客户体验或运营效率。
统一的数据访问还能将孤立的数据转化为可复用的资产,使处理这些数据更加容易且成本更低。它支持多种工作负载并实现规模经济,将数据转化为战略资源。
数据集成和数据编织架构等技术使统一访问成为可能:
数据集成:将来自混合云和多云环境的数据转换并协调为统一的、一致的格式,供 AI 用例使用。实时数据集成尤其支持 AI 和自动化用例。
数据编织:在不物理移动数据的前提下,创建所有企业数据的虚拟统一视图。它结合了数据目录、联邦元数据、数据集成、虚拟化和机器学习等能力,帮助用户快速发现、访问和使用 AI 就绪数据。
有效的数据治理通过明确的策略、流程和标准,帮助确保数据的完整性、安全性、质量和可访问性。坚实的治理基础将企业数据转化为高质量、可信赖的 AI 就绪资产——这对于负责任的 AI 开发至关重要。
数据隐私法和 AI 相关法规正在迅速演变,通常要求详细的模型文档。这包括数据来源、谱系和适用性等信息——违规行为将面临高额处罚。例如,根据《欧盟 AI 法案》,根据违规情况,罚款最高可达 3500 万欧元或公司全球年营业额的 7%。
偏见和准确性也日益令人担忧,近半数接受调查的 CEO 都在担心这些风险。在医疗保健和金融等高风险行业,AI 可能影响关键决策,强大的数据治理对于维护公平和信任至关重要。
强大的治理框架通过以下措施降低这些风险并支持高质量数据:
虽然数据安全通常被视为更广泛治理的一部分,但在 AI 就绪数据方面,它值得特别关注。生成式 AI 带来了一系列新的数据安全挑战,例如数据泄露和提示注入攻击,这些都需要主动应对。
一次数据泄露就可能严重损害组织的盈利能力。根据 IBM《2025 年数据泄露成本报告》,全球数据泄露的平均成本已达到 440 万美元。
为了在 AI 生命周期(从收集、准备到训练和处置)中确保数据安全,组织应考虑数据安全的三个关键原则:发现、保护和监控。
持续的、AI 驱动的监控提供了企业数据活动的全面视图。通过分析活动,监控平台可以及早帮助检测并标记异常行为或模式,并有助于防止数据滥用。
AI 就绪数据脱离实际环境并无价值。只有在适当的人力技能和数据基础设施的支持下,它才能产生真正的影响。
为了成功采用和扩展 AI 系统,各职能部门的团队将需要不同级别的培训和技能重塑。员工应培养对 AI 概念、工作流程、决策和负责任使用的基础理解。
虽然并非每个人都需要成为数据科学家,但数据素养和数据民主化的文化可以使人们能够自信地使用 AI 应用程序并做出基于数据的决策。此外,AI 伦理和偏见识别培训可以增强对值得信赖的 AI 的治理。
组织还应考虑其数据存储基础设施是否已准备好满足 AI 工作负载的性能和容量需求。LLM 尤其需要在多个环境中拥有大量的存储资源。为了满足这些需求,如今许多组织正在采用诸如 Cloud Object Storage、闪存存储以及数据湖、数据仓库和数据湖仓等存储解决方案。
通过直观的图形界面创建和管理智能流数据管道,促进跨混合和多云环境的无缝数据集成。
watsonx.data 支持您通过开放、混合和已治理数据,利用您的所有数据(无论位于何处)扩展分析和 AI。
借助 IBM Consulting 释放企业数据的价值,构建一个可带来业务优势的洞察驱动型组织。
1 《技术领导者必须揭示的六大盲区》,IBM 商业价值研究院,2024 年 8 月 18 日。
2 《AI 的未来是开放的》,IBM,2024 年 5 月 23 日。
3 《未开发的价值:每位高管需要了解的非结构化数据》,IDC,2023 年 8 月。