建筑工地航拍图

智能体式数据管理:企业数据生态系统的下一轮演进

AI 智能体 无处不在。这些 系统 以有限的人为干预自主执行任务,其运作方式往往不易被我们察觉。

以自动驾驶汽车为例:它们感知周围环境,评估情境,并实时做出瞬间决策。它们能够导航,不是因为有人为每一种可能场景编写了代码,而是因为它们持续解读信号并随着环境变化而适应。

现在,设想将同样水平的智能引入企业数据计划。数以千计的数据集。数百万条记录。数十亿个基于数据的决策正在做出。

智能体式数据管理 (ADM) 使这种级别的协调成为可能。通过由人工智能驱动的智能体的决策能力,企业正在开始重塑他们处理、治理和使用数据的方式。

什么是智能体式数据管理?

智能体式数据管理利用 AI 智能体来协调和优化完整的企业数据计划。1其中包括:

ADM 不依赖僵化的预定义工作流,而是使用专门的智能体为数据生命周期的每个阶段注入智能。系统可以解读意图,确定涉及哪些数据和策略,并根据条件变化自动调整操作。

其中许多功能由大语言模型 (LLM) 实现,这些模型在智能体内部提供了推理层。LLM 使用自然语言处理来解读意图,并将其转化为协调一致的数据策略——类似于 ChatGPTGoogle Gemini 等工具解读提示的方式。它们利用元数据数据血缘机器学习和业务规则来确定哪些数据是相关的,应如何验证和治理,以及应如何为下游分析做好准备。

由此,智能体式系统会概述完成数据任务所需的步骤。这可能涉及访问数据源、执行策略、优化工作负载、管理存储行为,并最终生成可信的输出。

智能体式数据管理与传统数据管理的区别在于,它是自适应的,能够根据上下文不断演进。它会持续从信号中学习,并根据条件变化进行调整,而不是将工作流程视为一成不变的产物。

例如,一位供应链经理可能给出指令:“监控传入的数据源,并在出现重复记录时解决它们”。随着新订单的到来,这个由人工智能驱动的系统会解读这一意图,并实时调整其计划,在条件变化时合并记录、标记不一致之处并将任务委派给智能体。

虽然这仍然是一种新兴的方法,但一些组织已经开始使用 ADM,通过以下方式提高数据可靠性运营效率

  • 自动化数据质量验证在数据跨组织移动时,捕获数据漂移、不一致性和意外变化。
  • 自助式数据整合:将自然语言表达的整合请求转化为受管且立即可用的数据管道。
  • 动态数据合规:确保数据在移动过程中保持合规,利用持续的可观测性防护措施来强制执行质量、血缘和监管要求。
  • 上下文感知的数据丰富:随着业务逻辑的发展,更新数据分类和属性。
  • 协调优化:根据成本、性能或系统状况调整执行路径。

为什么智能体式数据管理现在至关重要

企业如今在比以往更多的系统中生成着比以往更多的数据。但随着数据量的增长以及架构日益混合和分布式,许多组织仍然难以将这些复杂的数据转化为可靠的实时洞察。事实上,76% 的企业承认,他们曾因数据难以获取而未参考数据就做出了决策。

传统的数据管理方法严重依赖人工干预,这使得它们在数据模式变化、指标更新或业务逻辑转变时反应缓慢。智能体式数据管理之所以日益受到关注,是因为它解决了一些传统方法无法跟上的系统性压力:

日益增长的复杂性与碎片化架构

混合云多云和分布式数据仓库产生了难以维护的依赖链。当数据集和应用程序编程接口 (API) 每天都在演变时,人工流程难以扩展。

低质量数据的高昂成本

数据质量差会带来代价:错误的 KPI、偏离的预测以及影响下游系统的过时客户数据。风险会叠加,尤其在金融服务和医疗保健等高度监管的行业。

对实时决策的需求

当今的企业依赖于实时分析和 AI 系统运行,这需要准确、实时的数据来满足期望。当数据管道停滞或悄然失效时,延迟会增加,决策速度会减慢,运营效率也会受损。

数据团队的能力限制

随着数据需求激增,仍依赖于手动整合和交付的集中式数据团队正努力跟上步伐,这日益拖慢了整个组织的决策速度。

被动式监控的负担

数据监控主要是手动的时,问题往往只在影响下游流程后才会浮出水面,迫使数据团队将过多时间花在被动调试上,而非更高价值的工作。

现代数据程序还面临着手动方法无法纠正的结构性数据挑战。超过 50% 的组织依赖三种或更多的数据整合工具,导致工作流程碎片化,团队间逻辑不一致。这种碎片化会引发更广泛的问题:质量检查为时已晚,治理规则在系统间发生偏离,数据血缘断裂未被检测到,语义定义失去同步。实际上,77% 的组织缺乏管理这种复杂性的专业人才

这些压力直接影响着数据团队。工程师花费 10% 到 30% 的时间来发现数据问题,再花费 10% 到 30% 的时间来解决这些问题——相当于每位工程师每年超过 770 小时,或者说超过 4 万美元的劳动力浪费。与此同时,由于整合任务各自为政或停滞不前,分析师和业务用户平均需要等待一到四周才能获得他们所需的数据。

智能体式数据管理代表了企业大规模确保数据准确性、质量和完整性的一种转变。组织无需为每次转换编写脚本或维护僵化的规则,而是可以引入 AI 智能体来扩展管道创建、简化数据操作、减少瓶颈,并以更少的人工干预维持高质量数据。凭借更高效的运营和贯穿整个生命周期的可信数据,数据团队可以专注于战略,而不是返工。

AI Academy

数据管理是生成式 AI 的秘诀吗?

深入了解为什么高质量数据对于成功使用生成式 AI 至关重要。

智能体式数据管理的核心组件

智能体式数据管理整合了四个核心组件——每个组件都由 AI 模型、智能体和语义技术构成的协调层驱动:

  • 解释意图
  • 执行计划
  • 应用语义上下文
  • 执行治理

解释意图

当用户提供提示或请求时,智能体会利用其推理能力来解释意图。它会制定一个计划,概述所需的数据资产、治理规则、语义考量、验证步骤和操作步骤。然后,其他智能体会从其各自领域评估该计划——在任何操作开始前,确认必要的模型、业务规则、数据血缘、依赖关系和目录元数据。

这种协调显著减少了团队在数据生命周期中手动拼接流程的需求,缩短了获取分析数据的准备时间,并使数据操作与业务意图保持一致。智能体还可以揭示歧义并验证假设,将数据战略和治理策略直接整合到提议的计划中。

执行计划

接下来,AI 智能体执行计划所定义的工作。它们跨系统访问和解读数据,应用治理和质量检查,管理存储行为,执行数据处理步骤,并为下游消费准备输出结果。智能体还可以针对成本或延迟进行优化,在系统发生故障时调整操作,并映射整个数据生态系统中的依赖关系

在如此多环节同时运行的情况下,AI 智能体有助于确保随着数据模式演变或工作负载变化,数据操作保持可靠。它们减少了数据生命周期中重复、耗时的任务,并提高了企业数据计划的扩展性。

应用语义上下文

传统的元数据系统通过捕获字段、格式和模式定义来描述数据结构。相比之下,矢量数据库可以作为一个语义层运作,通过表示数据元素之间的关联方式及其使用上下文来捕获数据的含义。前者勾勒出数据的轮廓,后者则揭示其内在纹理。

矢量数据库存储嵌入,这些嵌入将指标、数据集和业务术语表示为数学矢量。这使得智能体式系统能够衡量相似性、揭示语义关系并检测含义的变化——即使数据模式保持不变。

语义层能够实现:

执行治理

有效的治理是智能体式数据管理的基础。这些系统不再依赖人工审核,而是在数据流经其生命周期时,持续应用策略、质量和安全控制。在执行过程中会强制实施验证规则和完整性保障措施,以确保在整个企业数据生态系统中的输出保持准确和可信

一些组织甚至正在部署轻量级的“守护”智能体——即实时监控管道行为和健康状况的小型监督智能体——保持可观测性,并在问题影响下游工作流程之前将其暴露出来。这种额外的监督有助于确保自动化管道快速、可靠,并与企业数据管理标准保持一致。

智能体式数据管理的实际应用

这些组件在一个闭环工作流程中结合在一起,该流程融合了人类意图、基于 LLM 的规划、由 AI 协调的执行以及持续的验证。典型的交互过程可能如下:

  1. 用户表达意图:用户提供一个自然语言指令,例如“整合 CRM 和供应链数据并检测异常”。
  2. 制定计划:由 LLM 驱动的规划智能体分析该指令,识别相关数据集,并制定一个符合治理策略和数据战略的执行策略。
  3. 执行计划:专用智能体连接到系统,从数据仓库和 API 中提取数据,协调模式,应用转换,验证输出并丰富属性——所有这些都实时进行。
  4. 系统在运行时强制执行防护措施数据治理策略和语义检查在每个步骤自动实施。监督逻辑(评估和执行防护措施的智能体层)实时监控活动,并阻止违反标准的操作。
  5. 工作流程适应变化:如果模式发生变化、依赖关系中断或业务定义演变,系统会重新规划步骤并调整协调模式。

智能体式数据管理与主数据管理

尽管常被视为相互竞争的方法,但智能体式数据管理实际上通过使主数据管理 (MDM) 更具动态性而对其进行了增强。

MDM 定义企业实体,建立治理规则,并维护记录系统之间的一致性。它有助于创建“黄金记录”——一个整合了来自各种数据源的单一可信信息源——以便组织中的每个人都使用相同的信息。

ADM 则通过在数据移动时进行验证、在整个数据计划中应用这些规则以及在条件变化时进行调整,将这些基础付诸实践。

这两种方法在几个重要方面有所不同:

变更管理

MDM 通过受控流程和定期的管理周期更新定义。ADM 在变化(例如模式更新和重新定义的指标)发生时即检测到,并重新校准以使下游系统保持一致。

责任范围

MDM 在受管理的领域内(如客户、供应商和产品)建立权威记录。ADM 将该责任扩展到整个数据生态系统,确保这些定义在运营系统、应用程序和分析环境中保持一致。

专注于运营

MDM 可管理静态数据,通过匹配、清洗和标准化来优化记录。ADM 可管理动态数据,在数据流经组织时应用防护措施、血缘检查和语义验证。

执行模型

MDM 依赖于规则和人工监督:数据管理员编写映射、审查异常并更新流程。ADM 使用意图驱动的协调:智能体解读业务目标,生成计划,并自主执行和验证工作流程。

适应性

MDM 能够适应流程的速度,仅在治理工作流程完成后反映变化。ADM 能够适应变化的速度,随着定义、数据集和业务条件的演变,动态调整逻辑和管道行为。

驾驭数据管理的未来

在无摩擦、实时的商业时代,数据管理正从僵化的、基于规则的工作流程转向自适应的、意图驱动的行为。IBM 在 AI、数据就绪度和运营模式方面的研究指出了塑造这一新数据管理格局的三个重大变化。

管道将表现为行为而非仅仅执行

智能体式 AI 使工作流程超越了静态脚本,进入自适应、上下文感知的行为模式。数据管道将响应元数据、业务规则、运营负载和治理约束的变化——改变其执行路径,而不是在条件变化时中断。

在这些智能体式架构中,多智能体系统取代了单一平台:专门的智能体负责处理数据摄取、质量、血缘或优化,而监督智能体则确保与意图和策略保持一致。

语义将与结构同等重要

AI 就绪数据不仅依赖于模式准确性,还依赖于语义一致性。当今的数据质量问题通常可追溯到模式漂移,但未来的问题将源于语义漂移:业务含义在结构不变的情况下发生演变。随着客户细分市场的变化或产品层级的演变,智能体式系统需要捕捉含义上的不一致性,而不仅仅是格式上的问题。

语义记忆、矢量理解和上下文感知验证正成为维护值得信赖的 AI 就绪数据的关键要素。

数据团队将从构建者转变为监督者

随着智能体式运营模式的成熟,数据工程师将从手动编写代码进行转换转变为监督自主系统。这意味着要设计防护措施、审查智能体决策并在出现新的边缘情况时予以解决。

这种转变使得可解释性成为模型的核心:推理轨迹、可审计日志和人机协同检查点成为建立信任和满足合规要求的必要条件。

作者

Tom Krantz

Staff Writer

IBM Think

Alexandra Jonker

Staff Editor

IBM Think

相机、音量旋钮和剪贴板等图标排成螺旋状的 3D 渲染图
相关解决方案
IBM StreamSets

通过直观的图形界面创建和管理智能流数据管道,促进跨混合和多云环境的无缝数据集成。

深入了解流媒体集
IBM watsonx.data™

watsonx.data 支持您通过开放、混合和已治理数据,利用您的所有数据(无论位于何处)扩展分析和 AI。

了解 watsonx.data
数据和分析咨询服务

借助 IBM Consulting 释放企业数据的价值,构建一个可带来业务优势的洞察驱动型组织。

了解分析服务
采取下一步行动

设计数据战略,消除数据孤岛、降低复杂性并提高数据质量,以获得卓越的客户和员工体验。

  1. 深入了解数据管理解决方案
  2. 了解 watsonx.data
脚注

1AI 能否自主构建、运营和使用整个数据栈?”IBM 研究,2025 年 12 月 8 日