增强数据管理:数据织网与数据网格

两名男子正在对汽车进行车身修复,同时一台机器人点焊机在作业

作者

Kip Yego

Program Director

Product Marketing

数据织网和数据网格是新兴的数据管理概念,旨在应对混合多云生态系统中理解、治理和使用企业数据所带来的组织变革和复杂性。好消息是,这些数据架构概念是互补的。但是数据织网和数据网格究竟是什么?以及如何使用这些数据管理方案来利用企业数据进行更好的决策?

什么是数据织网 (data fabric)?

Gartner 将数据织网定义为“一种设计概念,作为数据及其连接流程的集成层”。数据织网利用对现有的、可发现的和推断的元数据进行持续分析,以支持在所有环境(包括混合云和多云平台)中设计、部署和使用集成且可复用的数据集。[1]

数据织网架构方法可以简化组织内的数据访问,并促进大规模的自助式数据使用。这种方法打破了数据孤岛,为塑造数据治理、数据集成、单一客户视图以及可信人工智能 (AI) 实现等常见行业应用提供了新的机会。

由于其独特的元数据驱动特性,数据织网的数据抽象层使建模、集成和查询任何数据源更加容易,同时便于构建数据管道并实现数据的实时整合。数据织网还通过更好的数据可观测性和数据质量简化从数据中获取洞察的过程,它利用机器学习在各数据平台上自动化手动任务。这提高了数据工程效率,并加快了数据使用者获得价值的速度。

什么是数据网格?

据 Forrester 称,“数据网格是一种去中心化的社会技术方法,用于在复杂且大规模的环境中(无论是组织内部还是跨组织)共享、访问和管理分析数据。”[2]

数据网格架构是一种按业务领域或职能划分数据源,并明确数据所有者的方法。随着数据所有权的去中心化,数据所有者可以为其各自的领域创建数据产品,这意味着数据消费者(包括数据科学家和业务用户)可以将这些数据产品组合用于数据分析和数据科学。

数据网格方法的价值在于,与依赖数据工程师在下游清理和整合数据产品相比,它将数据产品的创建工作转移给了最了解业务领域的上游主题专家。

此外,数据网格通过启用发布-订阅模型和利用 API,加速了数据产品的重用,这使得数据消费者更容易获取他们所需的数据产品,包括可靠的更新。

数据织网与数据网格:数据织网与数据网格有何关系?

数据织网和数据网格可以并存。事实上,数据织网可以通过三种方式实现数据网格:

  1. 为数据所有者提供数据产品创建功能,如编目数据资产、将资产转化为产品并遵循联合治理政策
  2. 允许数据所有者和数据消费者以各种方式使用数据产品,例如将数据产品发布到目录、搜索和查找数据产品以及利用数据虚拟化或使用 API 来查询或可视化数据产品。
  3. 利用数据织网元数据中的洞察,通过识别模式来自动化任务,这可以作为数据产品创建过程的一部分,也可以作为监控数据产品过程的一部分

数据编织为您提供了灵活性,可以从具体用例入手,无论数据存储在何处,都能快速实现价值。

数据织网通过自动执行创建数据产品和管理数据产品生命周期所需的多种任务,提供实施和充分利用数据网格所需的功能。可以利用数据织网基础的灵活性实施数据网格,继续利用以用例为中心的数据架构,无论您的数据是位于企业内部还是云端。

 
相机、音量旋钮和剪贴板等图标排成螺旋状的 3D 渲染图
采取下一步行动

设计数据战略,消除数据孤岛、降低复杂性并提高数据质量,以获得卓越的客户和员工体验。

  1. 深入了解数据管理解决方案
  2. 了解 watsonx.data
脚注

“Data Fabric Architecture is Key to Modernizing Data Management and Data Integration” Gartner. 11 May 2021(ibm.com 外部链接)

“Exposing The Data Mesh Blind Side” Forrester. 3 March 2022(ibm.com 外部链接)