数据织网和数据网格是新兴的数据管理概念,旨在应对混合多云生态系统中理解、治理和使用企业数据所带来的组织变革和复杂性。好消息是,这些数据架构概念是互补的。但是数据织网和数据网格究竟是什么?以及如何使用这些数据管理方案来利用企业数据进行更好的决策?
Gartner 将数据织网定义为“一种设计概念,作为数据及其连接流程的集成层”。数据织网利用对现有的、可发现的和推断的元数据进行持续分析,以支持在所有环境(包括混合云和多云平台)中设计、部署和使用集成且可复用的数据集。[1]
数据织网架构方法可以简化组织内的数据访问,并促进大规模的自助式数据使用。这种方法打破了数据孤岛,为塑造数据治理、数据集成、单一客户视图以及可信人工智能 (AI) 实现等常见行业应用提供了新的机会。
由于其独特的元数据驱动特性,数据织网的数据抽象层使建模、集成和查询任何数据源更加容易,同时便于构建数据管道并实现数据的实时整合。数据织网还通过更好的数据可观测性和数据质量简化从数据中获取洞察的过程,它利用机器学习在各数据平台上自动化手动任务。这提高了数据工程效率,并加快了数据使用者获得价值的速度。
据 Forrester 称,“数据网格是一种去中心化的社会技术方法,用于在复杂且大规模的环境中(无论是组织内部还是跨组织)共享、访问和管理分析数据。”[2]
数据网格架构是一种按业务领域或职能划分数据源,并明确数据所有者的方法。随着数据所有权的去中心化,数据所有者可以为其各自的领域创建数据产品,这意味着数据消费者(包括数据科学家和业务用户)可以将这些数据产品组合用于数据分析和数据科学。
数据网格方法的价值在于,与依赖数据工程师在下游清理和整合数据产品相比,它将数据产品的创建工作转移给了最了解业务领域的上游主题专家。
此外,数据网格通过启用发布-订阅模型和利用 API,加速了数据产品的重用,这使得数据消费者更容易获取他们所需的数据产品,包括可靠的更新。
数据织网和数据网格可以并存。事实上,数据织网可以通过三种方式实现数据网格:
数据织网通过自动执行创建数据产品和管理数据产品生命周期所需的多种任务,提供实施和充分利用数据网格所需的功能。可以利用数据织网基础的灵活性实施数据网格,继续利用以用例为中心的数据架构,无论您的数据是位于企业内部还是云端。
1 “Data Fabric Architecture is Key to Modernizing Data Management and Data Integration” Gartner. 11 May 2021(ibm.com 外部链接)
2 “Exposing The Data Mesh Blind Side” Forrester. 3 March 2022(ibm.com 外部链接)