数据织物是一种架构模式,旨在扩大整个组织的数据使用,无论数据格式、数据源、数据位置和数据使用方式如何。数据织物覆盖了数据生命周期从访问到消费的各个方面,包括数据发现、数据治理、数据质量、数据分类、业务上下文关联、数据血缘、自助服务和数据操作化,旨在确保在正确的时间和地点提供正确的数据。点击查看额外指南。
数据织物参考架构是一个模板,企业可用其作为指导,帮助它们在各自环境中实施数据织物的各种组件。数据织物参考架构包含五个关键模块——即元数据导入、元数据丰富、元数据编目、数据整理和转换以及数据消费。这些模块是实现前述数据织物益处的关键。
该参考架构涵盖了每个模块的关键组件、涉及步骤和架构决策,有助于实现这五个模块的目标。它还涵盖了 IBM 技术体系中可用于实施这些组件和步骤的各种技术选项。对于数据消费模块,涵盖了通用消费模式,并假设每个消费用例的细节将由各自的用例参考架构涵盖。
同样值得关注的还有整体数据和 AI 参考架构。
IBM z Systems 数据织物参考架构是更广泛的 IBM 数据与分析数据织物模式的一个专门化应用,该模式旨在扩大整个组织的数据使用,无论数据格式、数据源、数据位置和数据使用方式如何。数据生命周期从数据访问到消费的各个方面,数据织物覆盖了数据发现、数据治理、数据质量、数据分类、业务上下文关联、数据血缘、自助服务和数据操作化,以便在正确的地点和时间提供正确的数据。查看额外指南:
针对 IBM z Systems 专门化更广泛的数据织物架构模式,深入探讨两个方面:
• 治理和访问 IBM z Systems 上的各种数据源(例如,VSAM、IMS、DB2 等)
• Linux on IBM Z 或 LinuxONE(MongoDB......)以及
• 在 IBM z Systems 和 Linux on IBM Z/LinuxONE 上实施企业级数据织物的组件。该解决方案包括在 zSystems / LinuxONE 和/或外部系统上运行的组件。
数据织物参考架构是一个模板,企业可用其作为指导,帮助它们在各自环境中实施数据织物的各种组件。数据织物参考架构包含五个关键模块——即元数据导入、元数据丰富、元数据编目、数据整理与转换以及数据消费。这些模块是实现前述数据织物益处的关键。
该参考架构涵盖了每个模块的关键组件、涉及步骤和架构决策,有助于实现这五个模块的目标。它还涵盖了 IBM 技术体系中可用于实施这些组件和步骤的各种技术选项。对于数据消费模块,涵盖了通用消费模式,并假设每个消费用例的细节将由各自的用例参考架构涵盖。
IBM Z 架构的应用现代化进一步详细说明了用于现代、更轻松地访问 IBM Z 和 LinuxONE 上的记录系统 (SOR) 数据以及各种以数据集成中心模式的架构模式。随着应用程序通过直接访问、复制、缓存或结合企业数据资产的数据虚拟化概念共享记录系统数据,这对于获取数据驱动的业务价值洞察至关重要。
同样值得关注的还有整体数据、分析和 AI 参考架构:
名称
问题或议题陈述
假设条件
动机
数据位置、引力与主权
需要建立适当的控制和数据访问方法,支持可用性和法规要求。
应尽量减少数据移动和复制,以提高简易性、加强治理、降低成本并减少法规担忧,同时为分析(包括深度分析、决策优化和 AI 工作负载)提供一个有效、有弹性且灵活的平台。
所选的实施方法将对成本、满足延迟要求的可行性、法规遵从性以及整体客户满意度产生直接影响。
需要建立适当的控制和数据访问方法,支持可用性和法规要求。
应尽量减少数据移动和复制,以提高简易性、加强治理、降低成本并减少法规担忧,同时为分析(包括深度分析、决策优化和 AI 工作负载)提供一个有效、有弹性且灵活的平台。
所选的实施方法将对成本、满足延迟要求的可行性、法规遵从性以及整体客户满意度产生直接影响。
根据数据所在位置,基于工作负载、延迟和法规考虑,适时确定是应移动数据还是应虚拟访问数据。
知识目录的组织与关系
组织可能需要根据各种类型的要求支持多个目录的存在,例如:在需要虚拟连接目录的混合多云生态系统中存在。此外,目录结构可能基于项目、业务线 (LOB) 和企业的考虑。组织内部可能还需要实验/沙盒、开发实例。
目录实例化的实施方式应支持组织需求,同时避免管理和遍历过于复杂。
目录的选择将影响组织在企业生态系统乃至潜在的业务合作伙伴生态系统中利用数据的能力。
数据资产及关系,包括元数据捕获和丰富
数据资产的创建和消耗速度日益加快。组织再也无法依赖手动和半自动化的流程来支持数据资产及其相关元数据的捕获和编目。
自动化是及时捕获和丰富为各种数据资产所创建的元数据的关键。
如果没有自动化,组织将无法维护一个最新且可用的数据资产目录,这反过来又会阻碍组织利用其数据资产来进一步成为数据驱动型组织的能力。
根据当前工作负载并考虑非功能性需求,确保采用适当的转换和整理方法
组织将需要各种类型的实施方式(例如,实时、近实时(流式)、批处理(微批量/小批量/大批量)),来处理需要转换和整理处理的小型、中型、大型及超大型工作负载。
无论采用何种实施路径,数据的转换和整理应保持一致,以确保相应的数据科学、分析和报告功能的准确性。
选择适当的数据转换和整理方法将确保组织能够在各种用例中实现其目标,包括可信 AI、Customer 360 和洞察开发。