构建现代数据架构
数据架构各层的抽象插图
为什么适用的数据架构是企业的当务之急

作为数据领导者,您知道我们触手可及的数据涌入会创造大量机会,也会带来大量挑战。我们有更多的数据可以用于训练 AI 模型和处理重要用例,但我们也必须应对整个数据资产日益增加的复杂性。

适用的现代数据架构可以提供所需的可扩展性,让您能够处理即将到来的数据增长,以便实施 AI 技术并优化数据资产。这是扩展企业级 AI 的关键,并且有可能成为您最大的差异化竞争优势。

阅读《AI 亟需新的数据管理方式》电子书
数据架构的必要性

什么是数据架构?

它描述了如何使用组织设置的模型、策略、规则和标准来进行数据管理,涵盖了从数据收集到数据消费的整个过程。借助数据架构,数据分析人员无论数据位于何处都能真正了解数据,同时还能随着业务的增长,考虑到新的部署和应用程序要求。

数据架构对于满足现代组织的特殊需求、应用高级分析以及大规模使用数据和 AI 至关重要。

40–90%

由企业控制的数据得不到利用1

为什么这是企业的当务之急?

正如 IBV 在报告中所述,“如果没有可信、可靠的数据,即使是最好的 AI 也会提供存在错误、偏见或危险的结果。但是,井井有条地管理企业内部数据并非易事,许多企业在这件事上还差得很远。”2

换句话说,数据的质量、安全性和可访问性现在比以往任何时候都更加重要。

有效的数据架构具有灵活性和高级别框架,能够对组织在速度、规模和方向上不断变化的需求提供支持,并对多种用例(包括利用生成式 AI 实现流程自动化以及进行数据优化)提供支持。

数据架构的四个成功标准:
简易性

少即是多。在设计架构时要考虑到清晰性和可访问性。

可扩展性

业务存在增长空间。构建的架构需要适应需求的增长。

灵活性

变化无可避免。要选择能够适应扩展和新技术的架构。

协调一致

发挥协同优势。您的数据架构必须与您努力实现的业务成果保持一致。

现代数据架构的要素

制定详细的数据策略,定义管理数据所需的技术、流程和人员,是创建适用架构的第一步——适用架构能够为每个用例提供具有一致性的高质量数据。

构建现代数据架构时,请考虑以下要素。

湖仓一体

湖仓一体架构支持从单个入口点访问整个混合云中的数据,让您能够统一、整理和准备 AI 模型所需的数据。它兼具数据湖的灵活性和数据仓库的性能与结构。大多数湖仓一体解决方案都具有智能元数据层,方便您对非结构化数据进行分类。

湖仓一体还可以帮助组织根据对其数据和实际业务需求的真正理解,构建具有高性价比的工作流程。这样可以优化工作流程,从而降低成本并提升性能,还有助于发现数据中的隐藏联系。

要使通过湖仓一体优化和治理的数据访问实现民主化,您应该考虑实施 Data Fabric 架构。

观看视频 (13:33)

Data Fabric

Data Fabric 架构是数据架构和管理工具发展的下一步。它旨在增强不同数据管道和云环境之间的流动性,让最终用户能够安全地访问数据,并促进自助数据消费。

Data Fabric 架构利用能够从数据管道中学习的智能自动化系统,简化了端到端集成。通过整合各种数据源,您的数据科学家可以在一个仪表板上创建客户的整体视图。然后,该架构会提出建议,帮助您更充分地发挥数据的价值并提高工作效率,从而让所有数据产品更快地实现价值。

数据库



数据库是用于存储、管理和保护数据集的数字存储库,也是数据架构的基本要素。

应用程序需要能够在混合云环境中存储、管理和治理大量结构化和非结构化数据,以支持高级分析和 AI 用例。

为了成功实施 AI,组织必须以合适的价格为合适的工作负载找到合适的数据库。每个数据库都需要确保可靠、安全、响应迅速,并根据您的特定工作负载和要求专门构建。

客户可能会有多达九种不同的数据库类型,每种类型均包含大量实例。Data Fabric 架构让这些数据孤岛变得有序。 Edward Calvesbert watsonx 平台软件产品管理副总裁 IBM
通过现代化进行优化

在规划如何访问和管理您的数据时,您需要特别考虑您的基础设施,因为这是进行数据访问和管理的位置。

可能有必要对您的基础设施进行现代化升级,以扩展 AI 并帮助您的数据工程师应对现代化工作负载和需求。许多组织正在转向有针对性的混合云方法,专注于让技术与业务目标保持一致、增强可扩展性并提高整体业务绩效。

混合云平台可在各个环境、工作流程和团队中缔造一致的体验。

如果说数据是我们的指路明灯,那么用于访问和管理这些数据的基础设施至关重要,而跨环境的信任度和透明度在其中发挥着尤其关键的作用。 Ric Lewis 基础设施高级副总裁 IBM
后续步骤

精心设计的架构能够为组织的数据使用方式奠定坚实的基础。有针对性的架构决策可以帮助您充分利用混合云和 AI 功能来推动业务成果的实现。

阅读其他章节 订阅时事通讯 数据管理解决方案

深入了解数据管理解决方案如何帮助您释放数据的价值。

了解更多
混合设计

借助利用数据的混合云,最大限度提高投资回报率。

探索混合云解决方案
需要数据方面的帮助?

了解我们如何帮助您设计数据策略、架构等。

 

深入了解 IBM Consulting
脚注

1 《你的数据资产负债表有多强大?》(How Strong Is Your Data Balance Sheet?),Scott A. Snyder,Knowledge at Warton,2022 年 11 月。
2 《AI 时代的 CEO 决策》,全球高级管理层系列,IBM 商业价值研究院,2023 年 6 月。