通过元数据导入创建的资产类型( IBM Knowledge Catalog )
执行元数据导入时,您会在项目和目录中创建不同的资产类型。
数据资产
您可以将连接中的数据资产添加到项目或目录中。 您导入到项目中的数据资产在发布之前,在任何目录中都不可见。 将其共享到某个目录后,其他目录用户就可以处理这些资产。 若要对导入的资源执行元数据增强,请将它们导入到项目中。
对于从数据库导入的表或视图等数据资产,技术元数据包含以下信息:
- 表名
- 表格视图说明
- 列信息,例如名称、类型、长度及描述
- 数据源信息(连接信息),例如服务器主机名或 IP 地址,以及该表所属的父数据库和模式
此列表并非详尽无遗。 此外,当您从非结构化数据源(例如 Box 文件夹)导入元数据时,导入的元数据集也会有所不同。 例如,其中包括文件名、文件类型、大小、访问权限、所有者、创建日期、最后访问日期、父文件夹以及其他信息。
如需了解更多信息,请参阅 “数据资产及其属性 ”。
COBOL 副本
COBOL 程序说明书描述了 COBOL 程序的数据结构。 您可以将 COBOL 的Copybook地图、虚拟表和视图导入到项目和目录中。 要从大型机添加此类资产,必须使用 Data Virtualization Manager for z/OS 连接。导入的资产无法进行特征分析、无法通过元数据增强进行丰富,也无法在 Data Refinery 中使用。
商业智能资产
您可以将商业智能资产添加到目录中,以便查看商业智能报告的组成部分及其相互关系。 在这种情况下,必须启用高级元数据导入功能。 导入此类资源无需 MANTA Automated Data Lineage for IBM Cloud Pak for Data 许可证密钥。 不过,若要可视化那些用于转换和填充报告源数据的数据流,请使用 “获取 BI 报告血统元数据”导入选项。 要使用此选项,需要一个 MANTA Automated Data Lineage for IBM Cloud Pak for Data 许可证密钥。
在商业智能(BI)报告中,BI 工具用于收集、分析和呈现数据。 商业智能资产用于编制报告,从而从业务角度呈现这些数据。
您可以将报表及其包含的报表查询和报表查询项添加到所选目录中,在那里您可以查看各个组件及其之间的关联关系。
- 报告:指报告的定义,例如基于报表数据库中信息的月度销售报告。
- 报告查询:是报告的子资产。 查询会从报表数据库中的视图或表中提取数据,以生成报表。
- 报表查询项:是报表查询的子资产,并在报表中定义,用于数据的中间处理。
商业智能资产无法导入项目、下载、进行特征分析、通过元数据增强进行丰富,也无法在 Data Refinery 或 Data Virtualization 中使用。
转换脚本
转换脚本用于描述数据转换操作,这些操作会改变数据的格式、结构或数值,通常是ETL(提取、转换和加载)流程的一部分。 转换脚本用于数据操作,例如数据处理、转换和清洗。
若要将此类资源导入目录,必须安装高级元数据导入功能。 无需 MANTA Automated Data Lineage for IBM Cloud Pak for Data 许可证密钥。
您可以导入以下类型的转换脚本 Function: ScriptProcedure、、和 Trigger。 支持以下数据源:
- Amazon Redshift
- Apache Hive
- Google BigQuery
- Greenplum
- IBM Cognos Analytics
- IBM Db2
- IBM Db2 on Cloud
- IBM Netezza Performance Server
- Microsoft Power BI 桌面
- Microsoft Power BI (Azure)
- Microsoft SQL Server
- Oracle
- PostgreSQL
- Snowflake
- Tableau
- Teradata
- Microsoft Azure Databricks 链接
如果有一系列多个转换脚本,则仅导入最后一个。
在目录中 ,“转换表达式 ”属性以及转换脚本的预览会显示转换逻辑。 您还可以通过资产侧边栏中 “血统 ”选项卡的资产详情查看此信息。
转换脚本无法导入项目,也无法下载、进行性能分析或通过元数据增强进行增强。
数据模型资产
数据模型通过可视化方式展示数据元素(称为实体 )及其关系,并描述与每个实体相关的属性。 您可以将数据模型资产添加到目录中,从而为与您的数据管理环境相关的所有业务知识建立一个统一的集合点。
若要将此类资源导入目录,必须安装高级元数据导入功能。 无需 MANTA Automated Data Lineage for IBM Cloud Pak for Data 许可证密钥。
导入的数据模型是原始模型的只读副本,这些副本是在数据库建模工具中创建和维护的。 您可以导入使用以下数据建模工具创建的数据模型:
- ER/Studio
- erwin Data Modeler
- SAP PowerDesigner
请参阅 “准备用于导入元数据的数据模型文件 ”。
逻辑数据模型通过可视化方式展示数据元素(称为实体 )及其关系,并描述与每个实体相关的属性。 对于逻辑数据模型,创建了以下资产类型:
- 逻辑模型:对与业务领域相关的数据对象的逻辑表示。 该模型由一组逻辑实体及其属性与关系组成,这些实体、属性与关系可以组织成不同的组。 逻辑模型可以通过物理数据模型或数据库模式来实现。
- 逻辑模型属性:逻辑模型属性定义了数据单元的含义和用途。
- 逻辑模型实体:逻辑模型实体是代表逻辑数据模型中数据结构的资产
- 逻辑模型关系:逻辑模型关系表示两个逻辑模型实体之间的关系,当逻辑模型转换为物理模型时,该关系可转化为外键约束。
物理数据模型定义了特定领域或应用程序内数据的物理结构及其相互关系。 对于物理数据模型,将创建以下资产类型:
- 物理模型:物理模型定义了特定主题领域或应用程序内数据的物理结构及其相互关系。
- 物理模型模式:一种针对数据资产的设计模式,用于定义特定主题领域或应用程序内数据的物理结构及其相互关系。 每个物理模型可以包含一个或多个物理模型模式。
- 物理模型表:一种表示物理模型中表结构的资源。
- 物理模型视图:一种基于 SQL 语句结果集来表示虚拟表的资源。
- 物理模型列:一种定义物理模型中表内某列相关属性或特征的资源。
- 物理模型约束:一种定义 SQL 约束的资源,用于指定表中数据的规则,例如主键、外键、唯一性或检查约束。
根据导入的数据模型的大小,目录中可能会生成大量资产。 要将模型的根节点作为起点,请按 “逻辑模型 ”或 “物理模型 ”资产类型筛选目录中的资产。
数据模型资产无法导入项目、下载、进行性能分析、通过元数据增强进行丰富,也无法在 Data Refinery 或 Data Virtualization 中使用。
数据集成资产
通过 “导入 ETL 作业元数据”选项,您可以将数据集成资产添加到目录中,以便查看 ETL 作业的组件及其相互关系。 在这种情况下,必须启用高级元数据导入功能。 导入此类资源无需 MANTA Automated Data Lineage for IBM Cloud Pak for Data 许可证密钥。
若要可视化此类 ETL 作业中的数据流和转换,请使用 “获取 ETL 作业血统元数据”导入选项。 要使用此选项,需要一个 MANTA Automated Data Lineage for IBM Cloud Pak for Data 许可证密钥。
您可以为在以下数据集成工具中创建和维护的 ETL 作业添加资产:
- Cloud Pak for Data 上的 DataStage
- Informatica PowerCenter
- InfoSphere DataStage
- Microsoft SQL Server 集成服务
- OpenLineage
- Oracle Data Integrator
- Talend
对于每个ETL作业或 DataStage 流程,都会创建以下资产类型:
- 数据集成作业:代表 ETL 作业。
- 数据集成组件:是数据集成作业的子资产,代表ETL作业中的单个组件,例如 DataStage 流程中的一个阶段。
- 数据集成列:是数据集成组件的子资产。 数据集成列描述了数据集成组件的输入和输出列。
数据集成资产无法导入项目、下载、进行分析、通过元数据增强进行丰富,也无法在 Data Refinery 或 Data Virtualization 中使用。