Tabelas de relatório de regras de qualidade de dados

Verifique se as declarações Postgres, Db2 das tabelas estão relacionadas à qualidade dos dados.

Área de assunto Nome da tabela Descrição
Regras de qualidade de dados problemas_relacionados_a_colunas_de_ativos Os problemas de qualidade de dados para uma coluna
Regras de qualidade de dados problemas relacionados a ativos Os problemas observados quando os ativos passam pela análise de qualidade para determinar a qualidade geral dos dados.
Regras de qualidade de dados dq_verificações Informações sobre verificações de qualidade de dados.
Regras de qualidade de dados dq_v4_dimensions Informações sobre os critérios de qualidade da regra, por exemplo, se há duplicatas.
Regras de qualidade de dados definições_de_regras_dq A definição da regra de qualidade de dados
Regras de qualidade de dados dq_regras_definições Definições de Regra de Qualidade de dados
Regras de qualidade de dados regras_dq As informações da regra de qualidade dos dados
Regras de qualidade de dados dq_rules_sqls Consultas SQL associadas a regras de qualidade de dados.
Regras de qualidade de dados vinculações_de_regras_dq As ligações de regras para a regra de qualidade de dados
Regras de qualidade de dados execução da regra dq O tempo planejado para a tarefa de regra de qualidade de dados
Regras de qualidade de dados contagem_de_definições_de_execução_de_regras_dq Armazena o número de registros testados, aprovados e reprovados em nível de definição para cada execução da regra de qualidade de dados.
Regras de qualidade de dados avaliações de SLA Esta tabela contém informações sobre avaliações de SLA.
Regras de qualidade de dados violações do SLA Essa tabela contém informações sobre violações de SLA.
Regras de qualidade de dados ações_sla Esta tabela contém informações sobre as ações do SLA.
Regras de qualidade de dados condições_definição_regra_sla Esta tabela contém informações sobre as condições de definição do SLA.
Regras de qualidade de dados sla_rule_def_actions Esta tabela contém informações sobre as ações relacionadas às definições de SLA.

tabela dq_issues_for_asset_columns

Esta tabela possui as seguintes colunas:

  • issue_id -O identificador da emissão do ativo
  • asset_id -O identificador do ativo
  • container_id -O identificador do projeto.
  • column_name - O nome da coluna para a qual você aplica as regras de qualidade de dados e realiza a análise.
  • check_id -O identificador para a verificação de qualidade de dados
  • number_of_occurences - O número de ocorrências encontradas na verificação da qualidade dos dados.
  • number_of_tested_records -O número de registros testados localizados para a verificação de qualidade dos dados
  • percent_occurences - A porcentagem das ocorrências.
  • score -Pontuação localizada após executar uma verificação.
  • status -O status atual de um problema
  • ignored - Indicador para identificar se a questão atual está incluída na questão de qualidade dos dados.
Postgres

Instrução CREATE TABLE:

CREATE TABLE IF NOT EXISTS dq_issues_for_asset_columns (
  issue_id character varying(36) COLLATE pg_catalog.default NOT NULL,
  container_id character varying(36) COLLATE pg_catalog.default NOT NULL,
  column_name character varying(256) COLLATE pg_catalog.default NOT NULL,
  asset_id character varying(36) COLLATE pg_catalog.default NOT NULL,
  check_id character varying(36) COLLATE pg_catalog.default NOT NULL,
  number_of_occurrences bigint NOT NULL DEFAULT 0,
  number_of_tested_records bigint NOT NULL DEFAULT 0,
  percent_occurrences double precision,
  score double precision,
  status character varying(16) COLLATE pg_catalog.default NOT NULL,
  ignored boolean NOT NULL,
  tech_start timestamp(6) without time zone NOT NULL DEFAULT CURRENT_TIMESTAMP,
  tech_end timestamp(6) without time zone NOT NULL DEFAULT to_timestamp('9999-12-30' :: text, 'YYYY-MM-DD' :: text),
  ts_id timestamp(6) without time zone NOT NULL DEFAULT CURRENT_TIMESTAMP,
  CONSTRAINT dq_issues_for_asset_columns_pkey PRIMARY KEY (issue_id, asset_id, container_id, column_name),
  CONSTRAINT fk_dq_issues_for_asset_columns_container_data_asset_columns_6 FOREIGN KEY (container_id, asset_id, column_name) REFERENCES container_data_asset_columns (container_id, asset_id, name) MATCH SIMPLE ON UPDATE NO ACTION ON DELETE CASCADE,
  CONSTRAINT fk_dq_issues_for_asset_columns_dq_checks_5 FOREIGN KEY (container_id, check_id) REFERENCES dq_checks (container_id, check_id) MATCH SIMPLE ON UPDATE NO ACTION ON DELETE CASCADE
)
Db2

Instrução CREATE TABLE:

CREATE TABLE DQ_ISSUES_FOR_ASSET_COLUMNS (
  ISSUE_ID VARCHAR(36 OCTETS) NOT NULL,
  CONTAINER_ID VARCHAR(36 OCTETS) NOT NULL,
  COLUMN_NAME VARCHAR(256 OCTETS) NOT NULL,
  ASSET_ID VARCHAR(36 OCTETS) NOT NULL,
  CHECK_ID VARCHAR(36 OCTETS) NOT NULL,
  NUMBER_OF_OCCURRENCES BIGINT NOT NULL WITH DEFAULT 0,
  NUMBER_OF_TESTED_RECORDS BIGINT NOT NULL WITH DEFAULT 0,
  PERCENT_OCCURRENCES DOUBLE,
  SCORE DOUBLE,
  STATUS VARCHAR(16 OCTETS) NOT NULL,
  IGNORED BOOLEAN NOT NULL,
  TECH_START TIMESTAMP(12) NOT NULL IMPLICITLY HIDDEN GENERATED ALWAYS AS ROW BEGIN,
  TECH_END TIMESTAMP(12) NOT NULL IMPLICITLY HIDDEN GENERATED ALWAYS AS ROW END,
  TS_ID TIMESTAMP(12) NOT NULL GENERATED ALWAYS AS TRANSACTION START ID,
  PERIOD SYSTEM_TIME (TECH_START, TECH_END)
) IN USERSPACE1 ORGANIZE BY ROW;

Instruções ALTER TABLE:

ALTER TABLE
  DQ_ISSUES_FOR_ASSET_COLUMNS
ADD
  PRIMARY KEY (
    ISSUE_ID,
    ASSET_ID,
    CONTAINER_ID,
    COLUMN_NAME
  ) ENFORCED;

ALTER TABLE
  DQ_ISSUES_FOR_ASSET_COLUMNS
ADD
  CONSTRAINT FK_DQ_ISSUES_FOR_ASSET_COLUMNS_CONTAINER_DATA_ASSET_COLUMNS_6 FOREIGN KEY (CONTAINER_ID, ASSET_ID, COLUMN_NAME) REFERENCES CONTAINER_DATA_ASSET_COLUMNS (CONTAINER_ID, ASSET_ID, NAME) ON DELETE CASCADE ON UPDATE NO ACTION ENFORCED ENABLE QUERY OPTIMIZATION;

ALTER TABLE
  DQ_ISSUES_FOR_ASSET_COLUMNS
ADD
  CONSTRAINT FK_DQ_ISSUES_FOR_ASSET_COLUMNS_DQ_CHECKS_5 FOREIGN KEY (CHECK_ID, CONTAINER_ID) REFERENCES DQ_CHECKS (CHECK_ID, CONTAINER_ID) ON DELETE CASCADE ON UPDATE NO ACTION ENFORCED ENABLE QUERY OPTIMIZATION;

problemas relacionados a ativos

Esta tabela possui as seguintes colunas:

  • issue_id -O identificador da emissão do ativo
  • container_id -O identificador do projeto.
  • asset_id -O identificador do ativo
  • check_id -O identificador para a verificação de qualidade de dados
  • number_of_occurences - O número de ocorrências encontradas na verificação da qualidade dos dados.
  • number_of_tested_records -O número de registros testados localizados para a verificação de qualidade dos dados
  • percent_occurences - A porcentagem das ocorrências.
  • score -Pontuação localizada após executar uma verificação.
  • status -O status atual de um problema
  • ignored -Sinalizador para identificar se o problema atual está participando do problema de qualidade dos dados
Postgres

Instrução CREATE TABLE:

CREATE TABLE IF NOT EXISTS dq_issues_for_assets (
  issue_id character varying(36) COLLATE pg_catalog.default NOT NULL,
  container_id character varying(36) COLLATE pg_catalog.default NOT NULL,
  asset_id character varying(36) COLLATE pg_catalog.default NOT NULL,
  check_id character varying(36) COLLATE pg_catalog.default NOT NULL,
  number_of_occurrences bigint NOT NULL DEFAULT 0,
  number_of_tested_records bigint NOT NULL DEFAULT 0,
  percent_occurrences double precision,
  score double precision,
  status character varying(16) COLLATE pg_catalog.default NOT NULL,
  ignored boolean NOT NULL,
  tech_start timestamp(6) without time zone NOT NULL DEFAULT CURRENT_TIMESTAMP,
  tech_end timestamp(6) without time zone NOT NULL DEFAULT to_timestamp('9999-12-30' :: text, 'YYYY-MM-DD' :: text),
  ts_id timestamp(6) without time zone NOT NULL DEFAULT CURRENT_TIMESTAMP,
  CONSTRAINT dq_issues_for_assets_pkey PRIMARY KEY (issue_id, asset_id, container_id),
  CONSTRAINT fk_dq_issues_for_assets_container_data_assets_4 FOREIGN KEY (container_id, asset_id) REFERENCES container_data_assets (container_id, asset_id) MATCH SIMPLE ON UPDATE NO ACTION ON DELETE CASCADE,
  CONSTRAINT fk_dq_issues_for_assets_dq_checks_3 FOREIGN KEY (container_id, check_id) REFERENCES dq_checks (container_id, check_id) MATCH SIMPLE ON UPDATE NO ACTION ON DELETE CASCADE
)
Db2

Instrução CREATE TABLE:

CREATE TABLE DQ_ISSUES_FOR_ASSETS (
  ISSUE_ID VARCHAR(36 OCTETS) NOT NULL,
  CONTAINER_ID VARCHAR(36 OCTETS) NOT NULL,
  ASSET_ID VARCHAR(36 OCTETS) NOT NULL,
  CHECK_ID VARCHAR(36 OCTETS) NOT NULL,
  NUMBER_OF_OCCURRENCES BIGINT NOT NULL WITH DEFAULT 0,
  NUMBER_OF_TESTED_RECORDS BIGINT NOT NULL WITH DEFAULT 0,
  PERCENT_OCCURRENCES DOUBLE,
  SCORE DOUBLE,
  STATUS VARCHAR(16 OCTETS) NOT NULL,
  IGNORED BOOLEAN NOT NULL,
  TECH_START TIMESTAMP(12) NOT NULL IMPLICITLY HIDDEN GENERATED ALWAYS AS ROW BEGIN,
  TECH_END TIMESTAMP(12) NOT NULL IMPLICITLY HIDDEN GENERATED ALWAYS AS ROW END,
  TS_ID TIMESTAMP(12) NOT NULL GENERATED ALWAYS AS TRANSACTION START ID,
  PERIOD SYSTEM_TIME (TECH_START, TECH_END)
) IN USERSPACE1 ORGANIZE BY ROW;

Instruções ALTER TABLE:

ALTER TABLE
  DQ_ISSUES_FOR_ASSETS
ADD
  PRIMARY KEY (ISSUE_ID, ASSET_ID, CONTAINER_ID) ENFORCED;

ALTER TABLE
  DQ_ISSUES_FOR_ASSETS
ADD
  CONSTRAINT FK_DQ_ISSUES_FOR_ASSETS_CONTAINER_DATA_ASSETS_4 FOREIGN KEY (CONTAINER_ID, ASSET_ID) REFERENCES CONTAINER_DATA_ASSETS (CONTAINER_ID, ASSET_ID) ON DELETE CASCADE ON UPDATE NO ACTION ENFORCED ENABLE QUERY OPTIMIZATION;

ALTER TABLE
  DQ_ISSUES_FOR_ASSETS
ADD
  CONSTRAINT FK_DQ_ISSUES_FOR_ASSETS_DQ_CHECKS_3 FOREIGN KEY (CHECK_ID, CONTAINER_ID) REFERENCES DQ_CHECKS (CHECK_ID, CONTAINER_ID) ON DELETE CASCADE ON UPDATE NO ACTION ENFORCED ENABLE QUERY OPTIMIZATION;

tabela dq_checks

Esta tabela possui as seguintes colunas:

  • check_id -O identificador para a verificação de qualidade de dados
  • container_id -O identificador do projeto.
  • dq_check_type -O tipo de verificação de qualidade dos dados (poderia ser profilling ou data_rule)
  • dq_check_name -O nome da verificação da qualidade de dados
  • dq_dimension_id -O identificador da dimensão de qualidade de dados
  • created_by -O usuário que criou essa verificação de qualidade de dados
  • created_on -O horário de criação da verificação da qualidade dos dados
Postgres

Instrução CREATE TABLE:

CREATE TABLE IF NOT EXISTS dq_checks (
  check_id character varying(36) COLLATE pg_catalog.default NOT NULL,
  container_id character varying(36) COLLATE pg_catalog.default NOT NULL,
  dq_check_type character varying(256) COLLATE pg_catalog.default NOT NULL,
  dq_check_name character varying(256) COLLATE pg_catalog.default NOT NULL,
  dq_dimension_id character varying(36) COLLATE pg_catalog.default NOT NULL,
  created_by character varying(256) COLLATE pg_catalog.default NOT NULL,
  created_on timestamp(6) without time zone NOT NULL,
  tech_start timestamp(6) without time zone NOT NULL DEFAULT CURRENT_TIMESTAMP,
  tech_end timestamp(6) without time zone NOT NULL DEFAULT to_timestamp('9999-12-30' :: text, 'YYYY-MM-DD' :: text),
  ts_id timestamp(6) without time zone NOT NULL DEFAULT CURRENT_TIMESTAMP,
  CONSTRAINT dq_checks_pkey PRIMARY KEY (check_id, container_id),
  CONSTRAINT fk_dq_checks_containers_1 FOREIGN KEY (container_id) REFERENCES containers (container_id) MATCH SIMPLE ON UPDATE NO ACTION ON DELETE CASCADE,
  CONSTRAINT fk_dq_checks_dq_v4_dimensions_2 FOREIGN KEY (dq_dimension_id) REFERENCES dq_v4_dimensions (dimension_id) MATCH SIMPLE ON UPDATE NO ACTION ON DELETE CASCADE
)
Db2

Instrução CREATE TABLE:

 CREATE TABLE   DQ_CHECKS   (
 CHECK_ID  VARCHAR(36 OCTETS) NOT NULL ,
 CONTAINER_ID  VARCHAR(36 OCTETS) NOT NULL ,
 DQ_CHECK_TYPE  VARCHAR(256 OCTETS) NOT NULL ,
 DQ_CHECK_NAME  VARCHAR(256 OCTETS) NOT NULL ,
 DQ_DIMENSION_ID  VARCHAR(36 OCTETS) NOT NULL ,
 CREATED_BY  VARCHAR(256 OCTETS) NOT NULL ,
 CREATED_ON  TIMESTAMP(12) NOT NULL ,
 TECH_START  TIMESTAMP(12) NOT NULL IMPLICITLY HIDDEN GENERATED ALWAYS AS ROW BEGIN ,
 TECH_END  TIMESTAMP(12) NOT NULL IMPLICITLY HIDDEN GENERATED ALWAYS AS ROW END ,
 TS_ID  TIMESTAMP(12) NOT NULL GENERATED ALWAYS AS TRANSACTION START ID ,
 PERIOD SYSTEM_TIME ( TECH_START , TECH_END ) )
 IN  USERSPACE1
 ORGANIZE BY ROW;

Instruções ALTER TABLE:

 ALTER TABLE   DQ_CHECKS
 ADD PRIMARY KEY
 ( CHECK_ID ,
 CONTAINER_ID )
 ENFORCED;

ALTER TABLE   DQ_CHECKS
ADD CONSTRAINT  FK_DQ_CHECKS_CONTAINERS_1  FOREIGN KEY
( CONTAINER_ID )
REFERENCES   CONTAINERS
( CONTAINER_ID )
ON DELETE CASCADE
ON UPDATE NO ACTION
ENFORCED
ENABLE QUERY OPTIMIZATION;

ALTER TABLE   DQ_CHECKS
ADD CONSTRAINT  FK_DQ_CHECKS_DQ_V4_DIMENSIONS_2  FOREIGN KEY
( DQ_DIMENSION_ID )
REFERENCES   DQ_V4_DIMENSIONS
( DIMENSION_ID )
ON DELETE CASCADE
ON UPDATE NO ACTION
ENFORCED
ENABLE QUERY OPTIMIZATION;

Tabela dq_v4_dimensions

Esta tabela contém informações sobre as dimensões de qualidade para a regra

Esta tabela possui as seguintes colunas:

  • dimension_id -O identificador da dimensão de qualidade de dados
  • name -O nome da dimensão de qualidade dos dados
  • description -A descrição da dimensão de qualidade de dados
Postgres

Instrução CREATE TABLE:

create table dq_v4_dimensions(dimension_id varchar(128) not null,
container_id varchar(36) not null,
name varchar(256) not null,
description varchar(256) not null,
tech_start TIMESTAMP(6) not null default CURRENT_TIMESTAMP,
tech_end TIMESTAMP(6) not null default to_timestamp('9999-12-30', 'YYYY-MM-DD'),
ts_id TIMESTAMP(6) not null default CURRENT_TIMESTAMP,
primary key(dimension_id,
container_id))

Instrução ALTER TABLE:

alter table dq_v4_dimensions add constraint fk_dq_v4_dimensions_containers_1 foreign key (container_id) references containers(container_id) on
delete
	cascade on
	update
	no action

Instrução ALTER TABLE:

ALTER TABLE IF EXISTS  dq_v4_dimensions
    OWNER to postgres;
Db2

Instrução CREATE TABLE:

create table dq_v4_dimensions(dimension_id varchar(128) not null,
container_id varchar(36) not null,
name varchar(256) not null,
description varchar(256) not null,
tech_start TIMESTAMP(12) not null IMPLICITLY HIDDEN generated always as row begin,
tech_end TIMESTAMP(12) not null IMPLICITLY HIDDEN generated always as row
end,
ts_id TIMESTAMP(12) not null generated always as transaction start ID,
primary key(dimension_id,
container_id),
period SYSTEM_TIME (tech_start,
tech_end) ) ORGANIZE by row

Instrução ALTER TABLE:

alter table dq_v4_dimensions add constraint fk_dq_v4_dimensions_containers_1 foreign key (container_id) references containers(container_id) on
delete
	cascade on
	update
	no action

Tabela dq_rule_definitions

Esta tabela contém os metadados reais para a regra de qualidade de dados

Esta tabela possui as seguintes colunas:

  • rule_definition_id -O identificador da definição da regra de qualidade de dados.
  • container_id -O identificador do catálogo ou projeto.
  • expression -A expressão da definição da Regra de Qualidade de Dados.
  • dq_dimension_id -O identificador da dimensão de qualidade de dados
  • name -O nome da definição de qualidade dos dados
  • explanation_ai_generated - Indica se a explicação da definição da regra foi gerada por meio de IA. Valor padrão: 0 (falso).
  • explanation_text - Armazena a explicação detalhada da definição da regra. Campo opcional para permitir flexibilidade quando não for fornecida uma explicação.
Postgres

Instrução CREATE TABLE:

create table dq_rule_definitions(rule_definition_id varchar(128) not null,
container_id varchar(36) not null,
expression text not null,
dq_dimension_id varchar(128),
name varchar(256) not null,
explanation_ai_generated decimal(1) CHECK (explanation_ai_generated in (0,1)) DEFAULT 0 not null,
explanation_text text,
tech_start TIMESTAMP(6) not null default CURRENT_TIMESTAMP,
tech_end TIMESTAMP(6) not null default to_timestamp('9999-12-30', 'YYYY-MM-DD'),
ts_id TIMESTAMP(6) not null default CURRENT_TIMESTAMP,
primary key(rule_definition_id))

Instruções ALTER TABLE:

alter table dq_rule_definitions add constraint fk_dq_rule_definitions_containers_2 foreign key (container_id) references containers(container_id) on
delete
	cascade on
	update
	no action

alter table dq_rule_definitions add constraint fk_dq_rule_definitions_dq_v4_dimensions_3 foreign key (dq_dimension_id,
container_id) references dq_v4_dimensions(dimension_id,
container_id) on
delete
	cascade on
	update
	no action
Db2

Instrução CREATE TABLE:

create table dq_rule_definitions(rule_definition_id varchar(128) not null,
container_id varchar(36) not null,
expression clob not null,
dq_dimension_id varchar(128),
name varchar(256) not null,
explanation_ai_generated decimal(1) CHECK (explanation_ai_generated in (0,1)) DEFAULT 0 not null,
explanation_text clob,
tech_start TIMESTAMP(12) not null IMPLICITLY HIDDEN generated always as row begin,
tech_end TIMESTAMP(12) not null IMPLICITLY HIDDEN generated always as row
end,
ts_id TIMESTAMP(12) not null generated always as transaction start ID,
primary key(rule_definition_id),
period SYSTEM_TIME (tech_start,
tech_end) ) ORGANIZE by row

Instruções ALTER TABLE:

alter table dq_rule_definitions add constraint fk_dq_rule_definitions_containers_2 foreign key (container_id) references containers(container_id) on
delete
	cascade on
	update
	no action

alter table dq_rule_definitions add constraint fk_dq_rule_definitions_dq_v4_dimensions_3 foreign key (dq_dimension_id,
container_id) references dq_v4_dimensions(dimension_id,
container_id) on
delete
	cascade on
	update
	no action
MS SQL server

Instrução CREATE TABLE:

CREATE TABLE dq_rule_definitions(rule_definition_id varchar(128) NOT NULL,
	container_id varchar(36) NOT NULL,
	expression varchar(MAX) NOT NULL,
	dq_dimension_id varchar(128),
	name varchar(256) NOT NULL,
	explanation_ai_generated decimal(1) CHECK (explanation_ai_generated in (0,1)) DEFAULT 0 NOT NULL,
	explanation_text varchar(MAX),
	tech_start DATETIME2 GENERATED ALWAYS AS ROW START NOT NULL,
	tech_end DATETIME2 GENERATED ALWAYS AS ROW END NOT NULL,
	ts_id DATETIME2 DEFAULT CURRENT_TIMESTAMP NOT NULL,
	CONSTRAINT PK_dq_rule_definitions PRIMARY KEY(rule_definition_id),
	PERIOD FOR SYSTEM_TIME (tech_start, tech_end)
) WITH (SYSTEM_VERSIONING = ON (HISTORY_TABLE = hist_dq_rule_definitions))

Instruções ALTER TABLE:

ALTER TABLE dq_rule_definitions ADD CONSTRAINT fk_dq_rule_definitions_containers_2 FOREIGN KEY (container_id) REFERENCES containers(container_id) ON
	DELETE
	CASCADE

ALTER TABLE dq_rule_definitions ADD CONSTRAINT fk_dq_rule_definitions_dq_v4_dimensions_3 FOREIGN KEY (dq_dimension_id,
	container_id) REFERENCES dq_v4_dimensions(dimension_id,
	container_id) ON
	DELETE
	CASCADE

tabela dq_rules_defs

Esta tabela contém detalhes de ligação entre a regra e a definição, pois várias ligações podem ser feitas.

Esta tabela possui as seguintes colunas:

  • rule_id -O identificador da regra de qualidade de dados
  • rule_definition_id -O identificador para a definição de regra.
  • disambiguator -O número do desambiguador
Postgres

Instrução CREATE TABLE:

create table dq_rules_defs(rule_id varchar(128) not null,
rule_definition_id varchar(128) not null,
disambiguator integer,
tech_start TIMESTAMP(6) not null default CURRENT_TIMESTAMP,
tech_end TIMESTAMP(6) not null default to_timestamp('9999-12-30', 'YYYY-MM-DD'),
ts_id TIMESTAMP(6) not null default CURRENT_TIMESTAMP,
primary key(rule_id,
rule_definition_id))

Instruções ALTER TABLE:

alter table dq_rules_defs add constraint fk_dq_rules_defs_dq_rules_1 foreign key (rule_id) references dq_rules(rule_id) on
delete
	cascade on
	update
	no action

alter table dq_rules_defs add constraint fk_dq_rules_defs_dq_rule_definitions_2 foreign key (rule_definition_id) references dq_rule_definitions(rule_definition_id) on
delete
	cascade on
	update
	no action
Db2

Instrução CREATE TABLE:

create table dq_rules_defs(rule_id varchar(128) not null,
rule_definition_id varchar(128) not null,
disambiguator integer,
tech_start TIMESTAMP(12) not null IMPLICITLY HIDDEN generated always as row begin,
tech_end TIMESTAMP(12) not null IMPLICITLY HIDDEN generated always as row
end,
ts_id TIMESTAMP(12) not null generated always as transaction start ID,
primary key(rule_id,
rule_definition_id),
period SYSTEM_TIME (tech_start,
tech_end) ) ORGANIZE by row

Instruções ALTER TABLE:

alter table dq_rules_defs add constraint fk_dq_rules_defs_dq_rules_1 foreign key (rule_id) references dq_rules(rule_id) on
delete
	cascade on
	update
	no action

alter table dq_rules_defs add constraint fk_dq_rules_defs_dq_rule_definitions_2 foreign key (rule_definition_id) references dq_rule_definitions(rule_definition_id) on
delete
	cascade on
	update
	no action

tabela dq_rules

Esta tabela contém informações sobre as regras de qualidade de dados

Esta tabela possui as seguintes colunas:

  • rule_id -O identificador da regra de qualidade de dados
  • container_id -O identificador do catálogo ou projeto.
  • dq_dimension_id -O identificador da dimensão da regra de qualidade de dados
  • name -O nome da regra de qualidade de dados
  • output_asset_id -O identificador do ativo de saída.
  • output_asset_container_id -O identificador do catálogo ou projeto de saída.
  • is_sql_based - Indica se a regra é baseada em SQL.
  • description_ai_generated - Indica se a descrição da regra foi gerada por meio de IA. Valor padrão: 0 (falso). Ajuda a distinguir entre descrições de regras criadas manualmente e aquelas geradas por IA.
Postgres

Instrução CREATE TABLE:

CREATE TABLE "globalschema".dq_rules(rule_id varchar(128) NOT NULL,
container_id varchar(36) NOT NULL,
dq_dimension_id varchar(128),
name varchar(256) NOT NULL,
output_asset_id varchar(128),
output_asset_container_id varchar(36),
apply_all_present_dimensions decimal(1) CHECK (apply_all_present_dimensions in (0,1)) DEFAULT 1 NOT NULL,
is_sql_based decimal(1) CHECK (is_sql_based in (0,1)) DEFAULT 0 NOT NULL,
description_ai_generated decimal(1) CHECK (description_ai_generated in (0,1)) DEFAULT 0 NOT NULL,
tech_start TIMESTAMP(6) NOT NULL DEFAULT CURRENT_TIMESTAMP,
tech_end TIMESTAMP(6) NOT NULL DEFAULT to_timestamp('9999-12-30','YYYY-MM-DD'),
ts_id TIMESTAMP(6) NOT NULL DEFAULT CURRENT_TIMESTAMP,
PRIMARY KEY(rule_id))

Instrução ALTER TABLE:

alter table dq_rules add constraint fk_dq_rules_dq_v4_dimensions_5 foreign key (dq_dimension_id,
container_id) references dq_v4_dimensions(dimension_id,
container_id) on
delete
	cascade on
	update
	no action
Db2

Instrução CREATE TABLE:

CREATE TABLE "globalschema".dq_rules(rule_id varchar(128) NOT NULL,
container_id varchar(36) NOT NULL,
dq_dimension_id varchar(128),
name varchar(256) NOT NULL,
output_asset_id varchar(128),
output_asset_container_id varchar(36),
apply_all_present_dimensions decimal(1) CHECK (apply_all_present_dimensions in (0,1)) DEFAULT 1 NOT NULL,
is_sql_based decimal(1) CHECK (is_sql_based in (0,1)) DEFAULT 0 NOT NULL,
description_ai_generated decimal(1) CHECK (description_ai_generated in (0,1)) DEFAULT 0 NOT NULL,
tech_start TIMESTAMP(12) NOT NULL IMPLICITLY HIDDEN GENERATED ALWAYS AS ROW BEGIN,
tech_end TIMESTAMP(12) NOT NULL IMPLICITLY HIDDEN GENERATED ALWAYS AS ROW END,
ts_id TIMESTAMP(12) NOT NULL GENERATED ALWAYS AS TRANSACTION START ID,
PRIMARY KEY(rule_id),
PERIOD SYSTEM_TIME (tech_start,tech_end))

Instrução ALTER TABLE:

alter table dq_rules add constraint fk_dq_rules_dq_v4_dimensions_5 foreign key (dq_dimension_id,
container_id) references dq_v4_dimensions(dimension_id,
container_id) on
delete
	cascade on
	update
	no action
MS SQL server

Instrução CREATE TABLE:

CREATE TABLE "globalschema".dq_rules(rule_id varchar(128) NOT NULL,
container_id varchar(36) NOT NULL,
dq_dimension_id varchar(128),
name varchar(256) NOT NULL,
output_asset_id varchar(128),
output_asset_container_id varchar(36),
apply_all_present_dimensions decimal(1) CHECK (apply_all_present_dimensions in (0,1)) DEFAULT 1 NOT NULL,
is_sql_based decimal(1) CHECK (is_sql_based in (0,1)) DEFAULT 0 NOT NULL,
description_ai_generated decimal(1) CHECK (description_ai_generated in (0,1)) DEFAULT 0 NOT NULL,
tech_start DATETIME2 GENERATED ALWAYS AS ROW START NOT NULL,
tech_end DATETIME2 GENERATED ALWAYS AS ROW END NOT NULL,
ts_id DATETIME2 DEFAULT CURRENT_TIMESTAMP NOT NULL,
 CONSTRAINT PK_dq_rules_globalschema PRIMARY KEY(rule_id),
PERIOD FOR SYSTEM_TIME (tech_start, tech_end)
) WITH (SYSTEM_VERSIONING = ON (HISTORY_TABLE = "globalschema".hist_dq_rules))

Instrução ALTER TABLE:

ALTER TABLE dq_rules ADD CONSTRAINT fk_dq_rules_dq_v4_dimensions_5 FOREIGN KEY (dq_dimension_id,
	container_id) REFERENCES dq_v4_dimensions(dimension_id,
	container_id) ON
	DELETE
	CASCADE

tabela dq_rules_sqls

Esta tabela contém consultas SQL associadas a regras de qualidade de dados.

Esta tabela possui as seguintes colunas:

  • rule_id - Um identificador único para cada regra de qualidade de dados (DQ).
  • connection_id - Identifica a conexão com a fonte de dados (por exemplo, banco de dados, servidor ou sistema) onde a regra SQL deve ser executada.
  • sql_query - Armazena a consulta SQL propriamente dita que define a regra de qualidade dos dados.
  • explanation_ai_generated - Indica se a explicação da definição da regra foi gerada por meio de IA. Valor padrão: 0 (falso).
  • explanation_text - Armazena a explicação detalhada da definição da regra. Campo opcional para permitir flexibilidade quando não for fornecida uma explicação.
Postgres

Instrução CREATE TABLE:

CREATE TABLE dq_rules_sqls(rule_id varchar(128) NOT NULL,
connection_id varchar(128) NOT NULL,
sql_query text,
explanation_ai_generated decimal(1) CHECK (explanation_ai_generated in (0,1)) DEFAULT 0 NOT NULL,
explanation_text text,
tech_start TIMESTAMP(6) NOT NULL DEFAULT CURRENT_TIMESTAMP,
tech_end TIMESTAMP(6) NOT NULL DEFAULT to_timestamp('9999-12-30','YYYY-MM-DD'),
ts_id TIMESTAMP(6) NOT NULL DEFAULT CURRENT_TIMESTAMP,
PRIMARY KEY(rule_id))
Db2

Instrução CREATE TABLE:

CREATE TABLE dq_rules_sqls(rule_id varchar(128) NOT NULL,
connection_id varchar(128) NOT NULL,
sql_query clob,
explanation_ai_generated decimal(1) CHECK (explanation_ai_generated in (0,1)) DEFAULT 0 NOT NULL,
explanation_text clob,
tech_start TIMESTAMP(12) NOT NULL IMPLICITLY HIDDEN GENERATED ALWAYS AS ROW BEGIN,
tech_end TIMESTAMP(12) NOT NULL IMPLICITLY HIDDEN GENERATED ALWAYS AS ROW END,
ts_id TIMESTAMP(12) NOT NULL GENERATED ALWAYS AS TRANSACTION START ID,
PRIMARY KEY(rule_id),
PERIOD SYSTEM_TIME (tech_start,tech_end) )
MS SQL server

Instrução CREATE TABLE:

CREATE TABLE dq_rules_sqls(rule_id varchar(128) NOT NULL,
connection_id varchar(128) NOT NULL,
sql_query varchar(MAX),
explanation_ai_generated decimal(1) CHECK (explanation_ai_generated in (0,1)) DEFAULT 0 NOT NULL,
explanation_text varchar(MAX),
tech_start DATETIME2 GENERATED ALWAYS AS ROW START NOT NULL,
tech_end DATETIME2 GENERATED ALWAYS AS ROW END NOT NULL,
ts_id DATETIME2 DEFAULT CURRENT_TIMESTAMP NOT NULL,
CONSTRAINT PK_dq_rules_sqls_globalschema PRIMARY KEY(rule_id),
PERIOD FOR SYSTEM_TIME (tech_start, tech_end)
) WITH (SYSTEM_VERSIONING = ON (HISTORY_TABLE = "globalschema".hist_dq_rules_sqls))

Tabela dq_rule_bindings

Esta tabela contém informações sobre as Ligações da Regra de Qualidade de Dados

Esta tabela possui as seguintes colunas:

  • rule_id -O identificador da regra de qualidade de dados
  • rule_definition_id -O identificador para a definição de regra.
  • variable_name -O identificador da variável que se liga à coluna para regra de qualidade de dados.
  • column_name -O nome de uma coluna.
  • container_id -O identificador do catálogo ou projeto.
  • asset_id -O identificador do ativo
Postgres

Instrução CREATE TABLE:

create table dq_rule_bindings(rule_id varchar(128) not null,
variable_name varchar(256) not null,
column_name varchar(256) not null,
container_id varchar(36) not null,
asset_id varchar(128) not null,
rule_definition_id varchar(128) default 'na' not null,
tech_start TIMESTAMP(6) not null default CURRENT_TIMESTAMP,
tech_end TIMESTAMP(6) not null default to_timestamp('9999-12-30', 'YYYY-MM-DD'),
ts_id TIMESTAMP(6) not null default CURRENT_TIMESTAMP,
primary key(rule_id,
rule_definition_id,
variable_name,
column_name))

Instruções ALTER TABLE:

alter table dq_rule_bindings add constraint fk_dq_rule_bindings_dq_rules_6 foreign key (rule_id) references dq_rules(rule_id) on
delete
	cascade on
	update
	no action

alter table dq_rule_bindings add constraint fk_dq_rule_bindings_container_data_asset_columns_7 foreign key (container_id,
asset_id,
column_name) references container_data_asset_columns(container_id,
asset_id,
name) on
delete
	cascade on
	update
	no action 

alter table dq_rule_bindings add constraint fk_dq_rule_bindings_dq_rules_defs_3 foreign key (rule_id,
rule_definition_id) references dq_rules_defs(rule_id,
rule_definition_id) on
delete
	cascade on
	update
	no action
Db2

Instrução CREATE TABLE:

create table dq_rule_bindings(rule_id varchar(128) not null,
variable_name varchar(256) not null,
column_name varchar(256) not null,
container_id varchar(36) not null,
asset_id varchar(128) not null,
rule_definition_id varchar(128) default 'na' not null,
tech_start TIMESTAMP(12) not null IMPLICITLY HIDDEN generated always as row begin,
tech_end TIMESTAMP(12) not null IMPLICITLY HIDDEN generated always as row
end,
ts_id TIMESTAMP(12) not null generated always as transaction start ID,
primary key(rule_id,
rule_definition_id,
variable_name,
column_name),
period SYSTEM_TIME (tech_start,
tech_end) ) ORGANIZE by row

Instruções ALTER TABLE:

alter table dq_rule_bindings add constraint fk_dq_rule_bindings_dq_rules_6 foreign key (rule_id) references dq_rules(rule_id) on
delete
	cascade on
	update
	no action

alter table dq_rule_bindings add constraint fk_dq_rule_bindings_container_data_asset_columns_7 foreign key (container_id,
asset_id,
column_name) references container_data_asset_columns(container_id,
asset_id,
name) on
delete
	cascade on
	update
	no action

alter table dq_rule_bindings add constraint fk_dq_rule_bindings_dq_rules_defs_3 foreign key (rule_id,
rule_definition_id) references dq_rules_defs(rule_id,
rule_definition_id) on
delete
	cascade on
	update
	no action

Tabela dq_rule_execution

Esta tabela contém informações sobre a tarefa de regra para a regra de qualidade de dados

Esta tabela possui as seguintes colunas:

  • dq_rule_id -O identificador da regra de qualidade de dados
  • execution_id -O identificador da tarefa para a tarefa de regra de qualidade de dados
  • start_time -O horário de início da tarefa para a tarefa de regra de qualidade de dados
  • end_time -o horário de término da tarefa para a tarefa de regra de qualidade de dados
  • nb_tested_rows -O número de linhas testadas para a tarefa de regra de qualidade de dados
  • nb_passing_rows -O número de linhas passadas para a tarefa de regra de qualidade de dados
  • nb_failing_rows -O número de linhas com falha para a tarefa de regras de qualidade de dados
  • percent_passing_rows -A porcentagem de linhas passadas para a tarefa de regra de qualidade de dados
  • percent_failing_rows -A percentagem das linhas com falha para a tarefa de regra de qualidade de dados
  • sampling_used -Especifica se a amostragem é usada na regra de qualidade de dados.
  • sample_size -O tamanho da amostragem para a regra da qualidade dos dados
  • sample_type -O tipo de amostragem para a regra de qualidade de dados
  • flow_job_id - O identificador do trabalho de fluxo DataStage.
  • flow_job_run_id - O identificador da execução do trabalho de fluxo DataStage.
Postgres

Instrução CREATE TABLE:

CREATE TABLE "globalschema".dq_rule_execution(
  dq_rule_id varchar(128) NOT NULL,
  execution_id varchar(256) NOT NULL,
  start_time timestamp(6) NOT NULL,
  end_time timestamp(6) NOT NULL,
  nb_tested_rows bigint NOT NULL,
  nb_passing_rows bigint NOT NULL,
  nb_failing_rows bigint NOT NULL,
  percent_passing_rows float NOT NULL,
  percent_failing_rows float NOT NULL,
  sampling_used decimal(1) CHECK (
    sampling_used in (0, 1)
  ) NOT NULL,
  sample_size bigint,
  sample_type varchar(256),
  flow_job_id varchar(128),
  flow_job_run_id varchar(128),
  tech_start TIMESTAMP(6) NOT NULL DEFAULT CURRENT_TIMESTAMP,
  tech_end TIMESTAMP(6) NOT NULL DEFAULT to_timestamp('9999-12-30', 'YYYY-MM-DD'),
  ts_id TIMESTAMP(6) NOT NULL DEFAULT CURRENT_TIMESTAMP,
  PRIMARY KEY(dq_rule_id, execution_id)
)

Instrução ALTER TABLE:

alter table dq_rule_execution add constraint fk_dq_rule_execution_dq_rules_8 foreign key (dq_rule_id) references dq_rules(rule_id) on
delete
	cascade on
	update
	no action
Db2

Instrução CREATE TABLE:

CREATE TABLE "globalschema".dq_rule_execution(
  dq_rule_id varchar(128) NOT NULL,
  execution_id varchar(256) NOT NULL,
  start_time timestamp(6) NOT NULL,
  end_time timestamp(6) NOT NULL,
  nb_tested_rows bigint NOT NULL,
  nb_passing_rows bigint NOT NULL,
  nb_failing_rows bigint NOT NULL,
  percent_passing_rows float NOT NULL,
  percent_failing_rows float NOT NULL,
  sampling_used decimal(1) CHECK (
    sampling_used in (0, 1)
  ) NOT NULL,
  sample_size bigint,
  sample_type varchar(256),
  flow_job_id varchar(128),
  flow_job_run_id varchar(128),
  tech_start TIMESTAMP(6) NOT NULL DEFAULT CURRENT_TIMESTAMP,
  tech_end TIMESTAMP(6) NOT NULL DEFAULT to_timestamp('9999-12-30', 'YYYY-MM-DD'),
  ts_id TIMESTAMP(6) NOT NULL DEFAULT CURRENT_TIMESTAMP,
  PRIMARY KEY(dq_rule_id, execution_id)
)

Instrução ALTER TABLE:

alter table dq_rule_execution add constraint fk_dq_rule_execution_dq_rules_8 foreign key (dq_rule_id) references dq_rules(rule_id) on
delete
	cascade on
	update
	no action
MS SQL server

Instrução CREATE TABLE:

CREATE TABLE "globalschema".dq_rule_execution(
  dq_rule_id varchar(128) NOT NULL,
  execution_id varchar(256) NOT NULL,
  start_time DATETIME2 NOT NULL,
  end_time DATETIME2 NOT NULL,
  nb_tested_rows bigint NOT NULL,
  nb_passing_rows bigint NOT NULL,
  nb_failing_rows bigint NOT NULL,
  percent_passing_rows float NOT NULL,
  percent_failing_rows float NOT NULL,
  sampling_used decimal(1) CHECK (
    sampling_used in (0, 1)
  ) NOT NULL,
  sample_size bigint,
  sample_type varchar(256),
  flow_job_id varchar(128),
  flow_job_run_id varchar(128),
  tech_start DATETIME2 GENERATED ALWAYS AS ROW START NOT NULL,
  tech_end DATETIME2 GENERATED ALWAYS AS ROW END NOT NULL,
  ts_id DATETIME2 DEFAULT CURRENT_TIMESTAMP NOT NULL,
  CONSTRAINT PK_dq_rule_execution_globalschema PRIMARY KEY(dq_rule_id, execution_id),
  PERIOD FOR SYSTEM_TIME (tech_start, tech_end)
) WITH (
  SYSTEM_VERSIONING = ON (
    HISTORY_TABLE = "globalschema".hist_dq_rule_execution
  )
)

Tabela dq_rule_execution_definition_counts

Esta tabela armazena contagens de registros testados, aprovados e reprovados no nível de definição para cada execução da regra de qualidade de dados.

Esta tabela possui as seguintes colunas:

  • dq_rule_id - Identificador exclusivo da regra de qualidade de dados associada à execução.
  • execution_id - Identificador exclusivo de uma execução específica da regra de qualidade dos dados.
  • rule_definition_id - Identificador da definição da regra individual avaliada na execução da regra.
  • nb_passing_rows - Número de registros que passaram por essa definição de regra específica durante a execução.
  • nb_failing_rows - Número de registros que falharam nesta definição de regra específica durante a execução.
  • nb_tested_rows - Número total de registros testados para esta definição de regra durante a execução.
Postgres

Instrução CREATE TABLE:

CREATE TABLE "globalschema".dq_rule_execution_definition_counts(
  dq_rule_id varchar(128) NOT NULL,
  execution_id varchar(256) NOT NULL,
  rule_definition_id varchar(128) NOT NULL,
  nb_passing_rows bigint NOT NULL,
  nb_failing_rows bigint NOT NULL,
  nb_tested_rows bigint NOT NULL,
  tech_start TIMESTAMP(6) NOT NULL DEFAULT CURRENT_TIMESTAMP,
  tech_end TIMESTAMP(6) NOT NULL DEFAULT to_timestamp('9999-12-30', 'YYYY-MM-DD'),
  ts_id TIMESTAMP(6) NOT NULL DEFAULT CURRENT_TIMESTAMP,
  PRIMARY KEY(dq_rule_id, execution_id, rule_definition_id)
)
Db2

Instrução CREATE TABLE:

CREATE TABLE "globalschema".dq_rule_execution_definition_counts(
  dq_rule_id varchar(128) NOT NULL,
  execution_id varchar(256) NOT NULL,
  rule_definition_id varchar(128) NOT NULL,
  nb_passing_rows bigint NOT NULL,
  nb_failing_rows bigint NOT NULL,
  nb_tested_rows bigint NOT NULL,
  tech_start TIMESTAMP(12) NOT NULL IMPLICITLY HIDDEN GENERATED ALWAYS AS ROW BEGIN,
  tech_end TIMESTAMP(12) NOT NULL IMPLICITLY HIDDEN GENERATED ALWAYS AS ROW END,
  ts_id TIMESTAMP(12) NOT NULL GENERATED ALWAYS AS TRANSACTION START ID,
  PRIMARY KEY(dq_rule_id, execution_id, rule_definition_id),
  PERIOD SYSTEM_TIME (tech_start, tech_end)
)
MS SQL server

Instrução CREATE TABLE:

CREATE TABLE "globalschema".dq_rule_execution_definition_counts(
  dq_rule_id varchar(128) NOT NULL,
  execution_id varchar(256) NOT NULL,
  rule_definition_id varchar(128) NOT NULL,
  nb_passing_rows bigint NOT NULL,
  nb_failing_rows bigint NOT NULL,
  nb_tested_rows bigint NOT NULL,
  tech_start DATETIME2 GENERATED ALWAYS AS ROW START NOT NULL,
  tech_end DATETIME2 GENERATED ALWAYS AS ROW END NOT NULL,
  ts_id DATETIME2 DEFAULT CURRENT_TIMESTAMP NOT NULL,
  CONSTRAINT PK_dq_rule_execution_definition_counts_globalschema PRIMARY KEY(dq_rule_id, execution_id, rule_definition_id),
  PERIOD FOR SYSTEM_TIME (tech_start, tech_end)
) WITH (
  SYSTEM_VERSIONING = ON (
    HISTORY_TABLE = "globalschema".hist_dq_rule_execution_definition_counts
  )
)

tabela sla_assessments

Esta tabela contém informações sobre avaliações de SLA.

Esta tabela possui as seguintes colunas:

  • assessment_id - Identificador exclusivo da avaliação.
  • container_id - O identificador do contêiner (catálogo ou projeto) no qual o ativo existe.
  • asset_id - O identificador do ativo de dados.
  • sla_rule_id - Identificador único do SLA.
  • created_at - Registro de data e hora em que a avaliação do SLA foi criada.
  • num_violations - Número total de violações detectadas no ativo.
  • violations_on_asset - Número de violações encontradas no ativo.
  • violations_on_children - Número de violações encontradas em colunas de ativos.
  • is_latest - Indica se essa é a avaliação mais recente do ativo.
Postgres

Instrução CREATE TABLE:

CREATE TABLE "globalschema".sla_assessments(
  assessment_id varchar(36) NOT NULL,
  container_id varchar(36) NOT NULL,
  asset_id varchar(36) NOT NULL,
  sla_rule_id varchar(36) NOT NULL,
  created_at timestamp(6) NOT NULL,
  num_violations bigint DEFAULT 0 NOT NULL,
  violations_on_asset bigint DEFAULT 0 NOT NULL,
  violations_on_children bigint DEFAULT 0 NOT NULL,
  is_latest decimal(1) CHECK (
    is_latest in (0, 1)
  ) DEFAULT 0 NOT NULL,
  tech_start TIMESTAMP(6) NOT NULL DEFAULT CURRENT_TIMESTAMP,
  tech_end TIMESTAMP(6) NOT NULL DEFAULT to_timestamp('9999-12-30', 'YYYY-MM-DD'),
  ts_id TIMESTAMP(6) NOT NULL DEFAULT CURRENT_TIMESTAMP,
  PRIMARY KEY(assessment_id)
)
Db2

Instrução CREATE TABLE:

CREATE TABLE "globalschema".sla_assessments(
  assessment_id varchar(36) NOT NULL,
  container_id varchar(36) NOT NULL,
  asset_id varchar(36) NOT NULL,
  sla_rule_id varchar(36) NOT NULL,
  created_at timestamp(12) NOT NULL,
  num_violations bigint DEFAULT 0 NOT NULL,
  violations_on_asset bigint DEFAULT 0 NOT NULL,
  violations_on_children bigint DEFAULT 0 NOT NULL,
  is_latest decimal(1) CHECK (
    is_latest in (0, 1)
  ) DEFAULT 0 NOT NULL,
  tech_start TIMESTAMP(12) NOT NULL IMPLICITLY HIDDEN GENERATED ALWAYS AS ROW BEGIN,
  tech_end TIMESTAMP(12) NOT NULL IMPLICITLY HIDDEN GENERATED ALWAYS AS ROW END,
  ts_id TIMESTAMP(12) NOT NULL GENERATED ALWAYS AS TRANSACTION START ID,
  PRIMARY KEY(assessment_id),
  PERIOD SYSTEM_TIME (tech_start, tech_end)
)
MS SQL server

Instrução CREATE TABLE:

CREATE TABLE "globalschema".sla_assessments(
  assessment_id varchar(36) NOT NULL,
  container_id varchar(36) NOT NULL,
  asset_id varchar(36) NOT NULL,
  sla_rule_id varchar(36) NOT NULL,
  created_at DATETIME2 NOT NULL,
  num_violations bigint DEFAULT 0 NOT NULL,
  violations_on_asset bigint DEFAULT 0 NOT NULL,
  violations_on_children bigint DEFAULT 0 NOT NULL,
  is_latest decimal(1) CHECK (
    is_latest in (0, 1)
  ) DEFAULT 0 NOT NULL,
  tech_start DATETIME2 GENERATED ALWAYS AS ROW START NOT NULL,
  tech_end DATETIME2 GENERATED ALWAYS AS ROW END NOT NULL,
  ts_id DATETIME2 DEFAULT CURRENT_TIMESTAMP NOT NULL,
  CONSTRAINT PK_sla_assessments_globalschema PRIMARY KEY(assessment_id),
  PERIOD FOR SYSTEM_TIME (tech_start, tech_end)
) WITH (
  SYSTEM_VERSIONING = ON (
    HISTORY_TABLE = "globalschema".hist_sla_assessments
  )
)

tabela sla_violations

Essa tabela contém informações sobre violações de SLA.

Esta tabela possui as seguintes colunas:

  • violation_id - Identificador exclusivo da violação.
  • assessment_id - Identificador exclusivo da avaliação.
  • container_id - O identificador do contêiner (catálogo ou projeto) no qual o ativo existe.
  • asset_id - O identificador do ativo de dados.
  • asset_type - O tipo do ativo (por exemplo, data_asset, coluna).
  • name - Nome do ativo.
  • dimension_id - O identificador exclusivo da dimensão de qualidade dos dados.
  • dimension_name - Nome da dimensão da qualidade dos dados (por exemplo, Completude).
  • missed_threshold - Um valor numérico predefinido que determina se uma condição foi atendida.
  • score - A pontuação é calculada após a realização de uma avaliação de SLA.
  • deviation - A diferença entre o limite não atingido e a pontuação real em pontos percentuais.
  • is_children - Indica se a condição do SLA se aplica a uma coluna do ativo.
Postgres

Instrução CREATE TABLE:

CREATE TABLE "globalschema".sla_violations(
  violation_id varchar(36) NOT NULL,
  assessment_id varchar(36) NOT NULL,
  container_id varchar(36) NOT NULL,
  asset_id varchar(36) NOT NULL,
  asset_type varchar(128) NOT NULL,
  name varchar(256) NOT NULL,
  dimension_id varchar(36) NOT NULL,
  dimension_name varchar(36) NOT NULL,
  missed_threshold float NOT NULL,
  score float DEFAULT 0 NOT NULL,
  deviation float NOT NULL,
  is_children decimal(1) CHECK (
    is_children in (0, 1)
  ) DEFAULT 0 NOT NULL,
  tech_start TIMESTAMP(6) NOT NULL DEFAULT CURRENT_TIMESTAMP,
  tech_end TIMESTAMP(6) NOT NULL DEFAULT to_timestamp('9999-12-30', 'YYYY-MM-DD'),
  ts_id TIMESTAMP(6) NOT NULL DEFAULT CURRENT_TIMESTAMP,
  PRIMARY KEY(violation_id, assessment_id)
)
Db2

Instrução CREATE TABLE:

CREATE TABLE "globalschema".sla_violations(
  violation_id varchar(36) NOT NULL,
  assessment_id varchar(36) NOT NULL,
  container_id varchar(36) NOT NULL,
  asset_id varchar(36) NOT NULL,
  asset_type varchar(128) NOT NULL,
  name varchar(256) NOT NULL,
  dimension_id varchar(36) NOT NULL,
  dimension_name varchar(36) NOT NULL,
  missed_threshold float NOT NULL,
  score float DEFAULT 0 NOT NULL,
  deviation float NOT NULL,
  is_children decimal(1) CHECK (
    is_children in (0, 1)
  ) DEFAULT 0 NOT NULL,
  tech_start TIMESTAMP(12) NOT NULL IMPLICITLY HIDDEN GENERATED ALWAYS AS ROW BEGIN,
  tech_end TIMESTAMP(12) NOT NULL IMPLICITLY HIDDEN GENERATED ALWAYS AS ROW END,
  ts_id TIMESTAMP(12) NOT NULL GENERATED ALWAYS AS TRANSACTION START ID,
  PRIMARY KEY(violation_id, assessment_id),
  PERIOD SYSTEM_TIME (tech_start, tech_end)
)
MS SQL server

Instrução CREATE TABLE:

CREATE TABLE "globalschema".sla_violations(
  violation_id varchar(36) NOT NULL,
  assessment_id varchar(36) NOT NULL,
  container_id varchar(36) NOT NULL,
  asset_id varchar(36) NOT NULL,
  asset_type varchar(128) NOT NULL,
  name varchar(256) NOT NULL,
  dimension_id varchar(36) NOT NULL,
  dimension_name varchar(36) NOT NULL,
  missed_threshold float NOT NULL,
  score float DEFAULT 0 NOT NULL,
  deviation float NOT NULL,
  is_children decimal(1) CHECK (
    is_children in (0, 1)
  ) DEFAULT 0 NOT NULL,
  tech_start DATETIME2 GENERATED ALWAYS AS ROW START NOT NULL,
  tech_end DATETIME2 GENERATED ALWAYS AS ROW END NOT NULL,
  ts_id DATETIME2 DEFAULT CURRENT_TIMESTAMP NOT NULL,
  CONSTRAINT PK_sla_violations_globalschema PRIMARY KEY(violation_id, assessment_id),
  PERIOD FOR SYSTEM_TIME (tech_start, tech_end)
) WITH (
  SYSTEM_VERSIONING = ON (
    HISTORY_TABLE = "globalschema".hist_sla_violations
  )
)

tabela sla_actions

Esta tabela contém informações sobre as ações do SLA.

Esta tabela possui as seguintes colunas:

  • native_id - O ID do fluxo de trabalho criado após uma avaliação de SLA.
  • assessment_id - Identificador exclusivo da avaliação.
  • native_definition_id - O ID do tipo de fluxo de trabalho.
  • type - Tipo de ação de SLA (por exemplo, fluxo de trabalho).
  • completed - Indica se a ação foi concluída.
Postgres

Instrução CREATE TABLE:

CREATE TABLE "globalschema".sla_actions(
  native_id varchar(36) NOT NULL,
  assessment_id varchar(36) NOT NULL,
  native_definition_id varchar(36) NOT NULL,
  type varchar(36) NOT NULL,
  completed decimal(1) CHECK (
    completed in (0, 1)
  ) DEFAULT 0 NOT NULL,
  tech_start TIMESTAMP(6) NOT NULL DEFAULT CURRENT_TIMESTAMP,
  tech_end TIMESTAMP(6) NOT NULL DEFAULT to_timestamp('9999-12-30', 'YYYY-MM-DD'),
  ts_id TIMESTAMP(6) NOT NULL DEFAULT CURRENT_TIMESTAMP,
  PRIMARY KEY(native_id, assessment_id)
)
Db2

Instrução CREATE TABLE:

CREATE TABLE "globalschema".sla_actions(
  native_id varchar(36) NOT NULL,
  assessment_id varchar(36) NOT NULL,
  native_definition_id varchar(36) NOT NULL,
  type varchar(36) NOT NULL,
  completed decimal(1) CHECK (
    completed in (0, 1)
  ) DEFAULT 0 NOT NULL,
  tech_start TIMESTAMP(12) NOT NULL IMPLICITLY HIDDEN GENERATED ALWAYS AS ROW BEGIN,
  tech_end TIMESTAMP(12) NOT NULL IMPLICITLY HIDDEN GENERATED ALWAYS AS ROW END,
  ts_id TIMESTAMP(12) NOT NULL GENERATED ALWAYS AS TRANSACTION START ID,
  PRIMARY KEY(native_id, assessment_id),
  PERIOD SYSTEM_TIME (tech_start, tech_end)
)
MS SQL server

Instrução CREATE TABLE:

CREATE TABLE "globalschema".sla_actions(
  native_id varchar(36) NOT NULL,
  assessment_id varchar(36) NOT NULL,
  native_definition_id varchar(36) NOT NULL,
  type varchar(36) NOT NULL,
  completed decimal(1) CHECK (
    completed in (0, 1)
  ) DEFAULT 0 NOT NULL,
  tech_start DATETIME2 GENERATED ALWAYS AS ROW START NOT NULL,
  tech_end DATETIME2 GENERATED ALWAYS AS ROW END NOT NULL,
  ts_id DATETIME2 DEFAULT CURRENT_TIMESTAMP NOT NULL,
  CONSTRAINT PK_sla_actions_globalschema PRIMARY KEY(native_id, assessment_id),
  PERIOD FOR SYSTEM_TIME (tech_start, tech_end)
) WITH (
  SYSTEM_VERSIONING = ON (
    HISTORY_TABLE = "globalschema".hist_sla_actions
  )
)

tabela sla_rule_definitions

Esta tabela contém informações sobre as definições de SLA.

Esta tabela possui as seguintes colunas:

  • sla_rule_id - Identificador único do SLA.
  • name - Nome da definição do SLA.
  • description - Descrição da definição do SLA.
  • creator_id - Identificador do usuário que criou a definição do SLA.
  • created_at - Data e hora em que a definição do SLA foi criada.
  • updater_id - Identificador do usuário que atualizou a definição do SLA pela última vez.
  • updated_at - Data e hora da última atualização da definição do SLA.
Postgres

Instrução CREATE TABLE:

CREATE TABLE "globalschema".sla_rule_definitions(
  sla_rule_id varchar(36) NOT NULL,
  name varchar(256),
  description text,
  creator_id varchar(128) NOT NULL,
  created_at timestamp(6) NOT NULL,
  updater_id varchar(128),
  updated_at timestamp(6),
  tech_start TIMESTAMP(6) NOT NULL DEFAULT CURRENT_TIMESTAMP,
  tech_end TIMESTAMP(6) NOT NULL DEFAULT to_timestamp('9999-12-30', 'YYYY-MM-DD'),
  ts_id TIMESTAMP(6) NOT NULL DEFAULT CURRENT_TIMESTAMP,
  PRIMARY KEY(sla_rule_id)
)
Db2

Instrução CREATE TABLE:

CREATE TABLE "globalschema".sla_rule_definitions(
  sla_rule_id varchar(36) NOT NULL,
  name varchar(256),
  description clob,
  creator_id varchar(128) NOT NULL,
  created_at timestamp(12) NOT NULL,
  updater_id varchar(128),
  updated_at timestamp(12),
  tech_start TIMESTAMP(12) NOT NULL IMPLICITLY HIDDEN GENERATED ALWAYS AS ROW BEGIN,
  tech_end TIMESTAMP(12) NOT NULL IMPLICITLY HIDDEN GENERATED ALWAYS AS ROW END,
  ts_id TIMESTAMP(12) NOT NULL GENERATED ALWAYS AS TRANSACTION START ID,
  PRIMARY KEY(sla_rule_id),
  PERIOD SYSTEM_TIME (tech_start, tech_end)
)
MS SQL server

Instrução CREATE TABLE:

CREATE TABLE "globalschema".sla_rule_definitions(
  sla_rule_id varchar(36) NOT NULL,
  name varchar(256),
  description varchar(MAX),
  creator_id varchar(128) NOT NULL,
  created_at DATETIME2 NOT NULL,
  updater_id varchar(128),
  updated_at DATETIME2,
  tech_start DATETIME2 GENERATED ALWAYS AS ROW START NOT NULL,
  tech_end DATETIME2 GENERATED ALWAYS AS ROW END NOT NULL,
  ts_id DATETIME2 DEFAULT CURRENT_TIMESTAMP NOT NULL,
  CONSTRAINT PK_sla_rule_definitions_globalschema PRIMARY KEY(sla_rule_id),
  PERIOD FOR SYSTEM_TIME (tech_start, tech_end)
) WITH (
  SYSTEM_VERSIONING = ON (
    HISTORY_TABLE = "globalschema".hist_sla_rule_definitions
  )
)

tabela sla_rule_def_filters

Esta tabela contém informações sobre os filtros de definição de SLA.

Esta tabela possui as seguintes colunas:

  • sla_rule_id - Identificador único do SLA.
  • filter_id - Identificador único para os filtros do SLA.
  • type - Tipo de filtro (por exemplo, nome, termo).
  • value - Valor do tipo.
  • artifact_id - O identificador exclusivo do termo. Existirá somente se o tipo for termo.
  • is_children - Indica se a condição do SLA se aplica a uma coluna do ativo.
Postgres

Instrução CREATE TABLE:

CREATE TABLE "globalschema".sla_rule_def_filters(
  sla_rule_id varchar(36) NOT NULL,
  filter_id varchar(36) NOT NULL,
  type varchar(16) NOT NULL,
  value varchar(256) NOT NULL,
  artifact_id varchar(128),
  is_children decimal(1) CHECK (
    is_children in (0, 1)
  ) DEFAULT 0 NOT NULL,
  tech_start TIMESTAMP(6) NOT NULL DEFAULT CURRENT_TIMESTAMP,
  tech_end TIMESTAMP(6) NOT NULL DEFAULT to_timestamp('9999-12-30', 'YYYY-MM-DD'),
  ts_id TIMESTAMP(6) NOT NULL DEFAULT CURRENT_TIMESTAMP,
  PRIMARY KEY(sla_rule_id, filter_id)
)
Db2

Instrução CREATE TABLE:

CREATE TABLE "globalschema".sla_rule_def_filters(
  sla_rule_id varchar(36) NOT NULL,
  filter_id varchar(36) NOT NULL,
  type varchar(16) NOT NULL,
  value varchar(256) NOT NULL,
  artifact_id varchar(128),
  is_children decimal(1) CHECK (
    is_children in (0, 1)
  ) DEFAULT 0 NOT NULL,
  tech_start TIMESTAMP(12) NOT NULL IMPLICITLY HIDDEN GENERATED ALWAYS AS ROW BEGIN,
  tech_end TIMESTAMP(12) NOT NULL IMPLICITLY HIDDEN GENERATED ALWAYS AS ROW END,
  ts_id TIMESTAMP(12) NOT NULL GENERATED ALWAYS AS TRANSACTION START ID,
  PRIMARY KEY(sla_rule_id, filter_id),
  PERIOD SYSTEM_TIME (tech_start, tech_end)
)
MS SQL server

Instrução CREATE TABLE:

CREATE TABLE "globalschema".sla_rule_def_filters(
  sla_rule_id varchar(36) NOT NULL,
  filter_id varchar(36) NOT NULL,
  type varchar(16) NOT NULL,
  value varchar(256) NOT NULL,
  artifact_id varchar(128),
  is_children decimal(1) CHECK (
    is_children in (0, 1)
  ) DEFAULT 0 NOT NULL,
  tech_start DATETIME2 GENERATED ALWAYS AS ROW START NOT NULL,
  tech_end DATETIME2 GENERATED ALWAYS AS ROW END NOT NULL,
  ts_id DATETIME2 DEFAULT CURRENT_TIMESTAMP NOT NULL,
  CONSTRAINT PK_sla_rule_def_filters_globalschema PRIMARY KEY(sla_rule_id, filter_id),
  PERIOD FOR SYSTEM_TIME (tech_start, tech_end)
) WITH (
  SYSTEM_VERSIONING = ON (
    HISTORY_TABLE = "globalschema".hist_sla_rule_def_filters
  )
)

tabela sla_rule_def_conditions

Esta tabela contém informações sobre as condições de definição do SLA.

Esta tabela possui as seguintes colunas:

  • sla_rule_id - Identificador único do SLA.
  • condition_id - Identificador único para a condição de definição do SLA.
  • dimension_id - O identificador exclusivo da dimensão de qualidade dos dados.
  • dimension_name - Nome da dimensão da qualidade dos dados (por exemplo, Completude).
  • threshold - Um valor numérico predefinido que determina se uma condição foi atendida, atuando como um limite de conformidade.
  • is_children - Indica se a condição do SLA se aplica a uma coluna do ativo.
Postgres

Instrução CREATE TABLE:

CREATE TABLE "globalschema".sla_rule_def_conditions(
  sla_rule_id varchar(36) NOT NULL,
  condition_id varchar(36) NOT NULL,
  dimension_id varchar(36) NOT NULL,
  dimension_name varchar(128) NOT NULL,
  threshold float,
  is_children decimal(1) CHECK (
    is_children in (0, 1)
  ) DEFAULT 0 NOT NULL,
  tech_start TIMESTAMP(6) NOT NULL DEFAULT CURRENT_TIMESTAMP,
  tech_end TIMESTAMP(6) NOT NULL DEFAULT to_timestamp('9999-12-30', 'YYYY-MM-DD'),
  ts_id TIMESTAMP(6) NOT NULL DEFAULT CURRENT_TIMESTAMP,
  PRIMARY KEY(sla_rule_id, condition_id)
)
Db2

Instrução CREATE TABLE:

CREATE TABLE "globalschema".sla_rule_def_conditions(
  sla_rule_id varchar(36) NOT NULL,
  condition_id varchar(36) NOT NULL,
  dimension_id varchar(36) NOT NULL,
  dimension_name varchar(128) NOT NULL,
  threshold float,
  is_children decimal(1) CHECK (
    is_children in (0, 1)
  ) DEFAULT 0 NOT NULL,
  tech_start TIMESTAMP(12) NOT NULL IMPLICITLY HIDDEN GENERATED ALWAYS AS ROW BEGIN,
  tech_end TIMESTAMP(12) NOT NULL IMPLICITLY HIDDEN GENERATED ALWAYS AS ROW END,
  ts_id TIMESTAMP(12) NOT NULL GENERATED ALWAYS AS TRANSACTION START ID,
  PRIMARY KEY(sla_rule_id, condition_id),
  PERIOD SYSTEM_TIME (tech_start, tech_end)
)
MS SQL server

Instrução CREATE TABLE:

CREATE TABLE "globalschema".sla_rule_def_conditions(
  sla_rule_id varchar(36) NOT NULL,
  condition_id varchar(36) NOT NULL,
  dimension_id varchar(36) NOT NULL,
  dimension_name varchar(128) NOT NULL,
  threshold float,
  is_children decimal(1) CHECK (
    is_children in (0, 1)
  ) DEFAULT 0 NOT NULL,
  tech_start DATETIME2 GENERATED ALWAYS AS ROW START NOT NULL,
  tech_end DATETIME2 GENERATED ALWAYS AS ROW END NOT NULL,
  ts_id DATETIME2 DEFAULT CURRENT_TIMESTAMP NOT NULL,
  CONSTRAINT PK_sla_rule_def_conditions_globalschema PRIMARY KEY(sla_rule_id, condition_id),
  PERIOD FOR SYSTEM_TIME (tech_start, tech_end)
) WITH (
  SYSTEM_VERSIONING = ON (
    HISTORY_TABLE = "globalschema".hist_sla_rule_def_conditions
  )
)

tabela sla_rule_def_actions

Esta tabela contém informações sobre as ações relacionadas às definições de SLA.

Esta tabela possui as seguintes colunas:

  • sla_rule_id - Identificador único do SLA.
  • action_id - Identificador exclusivo da ação.
  • type - Tipo de fluxo de trabalho.
  • native_definition_name - Nome do tipo de fluxo de trabalho.
  • native_definition_id - Identificador exclusivo do tipo de fluxo de trabalho.
Postgres

Instrução CREATE TABLE:

CREATE TABLE "globalschema".sla_rule_def_actions(
  sla_rule_id varchar(36) NOT NULL,
  action_id varchar(36) NOT NULL,
  type varchar(36) NOT NULL,
  native_definition_name varchar(128) NOT NULL,
  native_definition_id varchar(128) NOT NULL,
  tech_start TIMESTAMP(6) NOT NULL DEFAULT CURRENT_TIMESTAMP,
  tech_end TIMESTAMP(6) NOT NULL DEFAULT to_timestamp('9999-12-30', 'YYYY-MM-DD'),
  ts_id TIMESTAMP(6) NOT NULL DEFAULT CURRENT_TIMESTAMP,
  PRIMARY KEY(sla_rule_id, action_id)
)
Db2

Instrução CREATE TABLE:

CREATE TABLE "globalschema".sla_rule_def_actions(
  sla_rule_id varchar(36) NOT NULL,
  action_id varchar(36) NOT NULL,
  type varchar(36) NOT NULL,
  native_definition_name varchar(128) NOT NULL,
  native_definition_id varchar(128) NOT NULL,
  tech_start TIMESTAMP(12) NOT NULL IMPLICITLY HIDDEN GENERATED ALWAYS AS ROW BEGIN,
  tech_end TIMESTAMP(12) NOT NULL IMPLICITLY HIDDEN GENERATED ALWAYS AS ROW END,
  ts_id TIMESTAMP(12) NOT NULL GENERATED ALWAYS AS TRANSACTION START ID,
  PRIMARY KEY(sla_rule_id, action_id),
  PERIOD SYSTEM_TIME (tech_start, tech_end)
)
MS SQL server

Instrução CREATE TABLE:

CREATE TABLE "globalschema".sla_rule_def_actions(
  sla_rule_id varchar(36) NOT NULL,
  action_id varchar(36) NOT NULL,
  type varchar(36) NOT NULL,
  native_definition_name varchar(128) NOT NULL,
  native_definition_id varchar(128) NOT NULL,
  tech_start DATETIME2 GENERATED ALWAYS AS ROW START NOT NULL,
  tech_end DATETIME2 GENERATED ALWAYS AS ROW END NOT NULL,
  ts_id DATETIME2 DEFAULT CURRENT_TIMESTAMP NOT NULL,
  CONSTRAINT PK_sla_rule_def_actions_globalschema PRIMARY KEY(sla_rule_id, action_id),
  PERIOD FOR SYSTEM_TIME (tech_start, tech_end)
) WITH (
  SYSTEM_VERSIONING = ON (
    HISTORY_TABLE = "globalschema".hist_sla_rule_def_actions
  )
)

Saiba Mais