Ativos de qualidade de dados

Projetar ativos de qualidade de dados para analisar e monitorar a qualidade de dados em um projeto.

Você pode ter os seguintes ativos de qualidade de dados em seu projeto:

Antes de começar a criar definições e regras de qualidade de dados, dê aos seguintes tópicos alguns pensados:

  • O que você quer analisar e monitorar?
  • Quais elementos você precisa avaliar?
  • Qual é o objetivo da análise, como verificar a integridade, validade e assim por diante?
Permissões necessárias
Para criar, editar ou excluir ativos de qualidade de dados, é necessário ter a permissão de usuário Manage data quality assets (Gerenciar ativos de qualidade de dados ) e a função Admin ou Editor no projeto.

Definições de qualidade de dados

Uma definição de qualidade de dados representa uma forma genérica de uma regra de qualidade de dados. Ele descreve a avaliação de regra ou condição ao utilizar variáveis lógicas que não estão vinculadas a nenhum dado real. Assim, ele pode ser usado em qualquer número de regras de qualidade de dados. Se você alterar a definição de qualidade de dados, você também altera a lógica de validação para todas as regras derivadas da definição.

Você cria e gerencia definições de qualidade de dados em projetos. Para disponibilizar uma definição de qualidade de dados para reutilização em outros projetos, é possível publicá-la em um catálogo.

Propriedades para definições de qualidade de dados

Além das propriedades do ativo comum, as definições de qualidade de dados têm as propriedades a seguir em projetos: Os usuários com as permissões apropriadas podem editar todas as propriedades

Para obter mais informações sobre as propriedades comuns, consulte Propriedades comuns para ativos.

Expressão de Regra
A lógica de regra definida As mudanças na expressão de regra afetam todas as regras derivadas dessa definição de qualidade de dados
 
Dimensão da qualidade de dados
Opcional. A métrica de qualidade de dados primária para a lógica de regras. A dimensão selecionada pode ser usada como categoria de relatório, para filtrar ou para visualizar dados selecionados.
 
Artefatos de controle
Opcional. Os termos de negócios e regras de controle que os usuários designaram ao ativo.
 
Propriedades Customizadas
Opcional. Quaisquer propriedades personalizadas definidas para este tipo de ativo.

Regras de qualidade de dados

Um link de regra de qualidade de dados ou binds variáveis lógicas a dados reais para avaliação. Uma regra é executada contra dados físicos para avaliar a qualidade de seus dados, avaliando e validando condições específicas. Cada regra de execução fornece estatísticas e informações sobre exceções potenciais conforme definido para a tabela de saída da regra.

Você cria, gerencia e executa regras de qualidade de dados em projetos. Para disponibilizar uma regra de qualidade de dados para reutilização em outros projetos, você pode publicá-la em um catálogo.

Você não pode publicar as seguintes regras de qualidade de dados em catálogos:

  • Regras de qualidade de dados parametrizadas
  • Regras de qualidade de dados com subfluxos

Além disso, quando você copia uma regra de qualidade de dados ou uma definição de qualidade de dados de um catálogo para o mesmo projeto várias vezes, várias regras de qualidade de dados ou definições de qualidade de dados com o mesmo nome podem ser criadas, dependendo da configuração do seu projeto para o tratamento de ativos duplicados.

É possível criar regras a partir de uma ou mais definições de qualidade de dados ou criar regras de qualidade de dados com instruções SQL. As regras criadas a partir de definições de qualidade de dados capturam quais colunas estão em conformidade com as condições da regra e quais não estão. As regras baseadas em SQL são mais adequadas para verificar registros fora de conformidade.

Por exemplo, você quer validar identificadores de impostos. Portanto, seus conceitos poderiam ser TaxID existe e Validar TaxID.

Agora, você tem estas opções:

  • Crie regras a partir das definições da qualidade dos dados Para qualquer conceito, é possível criar uma definição de qualidade de dados com a lógica de avaliação para a variável lógica tax_id. A primeira condição é que o identificador de imposto (ou TaxID) deve existir e a segunda condição é que o identificador de imposto deve atender um formato definido.

    Definição de qualidade de dados TaxID existe : tax_id exists
    Definição de qualidade de dados Validar TaxID : tax_id matches_format 'AA99-A999-9999'

    Em seguida, selecione uma destas opções:

    • Para cada coluna que contém um identificador de imposto a ser validado, defina duas regras de qualidade de dados.. A primeira regra liga a variável lógica tax_id da definição TaxID existe à coluna. A segunda regra liga a variável lógica tax_id da definição Validar TaxID à coluna.
    • Para cada coluna que contém um identificador de imposto a ser validado, defina uma regra de qualidade de dados e use ambas as definições de qualidade de dados nessa regra.. Ligue a variável lógica tax_id na definição TaxID existe e Validar TaxID à coluna.
    • Defina uma regra de qualidade de dados e use ambas as definições de qualidade dos dados nessa regra Ligue a variável lógica tax_id na definição TaxID existe e Validar TaxID a um conjunto de parâmetros do tipo Parâmetro da coluna. Inclua todas as colunas que contêm um identificador de imposto a ser validado para esse conjunto de parâmetros...

  • Crie uma regra baseada em SQL: select tax_id from taxschema.taxtable where tax_id is null or not regexp_like(tax_id, '^[a-zA-Z]{2}[0-9]{2}-[a-zA-Z][0-9]{3}-[0-9]{4}$')

Propriedades para regras de qualidade de dados

Além das propriedades do ativo comum, as regras de qualidade de dados têm as propriedades a seguir em projetos: Os usuários com as permissões apropriadas podem editar todas as propriedades

Para obter mais informações sobre as propriedades comuns, consulte Propriedades comuns para ativos.

Expressões ligadas
A lista de expressões de regra Você pode ver informações sobre um destino vinculado passando o mouse sobre a tag na expressão vinculada.
Tipo de regra: Regra simples
 
Expressões de regras
A lista de expressões de regra
Tipo de regra: Regra com ligações externas
 
conexão SQL
A conexão com a origem de dados na qual a regra será aplicada
Tipo de regra: regra baseada em SQL
 
Instruções SQL
A consulta SQL que compõe a regra
Tipo de regra: regra baseada em SQL
 
Dimensão da qualidade de dados
Opcional. A métrica de qualidade de dados primária para a qual a regra de qualidade de dados contribui.
Tipo de regra: Regra simples, regra com ligações externas
 
Fluxo de DataStage relacionado
O fluxo do DataStage que fornece as ligações para a regra
Tipo de regra: Regra com ligações externas
 
Definições de qualidade de dados
As definições de qualidade de dados que fornecem as expressões de regras
Tipo de regra: Regra simples, regra com ligações externas
 
Artefatos de controle
Opcional. Os termos de negócios e regras de controle que os usuários designaram ao ativo.
Tipo de regra: Regra simples, regra com ligações externas, regra baseada em SQL
 
Propriedades Customizadas
Opcional. Quaisquer propriedades personalizadas definidas para este tipo de ativo.
Tipo de regra: Regra simples, regra com ligações externas, regra baseada em SQL
 
Relacionamentos
As relações aparecem na seção “Objetos relacionados” e podem ser entre a regra de qualidade de dados e ativos ou colunas no mesmo projeto, ou entre a regra e um artefato.
As seguintes relações são criadas automaticamente:
  • Para todos os tipos de regras, um “É implementado por ” é associado ao fluxo “ DataStage ”
  • Para regras simples:
    • É usado pela relação com o fluxo associado DataStage.
    • A Valida a qualidade dos dados da relação com cada coluna vinculada.
    • A Utiliza uma relação vinculativa com cada ativo pai de uma coluna vinculada. Não edite essas relações.
  • Para regras com ligações gerenciadas externamente, é implementado por e é usado por relações com o subfluxo associado DataStage
  • Para regras simples e regras com ligações gerenciadas externamente, uma relação Implements para cada uma das definições de qualidade de dados referenciadas
Adicione objetos relacionados conforme necessário.
A página Qualidade dos dados mostra informações agregadas para cada coluna listada aqui com uma relação que valida a qualidade dos dados. Para regras com ligações externas, as pontuações de qualidade são relatadas para colunas com essa relação apenas se nenhuma coluna para relatório de pontuação de qualidade estiver configurada no estágio de subfluxo da regra.
 
Saída selecionada
Opcional. Se configurado, as colunas da tabela de saída de regras
Tipo de regra: Regra simples, regra com ligações externas, regra baseada em SQL

Transferência de ativos de qualidade de dados entre projetos

Você pode exportar ativos de qualidade de dados de um projeto e importá-los para outro, conforme descrito em Exportação de ativos de projeto. Além das definições e regras de qualidade de dados, você pode selecionar os seguintes itens associados às regras de qualidade de dados a serem incluídos na exportação do projeto:

  • Conexões

    Importante: se uma regra de qualidade de dados usar uma conexão com credenciais pessoais, desbloqueie essa conexão após a importação antes de executar a regra.

  • Ativos de dados que são usados em vinculações

  • DataStage fluxos e subfluxos

  • Tarefas

  • Ativos de dados que foram criados para tabelas de saída de regras

Os itens a seguir não são exportados:

  • Histórico de execução de regras
  • Quaisquer artefatos de governança que estejam associados a um ativo de qualidade de dados
  • Configurações de saída em nível de projeto
  • Informações de qualidade de dados geradas por regras

Se você definiu quaisquer propriedades personalizadas nas definições e regras de qualidade de dados que exporta, certifique-se de que as mesmas propriedades personalizadas com os identificadores exclusivos exatos estejam definidas no sistema de destino antes de importar o projeto.

Saiba Mais