Gerenciar regras de qualidade de dados

Você pode criar e gerenciar regras de qualidade de dados para avaliação da qualidade dos dados em seu projeto.

Se você tiver as permissões necessárias, você pode gerenciar regras de qualidade de dados nestes modos:

Você também pode concluir essas tarefas com APIs em vez da interface com o usuário. Os links para essas APIs estão listados na seção Saiba mais .

Requisitos e restrições

Serviços necessários

Os seguintes serviços devem estar disponíveis:

  • IBM watsonx.data intelligence
  • DataStage ou DataStage as a Service Anywhere '
    Com o DataStage, você pode executar regras de qualidade de dados nas regiões suportadas. Com o DataStage as a Service Anywhere, você pode executar regras de qualidade de dados em um local no local ou em qualquer nuvem ou data center usando mecanismos remotos. Para obter mais informações sobre a configuração de mecanismos remotos, consulte a documentação do site DataStage as a Service Anywhere.

Configurações de Projeto

Você pode definir estas configurações:

  • Na página Inteligência de dados, habilite ou desabilite consultas em linguagem natural para o projeto.
  • Na página Qualidade dos dados, configure uma tabela padrão para a saída da regra e ative ou desative as descrições geradas por IA para as regras de qualidade dos dados.

Algumas configurações no nível do projeto determinam certos aspectos da execução das regras de qualidade dos dados, por exemplo, se os espaços à direita nos valores das cadeias de caracteres são ignorados nas verificações de igualdade. Essas configurações se aplicam a todas as regras de qualidade de dados para um determinado projeto. No entanto, você não pode alterá-los na interface do usuário. Você pode verificar ou atualizar essas configurações para cada projeto usando a API IBM Knowledge Catalog Get project settings for data quality rules e Replace project settings for data quality rules.

Permissões necessárias

Para visualizar regras de qualidade de dados, deve-se ter pelo menos a função Visualizador no projeto.

Para criar, editar ou excluir regras de qualidade de dados, é necessário ter a permissão de usuário Gerenciar ativos de qualidade de dados e a função de Administrador ou Editor no projeto.

Para ver a saída ao testar uma regra baseada em definição que não tem tabela de saída configurada, você deve ter a permissão de usuário Drill down to issue details (Detalhes da emissão).

Criando regras de qualidade de dados

Você pode criar diferentes tipos de regras de qualidade de dados:

Publicação de regras de qualidade de dados

Você pode disponibilizar qualquer regra de qualidade de dados para reutilização em outros projetos, publicando-a em um catálogo, de onde ela poderá ser adicionada a qualquer número de projetos. Antes de fazer isso, certifique-se de que a descrição da regra de qualidade dos dados forneça informações significativas. Essas informações ajudam outros usuários a escolher a regra de qualidade de dados adequada para uso em seus projetos.

Para publicar uma regra de qualidade de dados:

  1. Selecione a regra de qualidade dos dados na lista de ativos e clique em Publicar no catálogo. Como alternativa, você pode selecionar Publicar no catálogo no menu de overflow do ativo.
  2. Selecione o catálogo e preencha as propriedades do ativo.
  3. Se já existir uma duplicata do ativo no catálogo, será possível especificar qual ação deve ser tomada nesse caso. As opções disponíveis são determinadas pela configuração padrão do catálogo. Para obter mais informações sobre o tratamento de ativos duplicados, consulte Tratamento de ativos duplicados em catálogos.
  4. Clique em Publicar. Os ativos são incluídos no catálogo e você é o proprietário deles. Os termos e classificações comerciais atribuídos estão listados na seção Artefatos de governança. As regras de governança atribuídas são exibidas na seção Itens relacionados com a relação É governado por.

Quando você publica uma regra de qualidade de dados em um catálogo, os objetos relacionados, como definições de qualidade de dados, ativos de dados e conexões, também são publicados.

Editar regras de qualidade de dados

Você pode editar uma regra de qualidade de dados para atualizar a sua descrição, a dimensão de qualidade de dados selecionada, quaisquer designações de termo de negócio ou a configuração de regra. Também é possível gerenciar a lista de itens relacionados..

Para editar uma regra de qualidade de dados, abra o ativo e execute as ações apropriadas:

  • Para atualizar a descrição, quaisquer explicações sobre a lógica da regra ou as dimensões de qualidade dos dados, clique no ícone Editar Editar ícone ao lado da propriedade. Você pode atualizar manualmente a descrição e as explicações ou gerá-las usando IA.
  • Para gerenciar termos de negócios, acesse a seção artefatos de governança do ativo e inclua ou remova termos conforme necessário.
  • Para designar ou excluir regras de controle, acesse a seção Artefatos de controle do ativo e inclua ou remova regras de controle conforme necessário.
  • Para adicionar ou remover artefatos, ativos ou colunas relacionados, vá para a seção Itens relacionados do ativo e adicione ou remova itens conforme necessário.
  • Para gerenciar propriedades personalizadas (se disponíveis), acesse a seção Detalhes.
  • Para atualizar a configuração de regra, clique em Editar regra. Para todos os tipos de regras, você pode alterar o tipo de saída. Dependendo de sua nova seleção, quaisquer configurações de saída configuradas serão reconfiguradas ou sobrescritas.. A saída de regra que foi gravada antes da mudança permanece intocada Para regras baseadas em SQL, você pode alterar a instrução SQL. Para regras baseadas em definição, você pode alterar quais definições de qualidade de dados são usadas e as configurações de amostragem. Não é possível alterar a maneira como os vínculos são gerenciados.

Para regras de qualidade de dados que vinculam dados diretamente, uma relação Valida a qualidade dos dados com cada coluna vinculada é adicionada à seção Itens relacionados. Você pode adicionar manualmente colunas com esse tipo de relacionamento às regras de qualidade de dados com ligações gerenciadas externamente ou regras de qualidade de dados baseadas em SQL. As regras baseadas em SQL contribuem para as pontuações de qualidade dos dados da coluna correspondente. As regras com vínculos externos contribuem para os escores de qualidade dos dados das colunas que estão vinculadas ao relacionamento Valida a qualidade dos dados somente se nenhuma coluna estiver configurada para relatório de escore no estágio de subfluxo da regra.

Ao visualizar uma regra de qualidade de dados, você pode clicar no ícone ícone de informações Informações para ver mais detalhes, como configurações de saída ou ativos relacionados.

Excluindo regras de qualidade de dados

Você pode excluir uma regra de qualidade de dados em uma dessas formas:

  • No projeto, selecione a regra de qualidade dos dados e clique em Excluir.
  • Abra a regra de qualidade dos dados e selecione Excluir do menu de estouro ao lado do nome da regra de qualidade dos dados.

Quando você exclui uma regra de qualidade de dados, seu histórico de execução, qualquer fluxo de DataStage associado e empregos também são excluídos do projeto. As tabelas de saída no projeto e no banco de dados são mantidas. Os problemas que foram retornados por essa regra de qualidade de dados serão removidos e as pontuações de qualidade de dados e dimensão serão recalculadas.

Saiba Mais