Informações de qualidade de dados para ativos de dados
Os dados são úteis apenas se sua qualidade for confiável e avaliada continuamente. É possível monitorar a qualidade de dados de um ativo de dados em sua página Qualidade de dados
As mesmas informações que na guia Qualidade de dados estão disponíveis ao clicar em um escore de qualidade de dados em um ativo de enriquecimento de metadados.
Requisitos e restrições
É possível visualizar informações de qualidade de dados para ativos nas seguintes circunstâncias.
Serviços necessários
A qualidade dos dados requer o serviço IBM watsonx.data intelligence. No entanto, as regras de qualidade de dados em execução estão disponíveis apenas nas regiões de Dallas, Frankfurt, Sydney e Toronto. Veja Limitações regionais.
(Opcional) A correspondência requer o serviço IBM Master Data Management.
Permissões necessárias
Suas funções determinam como é possível interagir com a qualidade de dados:
- Para visualizar a página Qualidade de dados , é possível ter qualquer função de colaborador na área de trabalho
- Para mudar a forma como as pontuações são calculadas, deve-se ter a função de Administrador ou Editor no projeto
- Para criar novas verificações de qualidade de dados, você deve ter a função Administrador ou Editor no projeto e a permissão Gerenciar ativos de qualidade de dados .
- Para visualizar os dados que causaram problemas de qualidade de dados (a tabela de saída) na página Qualidade de dados, você deve ter a permissão Desmembrar para detalhes do problema. No entanto, o ativo de dados no projeto criado para a tabela de saída pode ser acessado por qualquer pessoa que possa acessar a conexão. Para limitar o acesso a esse ativo de dados, a conexão com a fonte de dados em que a tabela de saída está armazenada deve ser configurada com credenciais pessoais.
Áreas de trabalho
É possível visualizar informações de qualidade de dados nestas áreas de trabalho:
- Projetos
- Catálogos
Tipos de Recursos
Esses tipos de ativos possuem informações de qualidade de dados:
- Ativos de dados de bancos de dados relacionais ou não relacionais de uma conexão com as origens de dados
- Ativos de dados de conjuntos de dados particionados, em que um conjunto de dados particionados consiste em vários arquivos e é representado por uma única pasta transferida por upload do sistema de arquivos local ou de conexões baseadas em arquivos para as origens de dados
- Ativos de dados a partir de arquivos transferidos por upload do sistema de arquivos local ou de conexões com base em arquivo para as origens de dados, com estes formatos:
- CSV
- XLS, XLSM, XLSX (apenas a primeira folha em uma pasta de trabalho.)
- TSV
- Avro
- OCR
- Parquet
- IBM Master Data Management ativos de dados de entidades
Visão geral
Na página Qualidade de dados , você encontra informações sobre a qualidade de um ativo de dados:
- O escore geral de qualidade de dados do ativo Essa é a média ponderada das pontuações fornecidas por suas colunas
- As pontuações para as dimensões individuais Para cada dimensão, essa é a média ponderada das pontuações de dimensão correspondentes fornecidas pelas verificações individuais As verificações de qualidade de dados que são executadas como parte do enriquecimento de metadados têm dimensões padrão atribuídas. Para as regras de qualidade de dados, você designa dimensões conforme necessário IBM Master Data Management fornece a dimensão de confiança da Entidade.
- Informações de tendência que mostram como a qualidade geral ou a pontuação de qualidade para uma dimensão foi alterada em 30, 90 ou 180 dias.
- Informações sobre o cumprimento dos SLAs de qualidade de dados e tarefas de correção. Esta seção é preenchida apenas se o enriquecimento de metadados com a função “Avaliar a qualidade dos dados com SLAs” tiver sido executado no ativo.
- A lista de verificações de qualidade de dados que foram aplicadas para o ativo e seus resultados
- Informações de qualidade de dados para colunas individuais.
A página de qualidade de dados em projetos
A página Qualidade de dados é preenchida após a primeira verificação de qualidade de dados ser executada no ativo de dados de uma destas maneiras:
- A análise de qualidade de dados é executada no ativo, como parte do enriquecimento de metadados
- Uma regra de qualidade de dados é executada no ativo
- É adicionado um ativo de dados de entidade conectado IBM Master Data Management.
Quando um ativo é importado de um catálogo, apenas as informações de perfil são copiadas para o projeto As informações de qualidade de dados não são copiadas
As pontuações de qualidade são recalculadas e os dados nesta página são atualizados nestes casos:
- A análise de qualidade de dados é executada no contexto de enriquecimento de metadados
- As regras de qualidade de dados são executadas no ativo
- Uma regra de qualidade de dados que contribuiu para as pontuações é excluída Todos os problemas retornados por essa regra de qualidade de dados são removidos.
- O perfil do ativo é excluído na página Perfil do ativo Todos os problemas que foram retornados pelas verificações de qualidade de dados predefinidas são removidos
- O ativo de dados de entidade IBM Master Data Management é atualizado; por exemplo, o algoritmo de correspondência é ajustado ou possíveis problemas de correspondência são corrigidos.
As pontuações gerais e de dimensões também são atualizadas toda vez que você muda a configuração Contribui para a pontuação geral para uma verificação ou uma coluna
Você pode ver imediatamente quando os resultados de qualidade foram atualizados pela última vez.
Se a avaliação do SLA de qualidade de dados for realizada como parte do enriquecimento de metadados ou quando uma regra de qualidade de dados for executada, as informações de qualidade de dados podem incluir dados sobre a conformidade com os SLAs de qualidade de dados e tarefas de correção para problemas de qualidade de dados.
A seção sobre conformidade e correção do SLA contém o seguinte conteúdo:
- Uma lista dos SLAs de qualidade de dados aplicados ao ativo
- Para cada SLA, o resultado, que pode ser “Aprovado” ou “Violado”, e a data e a hora da última avaliação
- Para SLAs violados, o número de violações — que podem ocorrer em tabelas, colunas ou ambos, dependendo das condições da regra — e se foi configurada uma ação para a regra
- Uma visão geral do status das tarefas de correção que foram iniciadas
Você pode analisar detalhadamente os resultados de cada SLA de qualidade de dados.
Na seção Verificações de qualidade de dados , é possível ver as informações a seguir:
- Quais verificações foram executadas no ativo, classificadas por data com as verificações mais recentes na parte superior
- A qual dimensão cada verificação está vinculada
- Se uma verificação foi aplicada a todo o ativo ou a colunas no ativo
- Informações sobre o número de problemas localizados
- Informações de amostragem dependendo do tipo, origem e configuração do controle
- A pontuação de qualidade dos dados gerada por uma verificação
- Se a pontuação de qualidade de dados de uma verificação é considerada no cálculo da pontuação geral do ativo e das pontuações de dimensão
- Quando foi a última execução da verificação
Você pode analisar detalhadamente os resultados de cada verificação, exceto no caso da correspondência entre IBM e Master Data Management. Como um administrador do projeto ou editor, é possível alterar para cada verificação se ela contribui para o escore geral de qualidade de dados e criar novas verificações de qualidade de dados.
É possível alternar entre a visualização Verificações e a visualização Colunas . A seção Visão geral da coluna mostra as seguintes informações para cada coluna que estava sujeita a qualquer uma das verificações de qualidade de dados:
- O nome da coluna
- A pontuação de qualidade da coluna para qualquer uma das dimensões que são aplicáveis ao ativo
- O número de verificações que foram executadas em uma coluna
- Se a pontuação de qualidade de dados da coluna é considerada no cálculo da pontuação geral do ativo e da dimensão
- Quando a coluna foi verificada pela última vez
É possível então realizar drill down nos detalhes de qualidade de dados para cada coluna. Como um administrador do projeto ou editor, também é possível mudar para cada coluna se seu escore de qualidade contribui para o escore de qualidade de dados geral.
A página de qualidade de dados em catálogos
A página Qualidade de dados é inicialmente preenchida quando um ativo de dados que tem informações de qualidade de dados é publicado no catálogo.. A página está vazia para qualquer ativo que você inclui diretamente como ativo conectado ou que você faz upload de seu sistema de arquivos local Para gerar informações de qualidade de dados para esses ativos, inclua-os em um projeto e execute o enriquecimento de metadados ou as regras de qualidade de dados nos ativos Em seguida, publique-os no catálogo..
Os escores de qualidade são atualizados e os dados nessa página são atualizados toda vez que o ativo é publicado de um projeto com novas informações de qualidade de dados.
Você pode ver imediatamente quando os resultados de qualidade foram atualizados pela última vez.
As seções Verificações de qualidade de dados e Visão geral da coluna fornecem as mesmas informações que a guia Qualidade de dados no projeto. Você pode acessar os detalhes de um cheque ou de uma coluna. O nível de detalhes disponível para você é determinado pelas suas permissões. No que diz respeito às verificações de qualidade dos dados realizadas como parte do enriquecimento de metadados, as informações se limitam aos resultados. As tabelas de saída, mesmo que estejam configuradas, não são exibidas no catálogo.
Informações sobre o cumprimento dos SLAs de qualidade de dados estão disponíveis na seção de conformidade com SLAs:
- Uma lista dos SLAs de qualidade de dados aplicados ao ativo
- Para cada SLA, o resultado, que pode ser “Aprovado” ou “Violado”, e a data e a hora da última avaliação
- Para SLAs violados, o número de violações — que podem ocorrer em tabelas, colunas ou ambos, dependendo das condições da regra — e se foi configurada uma ação para a regra
Você pode analisar detalhadamente os resultados de cada SLA de qualidade de dados.
As informações sobre tarefas de correção para problemas de qualidade de dados não estão disponíveis nos catálogos.