Resultados da análise da qualidade dos dados:

Quando um ativo de dados é analisado com sucesso, os resultados são exibidos tanto no nível de ativo de dados quanto no nível de coluna. Os resultados de análise incluem informações sobre o conteúdo e a estrutura de seu ativo de dados e métricas sobre a qualidade geral de seus dados.

Os resultados da análise de qualidade de dados estão disponíveis na página Qualidade de dados do ativo em um projeto ou catálogo. Também é possível acessá-los de dentro de um enriquecimento de metadados clicando na pontuação de qualidade de um ativo ou coluna.

Permissões necessárias
Para visualizar os resultados da análise, deve-se ser um colaborador na área de trabalho
Para alterar a forma como as pontuações são calculadas, você deve ter a função de Administrador ou Editor no projeto.
Para criar novas verificações de qualidade de dados (regras de qualidade de dados ou verificações no enriquecimento de metadados), você deve ter a função de Administrador ou Editor no projeto. Para regras de qualidade de dados, você também deve ter a permissão Gerenciar ativos de qualidade de dados.
Para visualizar os dados que causaram problemas de qualidade (a tabela de resultados) no histórico de execução de regras ou na página Qualidade dos dados, é necessário ter a permissão de usuário “Detalhar os detalhes do problema ”. No entanto, o ativo de dados no projeto criado para a tabela de saída pode ser acessado por qualquer pessoa que possa acessar a conexão. Para limitar o acesso a esse ativo de dados, a conexão com a fonte de dados em que a tabela de saída está armazenada deve ser configurada com credenciais pessoais.

As informações de qualidade de dados ficam disponíveis em um projeto ou catálogo da seguinte forma:

  • Em um projeto, após a execução da primeira verificação de qualidade dos dados no ativo de dados por um desses métodos ou quando um ativo de dados de entidade conectado do IBM Master Data Management é adicionado:

    • A análise de qualidade de dados é executada no ativo, como parte do enriquecimento de metadados
    • Uma regra de qualidade de dados é executada no ativo

  • Em um catálogo:

    • Um ativo de dados com informações de qualidade de dados é publicado no Catálogo

As pontuações de qualidade são recalculadas e os dados são atualizados conforme a seguir:

  • Em um projeto, sempre que for executada uma verificação de qualidade dos dados do ativo ou quando um ativo de dados de entidade do IBM Master Data Management for atualizado:

    • Uma análise de qualidade de dados é executada no contexto de enriquecimento de metadados
    • Uma regra de qualidade de dados é executada no ativo..
    • O algoritmo de correspondência do IBM Master Data Management foi alterado ou os possíveis problemas de correspondência foram corrigidos.

  • Em um catálogo:

    • Um ativo é publicado a partir de um projeto

Você pode ver imediatamente quando os resultados de qualidade foram atualizados pela última vez.

Informações de qualidade de dados para um ativo

Ao acessar as informações de qualidade de dados de um ativo, você vê as pontuações gerais de qualidade de dados e os resultados das verificações de qualidade de dados que foram executadas no ativo. Além disso, você tem acesso aos resultados de análise para as colunas de ativos

Se os SLAs de qualidade de dados forem avaliados como parte do enriquecimento de metadados ou para uma regra de qualidade de dados, os ativos sujeitos a um SLA de qualidade de dados também conterão informações sobre a conformidade com o SLA.

Pontuações gerais no nível de ativos

Uma representação gráfica das pontuações de qualidade fornece uma visão rápida da qualidade geral do ativo e do nível de qualidade em relação às dimensões aplicadas ao ativo. Para essas pontuações, as informações de tendência mostram como a qualidade geral ou a pontuação de qualidade para uma dimensão foi alterada ao longo do tempo É possível selecionar se a tendência é mostrada para um período de 30, 90, ou 180 dias Uma dimensão não mostra informações de tendência se nenhuma verificação tiver contribuído para essa dimensão antes.

A pontuação geral do ativo é a média ponderada das pontuações fornecidas pelas colunas do ativo. Cada escore de dimensão é a média ponderada das pontuações de dimensão correspondentes que são fornecidas por verificações individuais

As pontuações gerais e de dimensão e as informações de tendência são recalculadas para estas mudanças:

  • Uma verificação de qualidade de dados é executada no ativo..
  • A configuração Contribui para pontuação geral para uma verificação ou uma coluna é alterada.
  • Uma regra de qualidade de dados que foi aplicada ao ativo é excluída
  • O perfil do ativo é excluído na página Perfil do ativo
  • O ativo é atualizado em IBM Master Data Management.

Cumprimento dos acordos de nível de serviço (SLA) relativos à qualidade dos dados

Para um ativo sujeito a um ou mais SLAs de qualidade de dados, os SLAs aplicados são listados juntamente com seus resultados e a data e hora da última avaliação. No caso de um SLA violado, é exibido o número de violações — que podem ocorrer em tabelas, colunas ou em ambas, dependendo das condições da regra —, bem como se foi configurada alguma ação para a regra. Se um fluxo de trabalho de correção da qualidade dos dados estiver vinculado ao SLA de qualidade dos dados que foi violado, você também poderá ver o status de quaisquer tarefas de correção que tenham sido iniciadas.

Você pode analisar detalhadamente os resultados de cada SLA de qualidade de dados. Para ver detalhes sobre as violações e as verificações que contribuíram para a pontuação de uma dimensão nos critérios de qualidade do SLA, clique no nome do SLA. A seção Violações fornece informações sobre o elemento para o qual a violação foi encontrada, os critérios de qualidade que foram definidos, a pontuação de qualidade real do elemento e o desvio em pontos percentuais (pp). Você também pode visualizar os detalhes da regra ou editar o SLA, caso tenha as permissões necessárias.

Para ativos que não estão sujeitos a nenhum SLA de qualidade de dados, esta seção está vazia.

Quando você publica um ativo, as informações sobre a conformidade com os SLAs de qualidade de dados também ficam disponíveis no catálogo de destino. As informações sobre tarefas de correção para problemas de qualidade de dados estão disponíveis apenas em projetos.

Resultados da verificação de qualidade de dados no nível do ativo...

Aqui é possível ver quais verificações foram executadas no ativo e quais foram os resultados. A lista é classificada por data com as verificações mais recentes no topo.

Verificação e lógica

O nome de uma regra de qualidade de dados e o nome da definição de qualidade de dados que contém a lógica da regra, ou o nome de uma verificação de qualidade de dados que foi executada no enriquecimento de metadados.

As regras de qualidade de dados com vinculações gerenciadas externamente contribuem para as pontuações de qualidade de dados de um ativo nesses casos:

  • Pelo menos uma das colunas de ativos foi selecionada para o relatório de índice de qualidade no estágio de subfluxo de regras.
  • Pelo menos uma das colunas de ativos é adicionada como um item relacionado à regra correspondente com a opção Valida a qualidade dos dados do relacionamento e nenhuma coluna para relatório de índice de qualidade é configurada no estágio de subfluxo da regra.

A mesma pontuação e os mesmos problemas são relatados para todos os ativos e colunas configurados em um único estágio de subfluxo de regra ou vinculados ao tipo de relacionamento Valida a qualidade dos dados em uma única regra.

As regras de qualidade de dados baseadas em SQL contribuem para as pontuações de qualidade de dados de um ativo se uma coluna desse ativo for adicionada como um item relacionado à regra correspondente com a relação Valida a qualidade dos dados. A mesma pontuação e os mesmos problemas são relatados para todas as colunas vinculadas a esse tipo de relacionamento em uma única regra.

Você pode clicar no nome de uma verificação de qualidade de dados para obter mais detalhes. Para as verificações executadas no enriquecimento de metadados, consulte as informações sobre os resultados: as colunas que apresentam problemas e o número e a porcentagem de valores nessas colunas que foram identificados como problemas de qualidade. Em um projeto, se for configurada uma tabela de resultados para esses problemas, um usuário com as permissões adequadas poderá visualizar as linhas específicas em que os dados apresentam problemas de qualidade. Você pode baixar essas informações como um arquivo d CSV o para trabalhar com os resultados. As informações da tabela de saída para análise da qualidade dos dados no enriquecimento de metadados não estão disponíveis nos catálogos.

Para regras de qualidade de dados, é possível ver a configuração de regra geral e ter acesso à tabela de saída da regra se uma estiver configurada. Se você deseja atualizar a configuração da regra e possui as permissões necessárias, pode acessar diretamente o recurso da regra no projeto de origem clicando em “Exibir regra de qualidade de dados ”.

Para os ativos de dados de entidades associadas a IBM e Master Data Management, a opção “Possíveis correspondências” é exibida aqui para facilitar a correspondência. Nenhuma informação adicional para este tipo de verificação é fornecida

Origem

A origem da verificação, que pode ser Regra de qualidade de dados, Correspondência, Criação de perfil, Termo comercial ou Definido por, que é uma verificação definida pelo usuário. São exibidos resultados correspondentes para IBM Master Data Management. Perfil, Termo comercial ou Definido por são mostrados para verificações de qualidade de dados que foram executadas no contexto do enriquecimento de metadados. Consulte Tipos de verificações de qualidade de dados.

Dimensão

A dimensão de qualidade de dados à qual essa verificação está vinculada As verificações de qualidade de dados predefinidas que são executadas durante a criação de perfil ou como parte do enriquecimento de metadados possuem dimensões padrão designadas Para as regras de qualidade de dados, você designa dimensões conforme necessário

Para os ativos de dados de entidades do IBM Master Data Management, é exibida a dimensão “Confiança da entidade ”.

Se nenhuma dimensão for configurada, o campo mostrará Nenhum.

Foco e porcentagem de dados com problemas

Dependendo do tipo de verificação, o foco pode ser uma ou mais colunas ou uma tabela inteira. Para as verificações de qualidade de dados predefinidas, o foco é sempre a tabela inteira Porcentagem de dados com problemas mostra quanto dos dados não atende aos critérios de qualidade definidos na verificação.

Dados verificados e problemas localizados

O número de registros que foram verificados e o número de problemas de qualidade localizados. Esses problemas podem estar no mesmo registro ou em registros diferentes

Amostragem

Informações de amostragem para a última execução do cheque. As informações dependem do tipo, da origem e da configuração do cheque.

Escore

A pontuação de qualidade que a verificação retornou para o ativo

Contribui para a pontuação geral

Essa configuração determina se essa pontuação de qualidade específica é considerada para o cálculo das pontuações gerais. É possível alterar essa configuração apenas em um projeto Você deve ser um administrador do projeto ou editor para isso. Em um catálogo, a configuração é bloqueada

Última verificação

A data e a hora em que a verificação foi executada pela última vez

É possível alternar para a visão geral da coluna clicando em Colunas..

Em um projeto, você também tem a opção de criar novas definições de qualidade de dados ou regras de qualidade de dados se o componente de qualidade de dados do site IBM watsonx.data intelligence estiver ativado. Você deve ser um administrador do projeto ou editor e ter a permissão Gerenciar ativos de qualidade de dados .

Visão geral de colunas

Visualize informações de qualidade de dados para as colunas individuais:

  • O nome da coluna.
  • O escore geral de qualidade de dados da coluna
  • A pontuação de qualidade da coluna para qualquer uma das dimensões aplicáveis ao ativo. Um traço (-) é mostrado se nenhuma das verificações aplicadas a essa coluna contribuiu para a dimensão.
  • O número de verificações que foram executadas em uma coluna.
  • Se a pontuação de qualidade de dados da coluna é considerada no cálculo da pontuação geral do ativo e da dimensão. Como um administrador do projeto ou editor, você pode alterar essa configuração.
  • Quando a coluna foi verificada pela última vez

É possível então realizar drill down nos detalhes de qualidade de dados para cada coluna.

É possível voltar à lista de verificações de qualidade de dados clicando em Verificações.

Informações de qualidade de dados para uma coluna

Ao acessar as informações de qualidade de dados para uma coluna, você vê uma seção que mostra as pontuações gerais de qualidade de dados e você tem acesso aos resultados das verificações de qualidade de dados que foram executadas na coluna. A correspondência não contribui para os dados de nível de coluna

Além das informações de qualidade, é possível ver quais classe de dados e termos de negócios são designados para a coluna

Pontuações gerais no nível da coluna

Uma representação gráfica das pontuações de qualidade fornece uma visão rápida da qualidade geral de uma coluna e do nível de qualidade em relação às dimensões que são aplicadas à coluna Para essas pontuações, as informações de tendência mostram como a qualidade geral ou a pontuação de qualidade para uma dimensão foi alterada ao longo do tempo É possível selecionar se a tendência é mostrada para um período de 30, 90, ou 180 dias

A pontuação geral para a coluna ou uma dimensão é a média ponderada das pontuações fornecidas pelas verificações de qualidade de dados que foram aplicadas à coluna

Em um projeto, as pontuações geral e de dimensão e as informações de tendência são recalculadas toda vez que uma verificação de qualidade de dados que afeta a coluna é executada no ativo A pontuação também é recalculada quando você muda a configuração Contribui para pontuação geral para uma verificação que afeta a coluna ou quando as regras de qualidade de dados ou o perfil de ativo são excluídos.

Em um catálogo, as pontuações geral e de dimensão e as informações de tendência são atualizadas quando um ativo é publicado de um projeto.

Resultados da verificação de qualidade de dados no nível de coluna....

Aqui, é possível ver quais verificações foram aplicadas à coluna e quais foram os resultados. A lista é classificada por data com as verificações mais recentes no topo.

Verificação e lógica

O nome de uma regra de qualidade de dados e o nome da definição de qualidade de dados que contém a lógica da regra, ou o nome de uma verificação de qualidade de dados que foi executada no enriquecimento de metadados.

As regras de qualidade de dados com ligações gerenciadas externamente contribuem para as pontuações de qualidade de dados de uma coluna nesses casos:

  • A coluna foi selecionada para o relatório de índice de qualidade no estágio de subfluxo de regras.
  • A coluna é adicionada como um item relacionado à regra correspondente com a opção Valida a qualidade dos dados do relacionamento e nenhuma coluna para relatório de índice de qualidade é configurada no estágio de subfluxo da regra.

Você pode configurar relatórios de pontuação refinados no estágio de subfluxo da regra, selecionando colunas diferentes para cada definição de qualidade de dados usada na regra. Se você não fornecer uma configuração de relatório no estágio de subfluxo da regra e tiver vinculado ativos e colunas com o tipo de relacionamento Valida a qualidade dos dados para uma regra, a mesma pontuação e os mesmos problemas serão relatados para esses ativos e colunas. Nenhuma pontuação é relatada se você não configurou nenhuma coluna para relatórios de índice de qualidade.

As regras de qualidade de dados baseadas em SQL contribuem para as pontuações de qualidade de dados de uma coluna se essa coluna for adicionada como um item relacionado à regra correspondente com a relação Valida a qualidade dos dados. A mesma pontuação e os mesmos problemas são relatados para todas as colunas vinculadas a esse tipo de relacionamento em uma única regra.

Você pode clicar no nome de uma regra de qualidade de dados para ver a configuração geral da regra e a tabela de resultados da regra, caso haja uma configurada. Se você deseja atualizar a configuração da regra e possui as permissões necessárias, pode acessar diretamente o recurso da regra no projeto de origem clicando em “Exibir regra de qualidade de dados ”.

Origem

A origem da verificação, que pode ser Regra de qualidade de dados, Criação de perfil, Termo comercial ou Definido por, que é uma verificação definida pelo usuário. Perfil, Termo comercial ou Definido por são mostrados para verificações de qualidade de dados que foram executadas no contexto do enriquecimento de metadados. Consulte Tipos de verificações de qualidade de dados.

Dimensão

A dimensão de qualidade de dados à qual essa verificação está vinculada As verificações de qualidade de dados predefinidas que são executadas durante a criação de perfil ou como parte do enriquecimento de metadados possuem dimensões padrão designadas Para regras de qualidade de dados, é possível designar dimensões conforme necessário. Se nenhuma dimensão for configurada, o campo mostrará Outro.

Porcentagem de dados com problemas

Esse valor mostra quanto dos dados não atende aos critérios de qualidade definidos na verificação.

Dados verificados e problemas localizados

O número de registros que foram verificados e o número de problemas de qualidade localizados. Esses problemas podem estar no mesmo registro ou em registros diferentes

Amostragem

Informações de amostragem para a última execução do cheque. As informações dependem do tipo, da origem e da configuração do cheque.

Escore

A pontuação de qualidade que a verificação retornou para a coluna

Contribui para a pontuação geral

Essa configuração determina se essa pontuação de qualidade específica é considerada para o cálculo das pontuações gerais. É possível alterar essa configuração apenas em um projeto Você deve ser um administrador do projeto ou editor para isso. Em um catálogo, a configuração é bloqueada

Última verificação

A data e a hora em que a verificação foi executada pela última vez

API IBM Knowledge Catalog para qualidade de dados

É possível usar uma coleção de APIs de REST para gerar e recuperar informações de qualidade de dados

Saiba Mais