Pontuações de qualidade de dados

Uma pontuação de qualidade de dados é exibida para o ativo de dados inteiro e para todas as colunas que o ativo de dados analisado contém. As pontuações de qualidade de dados são calculadas com base nos resultados das verificações de qualidade de dados que são executadas em todo o ativo e em suas colunas.

Os seguintes tipos de verificações de qualidade de dados fornecem pontuações de qualidade de dados:

  • Verificações de qualidade de dados que são executadas durante a análise de qualidade no enriquecimento de metadados (Projetando o enriquecimento de metadados )

    As verificações de qualidade de dados geradas automaticamente ou adicionadas manualmente para os ativos de dados em um enriquecimento de metadados analisam a qualidade dos dados quando você executa o enriquecimento de metadados. A maioria das verificações funciona no nível da coluna e avalia apenas as colunas individuais às quais são adicionadas. Cada verificação de qualidade de dados está associada a uma dimensão de qualidade de dados. Para obter mais informações, consulte Tipos disponíveis de verificações de qualidade de dados.

  • Regras de qualidade de dados (Gerenciando regras de qualidade de dados)

    As regras de qualidade de dados validam condições específicas na origem de dados. Eles podem ser executados manualmente ou automaticamente em um planejamento.

    Uma regra de qualidade de dados pode contribuir para mais de uma dimensão, dependendo da configuração da regra Se nenhuma dimensão for configurada para uma regra, seus resultados serão capturados como uma pontuação de dimensão Nenhum

  • IBM Master Data Management correspondente

Para cada verificação, é possível determinar se seus resultados contribuem para o escore geral de qualidade de dados Consulte Resultados da Análise de Qualidade de Dados

Você também pode recuperar as pontuações de qualidade de dados para ativos individuais usando a API IBM Knowledge Catalog.

Como as pontuações de qualidade de dados são calculadas

A pontuação da coluna é calculada como uma média ponderada dos escores de dimensões disponíveis para a coluna, o que significa que os escores de todas as dimensões para as quais pelo menos uma verificação de qualidade de dados foi executada e retornou um resultado.

Um escore de dimensão, exceto para a dimensão Confiança da entidade , é calculado multiplicando os números de probabilidade de todos os problemas para os quais as verificações de qualidade de dados procuraram essa dimensão, em que o número de probabilidade de um problema é (1-frequência). Por exemplo, suponha que uma coluna tenha 2 problemas de qualidade diferentes que são relatados para a mesma dimensão O problema 1 ocorre com uma frequência de 10% e o problema 2 com uma frequência de 20%. Assim, a probabilidade de um valor nessa coluna não ter problema 1 é de 90%. Para a questão 2, é de 80%. Portanto, a probabilidade de que a coluna tenha algum problema de qualidade nessa dimensão é de 72%, o que é calculado da seguinte forma:

(1.0 - 0.1) × (1.0 - 0.2) = 0.9 × 0.8 = 0.72

Para a dimensão Confiança da entidade , a pontuação da dimensão representa a porcentagem de entidades do tipo de entidade específico que não possuem registros com possíveis problemas de correspondência como membro

Pontuações de ativos (a pontuação geral ou as pontuações de dimensões) são calculadas como média ponderada das pontuações correspondentes de suas colunas.

Em projetos, é possível mudar o que é considerado para calcular as pontuações mudando a configuração Contribui para a pontuação geral . Essa configuração está ativada por padrão.. É possível excluir os resultados de colunas inteiras e os resultados para determinadas verificações no nível de coluna ou no nível do ativo

Nos projetos, as pontuações de qualidade são recalculadas nestes casos:

  • A análise de qualidade de dados é executada no contexto de enriquecimento de metadados
  • As regras de qualidade de dados existentes ou novas são executadas no ativo
  • Uma regra de qualidade de dados que contribuiu para as pontuações é excluída
  • Uma configuração Contribui para pontuação geral é alterada.
  • Um ativo de dados de entidade do IBM Master Data Management é atualizado.

Em catálogos, as pontuações de qualidade mudam quando o ativo é publicado novamente..

Como são calculadas as pontuações de qualidade de dados para regras de qualidade de dados baseadas em SQL

Quando uma regra baseada em SQL é executada, a primeira etapa é verificar se a criação de perfil foi executada no ativo e, em caso afirmativo, se os resultados da criação de perfil incluem o número total de registros. Essa contagem de registros é usada para calcular o índice de qualidade se o número for menor do que o tamanho da amostra definido no enriquecimento de metadados.

Se nenhuma contagem de registros puder ser definida dessa forma, o tipo de ativo será verificado. Para um ativo baseado em consulta, a consulta a seguir é executada para recuperar os registros da fonte de dados:

select count(*) from (<original query>)

Em que <original query> é a instrução SQL que cria o ativo baseado em consulta.

Se a contagem de registros não puder ser determinada dessa forma ou se o ativo não for um ativo baseado em consulta, será verificado se o conector usado para importar o ativo de dados pode obter a contagem total de registros. Em caso afirmativo, a contagem de registros é recuperada.

Se a contagem total de registros for menor que o número de registros de saída da regra ou se nenhuma contagem total de registros puder ser determinada, a pontuação de qualidade dos dados será definida como 0%. Caso contrário, a pontuação é calculada da seguinte forma:

(1 - <número_de_registros_de_saída>/<contagem_total_de_registros>) × 100

Exemplo de cálculo de pontuação

Suponha que um ativo de dados tenha as colunas ID, NAME, EMAIL, PHONE e SALÁRIO. Todas as colunas e todos os tipos de problemas contribuem para as pontuações gerais (a configuração padrão)

Inicialmente, nenhuma pontuação de qualidade de dados está disponível porque nenhuma verificação de qualidade de dados foi executada no ativo.. Para gerar informações de qualidade de dados:

  1. IBM Master Data Management A análise é executada no conjunto de dados e identifica os seguintes problemas:

    • 10% de entidades correspondentes para o ativo de dados Essas informações são consideradas para a dimensão de qualidade dos dados Confiança da entidade..

      As seguintes pontuações no nível do ativo são calculadas:

      • Pontuação de dimensão
        Confiança da entidade: (1- 0.1) = 90%

      • Pontuação geral: 90%

  2. Execute a análise de qualidade de dados como parte do enriquecimento de metadados A análise de qualidade identifica estes problemas:

    • Valores omissos, que são considerados para a dimensão de qualidade de dados Completeness:
      • 3% dos valores na coluna NAME
      • 5% dos valores na coluna EMAIL
      • 3% dos valores na coluna PHONE
    • Violações de classe de dados, que são consideradas para a dimensão de qualidade de dados Validade:
      • 10% dos valores na coluna EMAIL
      • 6% dos valores na coluna PHONE
    • Valores discrepantes ou suspeitos, que são considerados para a dimensão de qualidade de dados Consistência:
      • 4% dos valores na coluna NAME
      • 1% dos valores na coluna SALÁRIO

    Essas descobertas resultam nas seguintes pontuações para as colunas individuais:

    • ID da Coluna
      • Pontuações da dimensão
        Confiança da entidade : 90% (inalterado)
        Completude : 100% (A verificação de completude não encontrou nenhum problema)
        Validade : 100% (nenhuma das verificações de validade encontrou problemas)
        Consistência : 100% (nenhuma das verificações de consistência encontrou problemas)
      • Pontuação geral da coluna: (90% + 100% + 100% + 100%) /4 = 97.5%
    • Nome da coluna
      • Pontuações de dimensão
        Confiança da entidade: 90% (inalterado)
        Completeza: 100%-3% = 97%
        Validade: 100%
        Consistência: 100%-4% = 96%
      • Pontuação da coluna geral: (90% + 97% + 100% + 96%) /4 = 95.75%
    • Coluna EMAIL
      • Escores de dimensão
        Confiança da entidade: 90% (inalterado)
        Conclusão: 100%-5 %=95%
        Validade: 100%-10% = 90%
        Consistência: 100%
      • Pontuação geral da coluna: (90% + 95% + 90% + 100%) /4 = 93.75%
    • Coluna PHONE
      • Pontuações de dimensão
        Confiança da entidade: 90% (inalterado)
        Conclusão: 100%-3% = 97%
        Validade: 100%-6% = 94%
        Consistência: 100%
      • Pontuação geral da coluna: (90% + 97% + 94% + 100%) /4 = 95.25%
    • Coluna SALÁRIO
      • Pontuações de dimensão
        Confiança da entidade: 90% (inalterado)
        Conclusão: 100%
        Validade: 100%
        Consistência: 100%-1% = 99%
      • Pontuação geral da coluna: (90% + 100% + 100% + 99%) /4 = 97.25%

    A partir dessas pontuações, as pontuações no nível de ativo são calculadas:

    • Pontuações de dimensão
      Confiança da entidade: (90% + 90% + 90% + 90% + 90% + 90%) /5 = 90%
      Completeness: (100% + 97% + 95% + 97% + 100%) /5 = 97.8%
      Validade: (100% + 100% + 90% + 94% + 100%) /5 = 96.8%
      Consistência: (100% + 96% + 100% + 100% + 99%) /5 = 99%

    • Pontuação Geral: (97.5% + 95.75% + 93.75% + 95.25% + 97.25%) /5 = 95.9%

  3. Execute a regra de qualidade de dados Name_Complete, que é aplicada à coluna NAME para verificar se ela contém um nome e um sobrenome. A regra é ligada à dimensão de qualidade de dados Completeness. Essa regra relata 1% de violações na coluna NAME.

    As pontuações da coluna NAME são alteradas da seguinte forma: As pontuações das outras colunas permanecem inalteradas..

    • Escores de dimensões
      Confiança da entidade: 90% (inalterado)
      Completa: (1-0.03) × (1-0.01) = 0.9603 = 96.03%
      Validade: 100% (inalterado)
      Consistência: 96% (inalterado)
    • Pontuação geral: (90% + 96.03% + 100% + 96%) /4 = 95.5%

    Essas mudanças também alteram as pontuações do ativo

    • Escores de dimensão
      Confiança da entidade: 90% (inalterado)
      Conclusão: (100% + 96% + 95% + 97% + 100%) /5 = 97.6%
      Validade: 96.8% (inalterado)
      Consistência: 99% (inalterado)
    • Pontuação geral: (97.5% + 95.5% + 93.75% + 95.25% + 97.25%) /5 = 95.85%

  4. Execute uma regra de qualidade de dados adicional Phone_Valid, que é aplicada à coluna PHONE para verificar se o número do telefone tem o código do país e o prefixo que correspondem ao endereço A regra é vinculada à dimensão de qualidade de dados Validade Esta regra relata 2% de violações na coluna PHONE.

    As pontuações da coluna PHONE são alteradas da seguinte forma: As pontuações das outras colunas permanecem inalteradas..

    • Escores de dimensão
      Confiança da entidade: 90% (inalterado)
      Completa: 97% (inalterado)
      Validade: (1.0-0.06) × (1.0-0.02) = 0.9212 = 92.12%
      Consistência: 100%
    • Pontuação geral: (90% + 97% + 92.12% + 100%) /4 = 94.78%

    Essas mudanças também resultam em mudanças das pontuações do ativo

    • Pontuações de dimensão
      Confiança da entidade: 90% (inalterado)
      Completa: 97.6% (inalterado)
      Validade: (100% + 100% + 90% + 92.12% + 100%) /5 = 96.42%
      Consistência: 99% (inalterado)
    • Pontuação geral: = (97.5% + 95.5% + 93.75% + 94.78% + 97.25%) /5 = 95.76%

  5. Configure todas as verificações para a dimensão Consistência a ser ignorada para o cálculo de pontuação A pontuação da dimensão para a dimensão Consistência não é mais mostrada Todas as outras pontuações de dimensão permanecem inalteradas As pontuações gerais da coluna e do ativo são recalculados

    • Pontuação das colunas
      xx ID da coluna: (1 × 90% + 1 × 100% + 1 × 100% + 0 × 100%)/(1 + 1 + 1 + 0) = 96.67 %
      Column NAME: (1 × 90% + 1 × 96.03 % + 1 × 100% + 0 × 96%)/(1 + 1 + 1 + 0) = 95.34 %
      Column EMAIL: (1 × 90% + 1 × 95% + 1 × 90% + 0 × 100%)/(1 + 1 + 1 + 0) = 91.67 %
      Coluna PHONE: (1 × 90% + 1 × 97% + 1 × 92.12 % + 0 × 100%)/(1 + 1 + 1 + 0) = 94.78 %
      Coluna SALARY: (1 × 90% + 1 × 100% + 1 × 100% + 0 × 99%)/(1 + 1 + 1 + 0) = 96.67 %

    • Pontuação geral do ativo: (96.67 + 95.34% + 91.67% + 93.04% + 96.67)/5 = 94.68%

  6. Exclua os resultados para a coluna SALÁRIO do cálculo de pontuação As pontuações da coluna não são alteradas As pontuações gerais e de dimensão para o ativo são recalculadas da seguinte forma:

    • Dimension scores
      Confiança da entidade: (1 × 90% + 1 × 90% + 1 × 90% + 1 × 90% + 0 × 90%)/(1 + 1+ 1 + 1 + 0) = 90%
      Completude: (1 × 100% + 1 × 96.03% + 1 × 95% + 1 × 97% + 0 × 100%)/(1 + 1+ 1 + 1 + 0) = 97%
      Validade: (1 × 100% + 1 × 100% +1 × 90% +1 × 92.12% + 0 × 100%)/(1 + 1 + 1 + 1 + 0) = 95.53%
      Consistência: not shown
    • Pontuação geral do ativo = (100% + 98.02% + 92.5% + 92.74% + 0%) / (1 + 1 + 1 + 1 + 0) = 95.82%

Saiba Mais