Dimensões de qualidade de dados
As dimensões de qualidade dos dados descrevem uma característica mensurável dos dados e ajudam a definir os requisitos de qualidade dos dados Use as dimensões de qualidade de dados para determinar os resultados esperados da avaliação de qualidade de dados, se avaliação inicial ou monitoramento contínuo.
O estado em que você deseja que seus dados estejam geralmente pode ser definido como ajuste para uso, defeito livre, corresponde a especificação, ou atendendo expectativas e requisitos. Ao medir a qualidade de dados, você compara o estado real de seus dados com esse estado desejado. Os padrões, expectativas e requisitos importantes para seus processos de negócios são expressos como características ou dimensões dos dados.
A Data Management Association (DAMA ) International publicou um documento que descreve seis dimensões principais da qualidade dos dados: Exatidão, integridade, consistência, atualidade, exclusividade, validade
Além dessas dimensões principais, IBM watsonx.data intelligence fornece as dimensões Conformidade, Cobertura e Homogeneidade.
A tabela a seguir descreve as dimensões da qualidade dos dados e lista as verificações automatizadas de qualidade dos dados que podem identificar problemas associados a uma dimensão específica. Essas verificações podem ser verificações de qualidade de dados no enriquecimento de metadados ou verificações de qualidade de dados que fazem parte de um contrato de dados. Os contratos de dados devem estar em conformidade com a Norma de Contratos de Dados Abertos (ODCS). Além disso, essas dimensões podem ser avaliadas através da configuração e execução de regras individuais de qualidade de dados.
| Dimensão | Descrição | Tipos de verificações de qualidade de dados |
|---|---|---|
| Precisão | Os valores de dados são o mais próximo possível dos valores reais | Verificações da qualidade dos dados como parte dos testes do contrato de dados |
| Completude | Todos os valores de dados requeridos estão presentes | Verificação da integridadeVerificações da qualidade dos dados como parte dos testes do contrato de dados |
| Conformidade | Os dados seguem os padrões, formatos e valores permitidos definidos. | Verificações da qualidade dos dados como parte dos testes do contrato de dados |
| Consistência | Os valores de dados em uma coluna obedecem a uma regra. | Ver ificação do estilo de capitalizaçãoVerificação da representação de valores ausentesVerificação da integridade referencialVerificação de valores suspeitosVerificações da qualidade dos dados como parte dos testes do contrato de dados |
| Cobertura | Os dados representam o conjunto de dados esperado, normalmente medido pelo número de registros ou pela integridade dos dados. | Verificações da qualidade dos dados como parte dos testes do contrato de dados |
| Homogeneidade | Os dados em um ativo de dados são uniformes e consistentes ao longo do tempo. Todos os pontos de dados compartilham características, formatos ou estruturas semelhantes. | Estabilidade histórica |
| Pontualidade | Os dados representam a realidade a partir de um momento necessário. | Verificações da qualidade dos dados como parte dos testes do contrato de dados |
| Exclusividade | Valores distintos aparecem apenas uma vez. | Ver ificação de exclusividadeVerificações de qualidade dos dados como parte dos testes do contrato de dados |
| Validade | Os dados estão em conformidade com o formato, tipo ou intervalo de sua definição. | Verificação de classe de dados Verificação de tipo de dados Verificação de formato Verificação de comprimento Verificação de valores possíveis Verificação de intervalo Verificação de regex |
Você pode criar suas próprias dimensões de qualidade de dados usando a API IBM Knowledge Catalog Create a data quality dimension.