Gerenciamento da qualidade de dados
Medir, monitorar e manter a qualidade de seus dados para garantir que os dados atendam às suas expectativas e padrões para casos de uso específicos.
Dados de boa qualidade estão em um estado que geralmente pode ser definido como ajuste para uso, defeito livreou atendendo expectativas e requisitos. A qualidade de dados é medida com relação às dimensões de qualidade padrão Precisão, Completude, Consistência, Tempo, Exclusividadee Validadee qualquer dimensão de qualidade customizada.
A análise de qualidade de dados fornece respostas para estas perguntas:
- Quão boa é a qualidade geral de um ativo de dados?
- Qual dos ativos de dados tem a melhor qualidade?
- Como a qualidade de um ativo de dados mudou ao longo do tempo?
- O ativo de dados atende às minhas expectativas de qualidade?
Requisitos e restrições
Para o gerenciamento de qualidade de dados, existem os seguintes requisitos e restrições.
Serviços necessários
O gerenciamento de qualidade de dados requer estes serviços:
- IBM watsonx.data intelligence
- DataStage ou DataStage as a Service Anywhere
Com o DataStage, você pode executar regras de qualidade de dados nas regiões suportadas. Com o DataStage as a Service Anywhere, você pode executar regras de qualidade de dados fora do IBM Cloud usando mecanismos remotos. Para obter mais informações sobre a configuração de mecanismos remotos, consulte a documentaçãoDataStage as a Service Anywhere.
Ferramentas de qualidade de dados
Você trabalha com estas ferramentas:
- Enriquecimento de metadados
- Definições de qualidade de dados
- Regras de qualidade de dados
- da API do IBM Knowledge Catalog para contratos de dados
Formatos de dados
Os seguintes formatos de dados são suportados:
- Tabelas de origens de dados relacionais e não relacionais
- Delta Lake e tabelas Iceberg de determinados conectores de armazenamento de arquivos
- Enriquecimento de metadados: arquivos carregados a partir do sistema de arquivos local ou de conexões baseadas em arquivos com as fontes de dados, nos formatos CSV, TSV, Avro, Parquet e Microsoft Excel (para pastas de trabalho carregadas a partir do sistema de arquivos local, apenas a primeira planilha da pasta de trabalho é analisada)
- Regras de qualidade de dados: Arquivos carregados a partir do sistema de arquivos local ou de conexões baseadas em arquivos com as fontes de dados, nos formatos Avro, CSV, Parquet e ORC; para ativos de dados carregados a partir do sistema de arquivos local, apenas CSV
Para obter informações sobre conectores suportados, consulte Origens de dados suportadas para curadoria e qualidade de dados.
Tamanho dos dados
As tarefas de gerenciamento de qualidade de dados podem ser executadas em dados de qualquer tamanho
Permissões necessárias
Suas funções determinam quais tarefas de gerenciamento de qualidade de dados você pode executar:
- Para visualizar ativos de enriquecimento de metadados ou definições e regras de qualidade de dados, você deve ter pelo menos a função Viewer no projeto.
- Para criar, editar, excluir ou executar o enriquecimento de metadados, você deve ter a função de Administrador ou Editor no projeto.
- Para criar, editar ou excluir definições e regras de qualidade de dados, você deve ter a função Admin ou Editor no projeto. Além disso, você deve ter a permissão de usuário Manage data quality assets (Gerenciar ativos de qualidade de dados ).
- Para executar regras de qualidade de dados, é necessário ter a função de Administrador ou Editor no projeto e a permissão de usuário Executar regras de qualidade de dados.
- Para visualizar os dados que causaram problemas de qualidade (a tabela de resultados) no histórico de execução de regras ou na página Qualidade dos dados, é necessário ter a permissão de usuário “Detalhar os detalhes do problema ”. No entanto, o ativo de dados no projeto criado para a tabela de saída pode ser acessado por qualquer pessoa que possa acessar a conexão. Para limitar o acesso a esse ativo de dados, a conexão com a fonte de dados em que a tabela de saída está armazenada deve ser configurada com credenciais pessoais.
- Para criar, editar ou excluir SLAs de qualidade de dados, é necessário ter as seguintes permissões de usuário:
- Acessar artefatos de controle
- Gerenciar regras de SLA de qualidade de dados
Áreas de trabalho
É possível executar tarefas de gerenciamento de qualidade de dados em projetos.. As informações de qualidade de dados somente leitura estão disponíveis em catálogos
Análise e Monitoramento de Qualidade de Dados
Use análise de qualidade de dados e monitoramento para avaliar dados contra critérios específicos. Use esses critérios de avaliação repetidamente ao longo do tempo para ver mudanças importantes na qualidade dos dados que estão sendo validados.
É possível analisar a qualidade dos dados como parte do enriquecimento de metadados, onde você pode usar verificações de qualidade de dados geradas automaticamente para seus dados. Também é possível projetar verificações de qualidade de dados que são executadas individualmente.
Após uma verificação de qualidade de dados ser projetada, você terá estas opções:
Crie uma definição de qualidade de dados que define a lógica da verificação de dados, independentemente da origem de dados A definição contém variáveis lógicas ou referências que você vincula ou bind a dados reais (por exemplo, origem de dados, tabela e coluna ou tabelas unidas) quando você cria uma regra de qualidade de dados que pode ser executada.
Depois de criar uma regra de qualidade de dados com as ligações necessárias com base em uma definição de qualidade de dados select, essa regra pode ser executada. A regra produz estatísticas relevantes e pode gerar uma tabela de saída, dependendo da configuração de regra.
Crie uma regra de qualidade de dados baseada em SQL
A funcionalidade de uma regra de qualidade de dados pode variar a partir de um simples teste de coluna única para avaliar várias colunas dentro e através de fontes de dados.
Além de configurar e executar regras de qualidade de dados manualmente, você pode criar e aplicar contratos de dados.
Avaliando a Qualidade dos Dados
Para determinar se seus dados são de boa qualidade, verifique em até que ponto os dados atendem suas expectativas e identifique anomalias nos dados. Avaliar a qualidade dos dados também ajuda a entender a estrutura e o conteúdo dos seus dados.
Monitoramento da qualidade dos dados
Para garantir que os dados importantes atendam às expectativas de qualidade da sua organização, implemente acordos de nível de serviço (SLAs) de qualidade de dados que monitorem a conformidade dos dados com as normas e prevejam medidas corretivas para os problemas de qualidade de dados detectados.