O que é gerenciamento de qualidade de dados?

O gerenciamento de qualidade de dados (Data quality management, DQM) é um conjunto de práticas para aprimorar e manter a qualidade dos dados de uma organização.

Como a produção global de dados continua em ritmo acelerado, o gerenciamento eficaz da qualidade de dados ajuda as empresas a evitar dados de baixa qualidade, o que pode levar a erros dispendiosos e ineficiências nos processos de negócios. Com dados confiáveis na ponta dos dedos, as empresas podem liberar insights valiosos, tomar decisões melhores e integrar s inteligência artificial (IA) às suas operações de negócios.

A gestão da qualidade de dados inclui práticas como criação de perfis de dados, limpeza de dados, validação de dados, monitoramento da qualidade de dados e gestão de metadados. O gerenciamento bem-sucedido da qualidade de dados resulta em conjuntos de dados otimizados para dimensões-chave de qualidade, como precisão, integridade, coerência, pontualidade, exclusividade e validade.

As soluções de software podem ajudar organizações e profissionais de dados a resolverem problemas de qualidade de dados e criar pipelines de dados de alta qualidade. Essas ferramentas oferecem funcionalidades como análise de qualidade, detecção de anomalias, alertas de incidentes em tempo real e outros.

Para conhecer a importância do gerenciamento de qualidade de dados, considere o que pode acontecer na sua ausência: como as empresas priorizam funções baseadas em dados, a baixa qualidade dos dados pode resultar em erros, atrasos, perdas financeiras e danos à reputação, entre outras consequências graves. Esses riscos são multiplicados na era do “big data”, à medida que as organizações lidam com conjuntos de dados enormes e complexos.

Imagine os seguintes cenários de "dados ruins":

• A tabela de dados do cliente de um varejista está repleta de imprecisões, dando origem a estratégias de marketing mal direcionadas e ineficazes.
  
  
• Um estudo clínico contém formatos inconsistentes, dificultando a comparação de elementos de dados e dificultando a pesquisa sobre progressão da doença e cuidados de saúde.
  
  
• Uma empresa em um setor altamente regulamentado enfrenta problemas de qualidade de dados, violando leis e regulamentações do Governo, como o GDPR ou a Lei Sarbanes-Oxley (SOX) Act.

Por outro lado, dados de alta qualidade contribuem para iniciativas de business intelligence, gerando eficiência operacional, fluxos de trabalho otimizados, conformidade regulatória, satisfação do cliente e crescimento da empresa.

Os benefícios da alta qualidade de dados se intensificaram ainda mais com a adoção generalizada da inteligência artificial. Os algoritmos exigem dados de alta qualidade para um desempenho eficaz do modelo; uma boa qualidade de dados pode viabilizar saídas de modelos de IA mais precisos e úteis.

De fato, empresas com grandes armazenamentos de dados confiáveis para stakeholders internos e externos obtiveram quase o dobro do retorno sobre o investimento em seus recursos de IA, de acordo com pesquisa do IBM Institute for Business Value.

O gerenciamento de qualidade de dados bem-sucedido garante que os dados de uma organização atendam a seis dimensões principais de qualidade de dados:

• Precisão
• Integralidade
• Consistência
• Pontualidade
• Singularidade
• Validade

Embora essas estejam entre as dimensões de qualidade de dados mais comuns utilizadas por profissionais de dados, outras métricas de qualidade de dados são acessibilidade, relevância, representação concisa e quantidade apropriada de dados ou volume.¹

Práticas comuns e complementares de gerenciamento de qualidade de dados entre administradores de dados e outros profissionais de dados são:

• Perfil de dados
• Limpeza de dados
• Validação de dados
• Monitoramento da qualidade dos dados
• Gerenciamento de metadados

Antes de melhorar os dados, é importante determinar onde a melhoria é necessária. O perfil de dados é o processo de revisão da estrutura e do conteúdo dos dados existentes para avaliar sua qualidade e estabelecer uma linha de base para medir a remediação.

A análise realizada durante a criação de perfis de dados pode apresentar informações sobre tipos de dados, revelar anomalias, identificar valores de dados inválidos ou incompletos e avaliar as relações entre conjuntos de dados.

A higienização de dados, também conhecida como limpeza de dados, é a correção de erros e inconsistências em conjuntos de dados brutos. Os métodos para obter dados limpos incluem padronização (tornando formatos e estruturas consistentes), ajuste ou remoção de valores discrepantes e deduplicação de dados e lidar com valores ausentes.

Às vezes considerada parte das abordagens de limpeza de dados, a validação de dados é a verificação de que os dados estão limpos, precisos e atendem às regras e requisitos específicos de qualidade de dados (como restrições de faixa ou integridade referencial) que os tornam prontos para uso.

A garantia da qualidade de dados é um processo constante. Alterações no esquema, dados obsoletos e registros duplicados podem comprometer a integridade dos dados com o passar do tempo. O monitoramento constante de dados identifica os ativos de dados existentes que não atendem mais aos padrões de qualidade de dados e aos indicadores-chave de desempenho (KPI) da organização.

Embora o gerenciamento de metadados suporte vários recursos, como segurança e governança, também costuma ser incluído no DQM. Técnicas de gerenciamento de metadados, como enriquecimento de metadados, podem garantir que os metadados contenham informações sobre regras de dados, definições de dados e linhagem de dados. Isso pode embasar e otimizar os esforços de gerenciamento de dados, incluindo iniciativas de qualidade de dados.

Gestão de qualidade de dados, gerenciamento de dados, gerenciamento de dados mestre e gestão de dados são processos distintos, mas relacionados, para otimizar o valor dos ativos de uma organização.

O gerenciamento de dados engloba a supervisão e o manuseio de dados durante todo o ciclo de vida. As estratégias de gerenciamento de dados ajudam as organizações a lidar com o uso de diversas fontes de dados e a planejar a recuperação de desastres de dados, entre outros problemas. O gerenciamento da qualidade de dados pode ser considerado uma disciplina ou um subconjunto do gerenciamento de dados.

O gerenciamento de dados é uma abordagem abrangente que estabelece consistência para o tratamento de dados críticos em uma organização.

Por meio do gerenciamento de dados, dados críticos são compartilhados e usados por várias aplicações e sistemas dentro da organização para reduzir fragmentação de dados, dados em silos, duplicação e imprecisões. Isso é feito por meio de um conjunto de processos e ferramentas tecnológicas, alguns dos quais também incorporados ao gerenciamento de qualidade de dados, como a limpeza de dados.

Gestão de dados define e implementa políticas, padrões e procedimentos para coleta de dados, armazenamento de dados, propriedade, processamento e uso. Assim como a gestão de qualidade de dados, a gestão de dados também pode ser considerada uma disciplina de gerenciamento de dados. Ao mesmo tempo, os procedimentos estabelecidos por meio de frameworks de gestão de dados, como políticas de governança sobre o manuseio consistente de dados, podem apoiar iniciativas de DQM.

As ferramentas de gerenciamento de qualidade de dados e as soluções de software podem reduzir consideravelmente os esforços manuais de DQM. E embora a proliferação da IA seja um dos fatores determinantes por trás da necessidade de gerenciamento de qualidade de dados, a IA também permite soluções DQM mais poderosas. Aprendizado de máquina, por exemplo, pode ser implementado para detecção automatizada de anomalias de dados.

Outros recursos oferecidos pelas soluções de gerenciamento de qualidade de dados são:

• Verificações de qualidade de dados predefinidas e regras personalizáveis
  
  
• Catálogos de dados com análise de qualidade integrada
  
  
• Dashboards abrangentes para gerenciamento de incidentes de dados
  
  
• Alertas em tempo real de anomalias e outros problemas de dados
  
  
• Análise da causa raiz para informar a resolução de incidentes
  
  
• Rastreamento da linhagem de metadados para transparência na transformação de dados