O gerenciamento de qualidade de dados (Data quality management, DQM) é um conjunto de práticas para aprimorar e manter a qualidade dos dados de uma organização.
Como a produção global de dados continua em ritmo acelerado, o gerenciamento eficaz da qualidade de dados ajuda as empresas a evitar dados de baixa qualidade, o que pode levar a erros dispendiosos e ineficiências nos processos de negócios. Com dados confiáveis na ponta dos dedos, as empresas podem liberar insights valiosos, tomar decisões melhores e integrar s inteligência artificial (IA) às suas operações de negócios.
A gestão da qualidade de dados inclui práticas como criação de perfis de dados, limpeza de dados, validação de dados, monitoramento da qualidade de dados e gestão de metadados. O gerenciamento bem-sucedido da qualidade de dados resulta em conjuntos de dados otimizados para dimensões-chave de qualidade, como precisão, integridade, coerência, pontualidade, exclusividade e validade.
As soluções de software podem ajudar organizações e profissionais de dados a resolverem problemas de qualidade de dados e criar pipelines de dados de alta qualidade. Essas ferramentas oferecem funcionalidades como análise de qualidade, detecção de anomalias, alertas de incidentes em tempo real e outros.
Mantenha-se atualizado sobre as tendências mais importantes (e intrigantes) do setor em IA, automação, dados e muito mais com o boletim informativo Think. Consulte a Declaração de privacidade da IBM.
Para conhecer a importância do gerenciamento de qualidade de dados, considere o que pode acontecer na sua ausência: como as empresas priorizam funções baseadas em dados, a baixa qualidade dos dados pode resultar em erros, atrasos, perdas financeiras e danos à reputação, entre outras consequências graves. Esses riscos são multiplicados na era do “big data”, à medida que as organizações lidam com conjuntos de dados enormes e complexos.
Imagine os seguintes cenários de "dados ruins":
Por outro lado, dados de alta qualidade contribuem para iniciativas de business intelligence, gerando eficiência operacional, fluxos de trabalho otimizados, conformidade regulatória, satisfação do cliente e crescimento da empresa.
Os benefícios da alta qualidade de dados se intensificaram ainda mais com a adoção generalizada da inteligência artificial. Os algoritmos exigem dados de alta qualidade para um desempenho eficaz do modelo; uma boa qualidade de dados pode viabilizar saídas de modelos de IA mais precisos e úteis.
De fato, empresas com grandes armazenamentos de dados confiáveis para stakeholders internos e externos obtiveram quase o dobro do retorno sobre o investimento em seus recursos de IA, de acordo com pesquisa do IBM Institute for Business Value.
O gerenciamento de qualidade de dados bem-sucedido garante que os dados de uma organização atendam a seis dimensões principais de qualidade de dados:
Para garantir dados precisos — dados que representam corretamente eventos e valores do mundo real — é preciso identificar e corrigir erros ou deturpações em um conjunto de dados.
A integridade dos dados é alcançada quando um conjunto de dados contém todos os registros necessários e não apresenta lacunas nem valores ausentes.
Dados consistentes são coerentes e padronizados em toda a organização, garantindo que os registros de dados em diferentes conjuntos de dados sejam compatíveis entre si.
A pontualidade dos dados é uma medida de quão atualizados se encontram os valores dos dados, possibilitando que as organizações evitem tomar decisões com base em informações obsoletas.
A singularidade dos dados refere-se à ausência de dados redundantes ou registros duplicados, o que pode distorcer a análise.
A validade dos dados reflete se os dados estão em conformidade com business rules, como estar dentro dos intervalos permitidos para determinados valores de dados e atender a padrões específicos de formato de dados.
Embora essas estejam entre as dimensões de qualidade de dados mais comuns utilizadas por profissionais de dados, outras métricas de qualidade de dados são acessibilidade, relevância, representação concisa e quantidade apropriada de dados ou volume.1
Práticas comuns e complementares de gerenciamento de qualidade de dados entre administradores de dados e outros profissionais de dados são:
Antes de melhorar os dados, é importante determinar onde a melhoria é necessária. O perfil de dados é o processo de revisão da estrutura e do conteúdo dos dados existentes para avaliar sua qualidade e estabelecer uma linha de base para medir a remediação.
A análise realizada durante a criação de perfis de dados pode apresentar informações sobre tipos de dados, revelar anomalias, identificar valores de dados inválidos ou incompletos e avaliar as relações entre conjuntos de dados.
A higienização de dados, também conhecida como limpeza de dados, é a correção de erros e inconsistências em conjuntos de dados brutos. Os métodos para obter dados limpos incluem padronização (tornando formatos e estruturas consistentes), ajuste ou remoção de valores discrepantes e deduplicação de dados e lidar com valores ausentes.
Às vezes considerada parte das abordagens de limpeza de dados, a validação de dados é a verificação de que os dados estão limpos, precisos e atendem às regras e requisitos específicos de qualidade de dados (como restrições de faixa ou integridade referencial) que os tornam prontos para uso.
A garantia da qualidade de dados é um processo constante. Alterações no esquema, dados obsoletos e registros duplicados podem comprometer a integridade dos dados com o passar do tempo. O monitoramento constante de dados identifica os ativos de dados existentes que não atendem mais aos padrões de qualidade de dados e aos indicadores-chave de desempenho (KPI) da organização.
Embora o gerenciamento de metadados suporte vários recursos, como segurança e governança, também costuma ser incluído no DQM. Técnicas de gerenciamento de metadados, como enriquecimento de metadados, podem garantir que os metadados contenham informações sobre regras de dados, definições de dados e linhagem de dados. Isso pode embasar e otimizar os esforços de gerenciamento de dados, incluindo iniciativas de qualidade de dados.
Gestão de qualidade de dados, gerenciamento de dados, gerenciamento de dados mestre e gestão de dados são processos distintos, mas relacionados, para otimizar o valor dos ativos de uma organização.
O gerenciamento de dados engloba a supervisão e o manuseio de dados durante todo o ciclo de vida. As estratégias de gerenciamento de dados ajudam as organizações a lidar com o uso de diversas fontes de dados e a planejar a recuperação de desastres de dados, entre outros problemas. O gerenciamento da qualidade de dados pode ser considerado uma disciplina ou um subconjunto do gerenciamento de dados.
O gerenciamento de dados é uma abordagem abrangente que estabelece consistência para o tratamento de dados críticos em uma organização.
Por meio do gerenciamento de dados, dados críticos são compartilhados e usados por várias aplicações e sistemas dentro da organização para reduzir fragmentação de dados, dados em silos, duplicação e imprecisões. Isso é feito por meio de um conjunto de processos e ferramentas tecnológicas, alguns dos quais também incorporados ao gerenciamento de qualidade de dados, como a limpeza de dados.
Gestão de dados define e implementa políticas, padrões e procedimentos para coleta de dados, armazenamento de dados, propriedade, processamento e uso. Assim como a gestão de qualidade de dados, a gestão de dados também pode ser considerada uma disciplina de gerenciamento de dados. Ao mesmo tempo, os procedimentos estabelecidos por meio de frameworks de gestão de dados, como políticas de governança sobre o manuseio consistente de dados, podem apoiar iniciativas de DQM.
As ferramentas de gerenciamento de qualidade de dados e as soluções de software podem reduzir consideravelmente os esforços manuais de DQM. E embora a proliferação da IA seja um dos fatores determinantes por trás da necessidade de gerenciamento de qualidade de dados, a IA também permite soluções DQM mais poderosas. Aprendizado de máquina, por exemplo, pode ser implementado para detecção automatizada de anomalias de dados.
Outros recursos oferecidos pelas soluções de gerenciamento de qualidade de dados são:
Crie e gerencie pipelines de dados de streaming inteligentes por meio de uma interface gráfica intuitiva, facilitando a integração sem dificuldades dos dados em ambientes híbridos e de multinuvem.
O watsonx.data permite escalar a análise de dados e a IA com todos os seus dados, onde quer que estejam, por meio de um armazenamento de dados aberto, híbrido e governado.
Libere o valor dos dados empresariais com a IBM Consulting, construindo uma organização baseada em insights, que traz vantagem para os negócios.
1 “Overview of Data Quality: Examining the Dimensions, Antecedents, and Impacts of Data Quality.” Journal of the Knowledge Economy. 10 de fevereiro de 2023.
