Estratégia de arquitetura de dados para qualidade de dados

A má qualidade de dados é uma das principais barreiras enfrentadas pelas organizações baseadas em dados. Decisões de negócios fora de hora e processos de negócios mal informados, oportunidades de receita perdidas, iniciativas de negócios fracassadas e sistemas de dados complexos podem ser decorrentes de problemas de qualidade de dados. Apenas um desses problemas pode custar caro para uma organização. Ter que lidar com todos eles pode ser devastador.

Vários fatores determinam a qualidade dos dados da sua empresa, como precisão, integridade, consistência, para citar alguns. Porém, há outro fator de qualidade de dados que não recebe o reconhecimento que merece: sua arquitetura de dados.

A arquitetura de dados correta pode ajudar sua organização a melhorar a qualidade de dados, pois fornece o framework que determina como os dados são coletados, transportados, armazenados, protegidos, usados e compartilhados para casos de uso de business intelligence e ciência de dados.

A primeira geração de arquiteturas de dados representada pelo data warehouse empresarial e plataformas de business intelligence foi caracterizada por milhares de trabalhos de ETL, tabelas e relatórios que apenas um pequeno grupo de engenheiros de dados especializados entendeu, resultando em um impacto positivo subrealizado no negócio. A última geração de plataformas de big data e trabalhos em lote de longa execução operados por uma equipe central de engenheiros de dados têm frequentemente levado a pântanos de data lake.

Ambas as abordagens eram arquiteturas tipicamente monolíticas e centralizadas, organizadas em torno de funções mecânicas de ingestão de dados, processamento, limpeza, agregação e veiculação de dados. Isso criou uma série de gargalos organizacionais e tecnológicos que proibiam a integração de dados e a escala em várias dimensões: mudança constante do cenário de dados, proliferação de fontes de dados e consumidores de dados, diversidade de transformação e processamento de dados que os casos de uso exigem e velocidade de resposta às mudanças.

Uma arquitetura de dados moderna, como Data Mesh e malha de dados, visa conectar facilmente novas fontes de dados e acelerar o desenvolvimento de pipelines de dados específicos de caso de uso em ambientes locais, híbridos e multinuvem. Combinada com o gerenciamento eficaz do ciclo de vida dos dados, que evolui para os dados como gerenciamento de produtos, uma arquitetura de dados moderna permite que a sua organização:

• Permita que os administradores de dados garantam a conformidade, a proteção e a segurança dos dados
• Aumente a confiança nos dados obtendo visibilidade sobre a origem dos dados, como eles foram alterados e quem os está usando
• Monitorar e identificar problemas de qualidade de dados mais perto da fonte para mitigar o possível impacto nos processos subsequentes ou nas cargas de trabalho
• Adotar com eficiência plataformas de dados e novas tecnologias para um gerenciamento de dados eficaz
• Aplique metadados para contextualizar dados existentes e novos, tornando-os pesquisáveis e detectáveis
• Realizar perfis de dados (o processo de examinar, analisar e criar resumos de conjuntos de dados)
• Reduza a duplicação e a fragmentação de dados

Como sua arquitetura de dados dita como seus ativos de dados e recursos de gerenciamento de dados são estruturados, ela desempenha um papel crítico na eficácia de sua organização na execução dessas tarefas. Ou seja, a arquitetura de dados é um elemento fundamental da sua estratégia de negócios para maior qualidade de dados. Os recursos críticos de soluções modernas de gerenciamento de qualidade de dados de alta qualidade exigem que uma organização:

• Reforce a gestão de dados em toda a organização, aumentando os processos manuais de qualidade de dados com metadados e tecnologias relacionadas à IA (link externo ao site ibm.com)
  
• Realize monitoramento de qualidade de dados com base em regras pré-configuradas
• Crie uma linhagem de modelagem de dados para realizar análises de causa raiz de problemas de qualidade de dados
• Torne o valor de um conjunto de dados imediatamente compreensível
• Pratique a higiene adequada de dados em todas as interfaces

Uma estratégia de dados pode ajudar os Data Architects a criar e implementar uma arquitetura de dados que melhore a qualidade de dados. As etapas para desenvolver uma estratégia de dados eficaz incluem:

Por exemplo, uma instituição financeira pode procurar melhorar a conformidade regulatória, reduzir os custos e aumentar as receitas. Os stakeholders podem identificar casos de uso para determinados tipos de dados, como a execução de análise de dados em dados em tempo real à medida que são ingeridos, para automatizar a tomada de decisão e gerar redução de custos.

Essa etapa inclui a identificação e a catalogação de todos os dados em toda a organização em uma lista de inventário centralizada ou federada, removendo assim os silos de dados. A lista deve detalhar onde cada conjunto de dados reside e quais aplicações e casos de uso dependem dele. Em seguida, selecione os dados necessários para seus principais casos de uso e priorize os domínios de dados que os incluíram.

Uma convenção de nomenclatura e um formato de dados alinhado (classes de dados) para os dados usados em toda a organização ajuda a garantir a consistência e a interoperabilidade dos dados entre departamentos (domínios) e casos de uso.

Decida sobre as mudanças que otimizarão seus dados para alcançar seus objetivos de negócios. Pesquisar os diferentes tipos de arquiteturas de dados modernas, como uma malha de dados e data mesh pode ajudá-lo a decidir sobre a estrutura de dados mais adequada às necessidades do seu negócio.

Crie KPIs e use análise de dados avançada que vinculam a medida do sucesso de sua arquitetura ao quão bem ela oferece suporte à qualidade de dados.

As empresas podem desenvolver um plano de implementação para implementar arquitetura e governança de dados em três a quatro domínios de dados por trimestre.

Uma arquitetura de dados bem projetada cria uma base para a qualidade de dados por meio da transparência e da padronização que enquadram a forma como a organização vê, utiliza e fala sobre os dados.

Como mencionado anteriormente, uma malha de dados é uma dessas arquiteturas. Uma malha de dados automatiza a descoberta de dados, a governança e o gerenciamento da qualidade de dados e simplifica o acesso por autoatendimento aos dados distribuídos em um cenário de nuvem híbrida. Ela pode abranger as aplicações que geram e usam dados, bem como qualquer número de repositórios de armazenamento de dados, como data warehouse, data lake (que armazenam grandes quantidades de big data), bancos de dados NoSQL (que armazenam dados não estruturados) e bancos de dados relacionais que utilizam SQL.

Saiba mais sobre os benefícios da malha de dados e do IBM Cloud Pak for Data.