Gerenciamento de dados aprimorado: malha de dados versus data mesh

Malha de dados e data mesh são conceitos emergentes de gerenciamento de dados que visam lidar com a mudança organizacional e as complexidades de compreensão, governança e trabalho com dados corporativos em um ecossistema de multinuvem híbrida. A boa notícia é que ambos os conceitos de arquitetura de dados são complementares. Mas o que são exatamente uma malha de dados e um data mesh e como você pode aproveite essas soluções de gerenciamento de dados para aproveitar os dados da sua empresa para melhor tomada de decisão?

A Gartner define malha de dados como “um conceito de design que serve como uma camada integrada de dados e processos de conexão. Uma malha de dados utiliza análises contínuas sobre metadados existentes, detectáveis e inferenciados para apoiar o design, a implementação e a utilização de conjuntos de dados integrados e reutilizáveis em todos os ambientes, incluindo plataformas híbridas e multinuvem." [1]

A abordagem de arquitetura de malha de dados pode simplificar o acesso a dados em uma organização e facilitar o consumo democratizado de dados em escala. Essa abordagem quebra os silos de dados, permitindo novas oportunidades para moldar a gestão de dados, a integração de dados, as visualizações únicas dos clientes e as implementações de IA confiáveis, entre outros casos de uso comuns dos setores.

Como é exclusivamente orientada por metadados, a camada de abstração de uma malha de dados facilita a modelagem, integração e consulta de quaisquer fontes de dados, criação de pipelines de dados e integração de dados em tempo real. Uma malha de dados também simplifica a obtenção de insights de dados por meio de uma melhor observabilidade de dados e qualidade de dados, automatizando tarefas manuais em plataformas de dados usando aprendizado de máquina. Isso melhora a produtividade da engenharia de dados e o time to value para os consumidores de dados.

De acordo com a Forrester, “Uma data mesh é uma abordagem sociotécnica descentralizada para compartilhar, acessar e gerenciar dados analíticos em ambientes complexos e de grande escala, dentro ou entre organizações”. [2]

A arquitetura de data mesh é uma abordagem que alinha fontes de dados por domínios de negócios, ou funções, com os proprietários dos dados. Com a descentralização da propriedade de dados, os proprietários de dados podem criar produtos de dados para seus respectivos domínios, o que significa que os consumidores de dados, tanto cientistas de dados quanto usuários corporativos, podem usar uma combinação desses produtos de dados para análise de dados e ciência de dados?

O valor da abordagem de data mesh é que ela transfere a criação de produtos de dados para especialistas no assunto upstream que conhecem os domínios de negócios melhor em comparação com a dependência de engenheiros de dados para limpar e integrar produtos de dados downstream.

Além disso, o data mesh acelera a reutilização de produtos de dados, permitindo um modelo de publicação e inscreva-se e aproveitando APIs, o que facilita para os consumidores de dados obter os produtos de dados de que precisam, incluindo atualizações confiáveis.

Uma malha de dados e um data mesh podem coexistir. Na verdade, existem três maneiras de uma malha de dados permitir a implementação de um data mesh:

1. Fornece aos proprietários de dados recursos de criação de produtos de dados, como catalogar ativos de dados, transformar ativos em produtos e seguir políticas de governança federadas
2. Permitir que os proprietários e consumidores de dados usem os produtos de dados de várias maneiras, como publicar produtos de dados no catálogo, pesquisar e encontrar produtos de dados, e consultar ou visualizar produtos de dados aproveitando a virtualização de dados ou usando APIs.
3. Use insights de metadados da malha de dados para automatizar tarefas aprendendo com padrões como parte do processo de criação de produtos de dados ou como parte do processo de monitoramento de produtos de dados

 Quando se trata de gerenciamento de dados, uma malha de dados fornece os recursos necessários para implementar e aproveitar ao máximo um data mesh, automatizando muitas das tarefas necessárias para criar produtos de dados e gerenciar o ciclo de vida dos produtos de dados. Utilizando a flexibilidade de uma base de malha de dados, você pode implementar um data mesh, continuando a aproveitar uma arquitetura de dados baseada no caso de uso, independentemente de seus dados se encontrarem no local ou na nuvem.