Embora relacionados, o DaaP e os produtos de dados servem a propósitos distintos no gerenciamento de dados.

O DaaP é uma metodologia holística para o gerenciamento de dados, especificamente no contexto dos princípios da malha de dados, projetada para tratar os dados como um produto comercializável que pode ser fornecido a vários usuários dentro e fora da organização. O DaaP contém o código, seus dados e metadados e qualquer infraestrutura necessária para executá-lo.

Uma plataforma de insights do cliente projetada para uma empresa de varejo é um bom exemplo de DaaP. A plataforma agrega dados de clientes em vários pontos de contato (como compras na loja, comportamento de compras online, interações de atendimento ao cliente e engajamento nas redes sociais) para criar uma visão abrangente das preferências, comportamentos e padrões de compra de cada cliente.

Ao contrário, os produtos de dados se concentram em aproveitar os dados para entregar insights e soluções praticáveis, como dashboards de análise de dados e modelos preditivos. Eles lidam com problemas específicos, são apoiados por técnicas sofisticadas de processamento de dados e atendem a uma audiência ampla, incluindo gerentes de produtos, cientistas de dados e usuários finais. Exemplos de produtos de dados podem incluir algo como um dashboard de análise de dados de negócios, um chatbot ou até mesmo um sistema de recomendação, como o que você vê quando faz compras na Amazon.

Ambos os conceitos se baseiam em uma base compartilhada de gerenciamento e governança de dados, com o objetivo final de maximizar o valor intrínseco dos dados.

À medida que as empresas começaram a investir em tecnologias avançadas de armazenamento de dados para tornar os dados amplamente acessíveis e utilizáveis para gerar insights de negócios e automatizar decisões, os engenheiros de dados enfrentaram vários desafios, pois as soluções não eram dimensionadas conforme o esperado. Como os dados geralmente estavam repletos de erros, incompletos e não eram significativos ou verdadeiros—e porque eles tinham muito pouca compreensão dos domínios de origem que geravam esses dados — os engenheiros se esforçavam para corrigir o que não sabiam nem entendiam.

Os engenheiros de dados reconheceram a necessidade de mudar sua abordagem para projetar arquiteturas distribuídas modernas. Eles viram a importância de adotar uma nova metodologia que organize a arquitetura em torno dos domínios de negócios específicos que visa suportar. Essa abordagem incorpora o pensamento de produto para desenvolver uma infraestrutura de dados de autoatendimento funcional e fácil de usar.¹

O pensamento de produto vai além das funcionalidades de um produto; trata-se de criar soluções significativas que ressoam com os usuários e se destacam no mercado. É uma filosofia que influencia todas as etapas do processo de desenvolvimento de produtos, da ideia ao lançamento e à iteração. Os engenheiros perceberam que, ao tratar os dados como um produto, eles poderiam melhorar significativamente seu uso e valor dentro da organização.

Ao adotar uma abordagem que trata os conjuntos de dados como produtos, são criadas equipes de domínio dentro de áreas de negócios específicas que se encarregam de gerenciar e disseminar os dados para toda a organização, a fim de melhor centralizar a experiência do usuário para os principais consumidores desses dados, normalmente cientistas de dados e engenheiros. .

Essas equipes de domínio compartilham seus dados via APIs (interfaces de programação de aplicativos), acompanhados por documentação abrangente, ambientes de testes robustos e indicadores claros de desempenho.

Um DaaP bem-sucedido deve atender aos seguintes requisitos:

1. Facilmente detectável
2. Endereçável
3. Confiável
4. Bem documentado
5. Capaz de trabalhar com outros produtos de dados
6. Seguro

Isso significa que, em uma metodologia DaaP, os dados devem ser fáceis de encontrar, confiáveis, claros no que representam, podem ser integrados a outros dados e protegidos contra acesso não autorizado.

Imagine que o DaaP é como uma viagem aérea, e que cada dado é um passageiro de uma companhia aérea: organizações e usuários precisam saber de onde veio cada ponto de dados, por quais transformações ele passou e onde está destinado a parar. Isso é chamado de linhagem de dados e é um elemento crucial para a adoção eficaz do DaaP. Ao usar ferramentas como o IBM InfoSphere, AWS Glue ou Cloudera Data Hub, as organizações podem gerenciar metadados e rastrear jornadas de dados para garantir transparência e evitar confusão.

Depois que cada viajante é devidamente examinado, ele embarca no avião. Assim como a companhia aérea precisa garantir que o avião seja grande e resistente o suficiente para receber os passageiros, as organizações devem usar infraestrutura escalável para acomodar volumes crescentes de dados e múltiplas solicitações de acesso. Dependendo das necessidades de negócios específicas de uma organização e dos segmentos de mercado, há uma série de plataformas baseadas em nuvem, soluções de código aberto e plataformas comerciais entre as quais as organizações podem escolher.

Agora, imagine precisar de informações de voo, mas o sistema está inoperante. Isso quebra a confiança dos viajantes e faz com que a companhia aérea seja percebida como não confiável e ineficaz, que é exatamente o motivo pelo qual as ferramentas DaaP precisam entregar dados de forma consistente. É também por isso que as organizações devem fornecer planos e relatórios claros sobre recuperação e redundância de dados.

Não há viagem aérea sem segurança, e o mesmo vale para o DaaP. Recursos de segurança, como controle de acesso baseado em funções, criptografia de dados e sistemas de detecção de intrusão, protegem dados confidenciais e garantem a conformidade com regulamentações como o GDPR e HIPAA. Práticas de governança, incluindo monitoramento da qualidade dos dados, catalogação e gerenciamento de mudanças, garantem que os dados da organização sejam confiáveis e acessíveis.

No núcleo do DaaP está a orquestração meticulosa de conjuntos de dados. Esses conjuntos de dados são selecionados por práticas de engenharia de dados, que envolvem o projeto, a construção e o gerenciamento de pipelines de dados em grande escala. Esses pipelines transportam dados de fontes de dados por meio de um processo de ponta a ponta, transformando dados brutos em informações estruturadas e de alta qualidade armazenadas em data warehouses ou data lakes. As plataformas de dados são a base para essas operações, fornecendo a infraestrutura e as ferramentas necessárias para que as equipes de dados executem tarefas de análise de dados e ciência de dados com eficiência.

Modelos e esquemas de dados são cruciais nesse contexto, pois definem como os dados são organizados, armazenados e relacionados dentro do data warehouse ou data lake. Eles garantem que os dados sejam detectáveis, acessíveis e utilizáveis para os consumidores de dados: analistas de negócios, cientistas de dados e desenvolvedores de aplicações, que obtêm insights e criam aplicações com base nesses dados. A SQL (linguagem de consulta estruturada) continua sendo uma ferramenta essencial para interagir com dados, permitindo que os usuários de dados consultem, manipulem e analisem conjuntos de dados para atender às suas necessidades específicas.

As equipes de dados usam métricas para avaliar a qualidade, o desempenho e o valor do produto de dados. Essas métricas orientam os processos de iteração e melhoria contínua, garantindo que o produto de dados evolua em resposta ao feedback dos consumidores de dados e às mudanças nos requisitos de negócios.

As APIs são os canais pelos quais os produtos de dados são entregues aos usuários finais e às aplicações. Elas facilitam o acesso, permitindo que os consumidores de dados integrem e usem dados em vários casos de uso, desde relatórios operacionais até projetos avançados de aprendizado de máquina e inteligência artificial (IA). Esse recurso de integração ressalta a importância de uma estratégia de APIs bem projetada no ciclo de vida do DaaP, garantindo que os dados não sejam apenas acessíveis, mas também praticáveis.

A aplicação de aprendizado de máquina e IA no DaaP permite que as empresas liberem insights preditivos e automatizem processos de tomada de decisões. Ao aproveitar modelos de aprendizado de máquina treinados em dados históricos, as empresas podem antecipar tendências futuras, otimizar operações e criar experiências personalizadas para os clientes. Esse uso avançado de dados ressalta a natureza iterativa do DaaP, onde os produtos de dados são continuamente refinados e aprimorados com base em novos dados, casos de uso emergentes e feedback dos consumidores de dados.

O DaaP defende o gerenciamento do ciclo de vida de um produto de dados, desde o momento da criação até a manutenção e sua evolução ao longo do tempo. Envolve uma série de etapas, incluindo planejamento, desenvolvimento, implementação e iteração, cada uma exigindo uma estreita colaboração entre as equipes de dados, os stakeholders da empresa e os consumidores de dados. Essa abordagem de ciclo de vida garante que os produtos de dados permaneçam relevantes, valiosos e alinhados com os objetivos de negócios.

Para tornar os dados mais úteis em uma organização, é essencial que os conjuntos de dados sejam fáceis de encontrar, confiáveis e possam funcionar bem com outros dados. A essência de tornar os dados do DaaP facilmente detectáveis e endereçáveis dentro de uma organização depende da implementação de um registro ou catálogo centralizado. Esse registro deve detalhar todos os dados do DaaP disponíveis, incluindo metadados como propriedade, fonte e linhagem, permitindo que os consumidores de dados, engenheiros e cientistas localizem com eficiência os conjuntos de dados relevantes.

Ao instituir objetivos de nível de serviço (SLOs) relativos à veracidade dos dados e aplicar testes rigorosos de limpeza e integridade de dados desde o início, as organizações podem reforçar a confiança do usuário em seus dados. Além disso, os dados devem ser autodescritivos e aderir aos padrões globais de interoperabilidade, permitindo a integração de dados em vários domínios. O papel dos proprietários e engenheiros de produtos de dados é crítico nesse ecossistema, definindo e conduzindo o gerenciamento do ciclo de vida dos dados do DaaP para encantar os usuários e atender aos padrões de qualidade. Essa abordagem não só exige uma combinação de habilidades de engenharia de dados e software, mas também promove uma cultura de inovação, compartilhamento de habilidades e colaboração multifuncional dentro do cenário tecnológico.

O DaaP incentiva as empresas a verem todos os dados como produtos valiosos, refletindo princípios de produtos baseados no consumidor em gerenciamento, seleção, personalização e entrega de dados. Essa abordagem promove um fluxo contínuo de dados de alta qualidade de seus criadores para seus consumidores, apoiado por ferramentas e mentalidades centradas no cliente. Imagine que os dados são como um produto que você veria nas lojas; sob uma metodologia DaaP, uma organização deve tratar seus dados com o mesmo cuidado e atenção que os produtos físicos.

Isso significa coletar e armazenar apenas dados que sejam realmente úteis, garantindo que os dados sejam apresentados de forma clara, organizada e fácil de usar, além de garantir que os dados se ajustem ao contexto do setor ou do domínio. Quando essas peças estão no lugar, o DaaP permite a distribuição de dados de alta qualidade dentro da organização. O óleo foi processado e está ajudando a máquina a funcionar.

Aplicar uma abordagem DaaP dentro de uma organização significa alinhar os stakeholders e mantê-los informados, desenvolver uma mentalidade em que os dados são tratados e gerenciados como um produto de alta qualidade e significa construir ou investir em ferramentas de autoatendimento, um dos principais princípios do conceito de malha de dados — uma abordagem em desenvolvimento para a arquitetura de dados descentralizada.

A adoção do DaaP apresenta desafios, incluindo preocupações com privacidade de dados, resistência organizacional a mudanças e a necessidade de maior alfabetização de dados entre os funcionários. Superar esses obstáculos requer planejamento estratégico, adesão organizacional e investimentos em tecnologia e talentos.

Navegar e cumprir as regulamentações de privacidade de dados em um mercado global que contém diferentes regiões e regras é um grande obstáculo a ser superado. As organizações precisam de conhecimento especializado e recursos para garantir que seus produtos de DaaP cumpram regulamentos rígidos em todos os locais.

As violações de dados podem se tornar manchetes, e os consumidores estão cada vez mais conscientes de como as organizações usam seus dados. Construir confiança por meio de práticas transparentes de tratamento de dados e documentação clara sobre o uso de dados no DAaP é crucial para conquistar a confiança da base de usuários. Qualquer organização que considere o DaaP precisa de medidas de segurança robustas para proteger os dados contra violações e acesso não autorizado. Isso inclui a implementação de criptografia, controles de acesso e frameworks de governança de dados.

Um DaaP bem-sucedido não depende apenas de ter o hardware e o software certos; como sempre acontece com as novas ferramentas, surge a resistência às mudanças. As culturas organizacionais estabelecidas podem resistir às mudanças na propriedade, no compartilhamento e na acessibilidade dos dados introduzidos pelo DaaP. Estratégias eficazes de gerenciamento de mudanças e comunicação clara são essenciais para garantir que diferentes departamentos estejam dispostos e possam compartilhar seus dados sem temer a perda de controle ou vantagem competitiva. Promover a colaboração e demonstrar os benefícios do DaaP para todos os stakeholders é vital, e funções e responsabilidades claras para a governança de dados e a propriedade de produtos precisam ser estabelecidas para evitar confusão e inação.

O desafio humano de uma iniciativa de DaaP bem-sucedida não para por aí. Como o DAaP exige que toda a organização esteja atenta aos dados, as organizações podem se deparar com funcionários que não têm conhecimento de dados. Funcionários de vários níveis podem não compreender totalmente os aspectos técnicos e o valor comercial do DAaP; programas de treinamento e educação podem ajudar a preencher essa lacuna. Muitos funcionários podem ter dificuldade em analisar e extrair insights dos produtos DAaP, mas fornecer ferramentas fáceis de usar e treinamento em alfabetização de dados pode capacitá-los. Além disso, as equipes técnicas precisam traduzir insights de dados complexos em informações praticáveis para os stakeholders não técnicos.