O que é um produto de dados?

Os produtos de dados são desenvolvidos com uma abordagem baseada em product thinking e na aplicação de princípios tradicionais de desenvolvimento de produto. Essa abordagem envolve compreender as necessidades dos usuários, priorizar funcionalidades de alto valor e iterar com base no feedback. No fim, trata os dados como um produto criado para resolver problemas específicos dos usuários. 

Os produtos de dados são criados para serem detectáveis, interoperáveis e práticos. Eles permitem que todos — de usuários de negócios e analistas de dados a cientistas de dados, administradores de dados e engenheiros — consigam extrair valor significativo dos dados que estão presos dentro da organização.

O conceito de produtos de dados ganhou destaque em 2019, quando Zhamak Dehghani, diretora de tecnologia da consultoria ThoughtWorks, apresentou os produtos de dados como um componente central da arquitetura data mesh. Um data mesh é uma arquitetura de dados descentralizada que organiza os dados por domínios de negócio específicos (como marketing, vendas e atendimento ao cliente), proporcionando mais controle para os produtores de um determinado conjunto de dados.

Para funcionar de forma eficaz, um produto de dados deve apresentar várias características essenciais:

McKinsey relata que empresas orientadas por dados têm 23 vezes mais chances de conquistar clientes e 19 vezes mais chances de serem lucrativas. No entanto, apesar da crescente demanda por tomada de decisão baseada em dados, muitas organizações continuam enfrentando obstáculos como silos de dados, dependência de fornecedores e riscos de conformidade devido à ausência de frameworks adequados de controle de dados.

Para lidar com esses desafios, algumas organizações adotaram a abordagem de dados como produto, tratando os dados como um ativo gerenciado e utilizável, e não apenas como subproduto das operações.

As metodologias de dados como produto enfatizam a estruturação e o controle dos dados para orientar decisões de negócios e melhorar a experiência do usuário. Com base nesse princípio, os produtos de dados oferecem uma abordagem estruturada e de autoatendimento para o gerenciamento de dados, reduzindo a dependência das equipes técnicas e permitindo decisões em tempo real. 

As organizações que investem em produtos de dados podem observar melhorias no acesso a dados, interoperabilidade, armazenamento de dados e controle.Em todos os setores, os produtos de dados têm potencial para aprimorar a automação, apoiar a tomada de decisão baseada em dados e ajudar as empresas a alinhar suas estratégias de dados com objetivos de negócios de longo prazo. Ao aproveitar plataformas de dados robustas, modelos de aprendizado de máquina e ferramentas de visualização, as organizações podem capacitar as equipes a maximizar o valor dos seus dados.

Os produtos de dados frequentemente atingem esses benefícios ao capacitar diversas funções dentro da organização: 

• Cientistas de dados e engenheiros de IA têm acesso mais rápido a dados e ativos relevantes, acelerando o desenvolvimento e a implementação de soluções de IA e ML. 

• Engenheiros de dados se beneficiam de testes automatizados, implementação e curadoria de dados, garantindo que os pipelines atendam aos padrões de qualidade de dados e aos acordos de nível de serviço especificados nos contratos do produto de dados.

• Analistas de dados e consumidores recebem dados confiáveis e atualizados que atendem às suas necessidades específicas de domínio e podem ser atualizados rapidamente sem depender de uma equipe central de TI. 

• Administradores de dados podem manter controle rigoroso e conformidade por meio de contratos de dados, definindo limites claros que protegem os dados e mantêm sua segurança. 

A forma como as organizações gerenciam dados evoluiu de uma abordagem passiva, baseada em ativos, para uma estratégia ativa e orientada a produtos.

Tradicionalmente, as empresas tratavam os dados principalmente como algo a ser coletado e armazenado. Essa abordagem centraliza os dados em um data warehouse ou sistema de origem, organizando-os por área temática (como finanças ou marketing) e atribuindo sua responsabilidade a equipes centralizadas. O sucesso costuma ser medido pelo volume de dados, como terabytes armazenados, com a expectativa de que, ao simplesmente dispor de mais dados, os colaboradores passarão a utilizá-los. 

No entanto, os metadados são definidos tipicamente por departamentos de TI e não são adequados para os consumidores de dados. Como resultado, muitos esforços com ativos de dados se concentram em análises descritivas e relatórios, voltando-se ao passado em vez de usar os dados de forma proativa para resolver questões de negócios. 

Em contraste, tratar os dados como produto muda o foco do armazenamento para o uso e a geração de valor. Os produtos de dados passam por um ciclo de vida específico e são projetados, testados e iterados — muito parecido com produtos de software que seguem metodologias ágeis ou DataOps.

A responsabilidade é específica de cada domínio (por exemplo, um produto de dados de marketing gerenciado por especialistas da área), o que mantém os dados relevantes e com alta qualidade. Os dados também são organizados conforme as necessidades específicas de uso, com metadados detalhados impulsionados pelo negócio. Isso garante que os produtos de dados sejam facilmente encontrados e compreendidos por usuários corporativos.

Como os responsáveis pelos dados assumem a responsabilidade pelos produtos de dados, há monitoramento contínuo do uso, da qualidade e do valor obtido a partir de um produto por meio de ciclos de feedback com os usuários finais.

O sucesso é medido por como os dados melhoram a tomada de decisão, geram receita ou reduzem custos — e não apenas pela quantidade de terabytes armazenados. Como resultado, as iniciativas de produtos de dados podem resolver questões de negócios com análise de dados avançada, como modelagem preditiva e prescritiva.

Um produto de dados bem estruturado é composto por diversos elementos que viabilizam sua funcionalidade e usabilidade dentro do ecossistema de dados da organização: 

• Fontes de dados: as origens dos dados, abrangendo bancos de dados, data warehouse, data lakes, data lakehouses ou fluxos de dados em tempo real.

• Pipelines de dados: fluxos de trabalho automatizados responsáveis por ingestão, limpeza, transformação e carregamento de dados em um formato estruturado adequado para análise.

• Modelos de dados e esquemas: estruturas definidas que padronizam a organização dos dados, promovendo acessibilidade e consistência semântica. Frequentemente, utilizam SQL para consultas e transformações.

• Interfaces e APIs: mecanismos que viabilizam a integração com aplicações de negócios e aplicativos, garantindo acesso a dados de forma segura e sem dificuldades. 

• Visualizações e dashboards: ferramentas amigáveis que apresentam insights por meio de relatórios interativos ou painéis analíticos, facilitando a interpretação dos dados. 

• Modelos de ML: algoritmos preditivos que analisam padrões nos dados e apoiam a tomada de decisão baseada em computação avançada. 

• Controles de segurança e controle: políticas e medidas que asseguram conformidade com regulamentos de controle de dados, rastreiam a linhagem dos dados e gerenciam os controles de acesso para manter a integridade dos dados e a segurança. 

Os produtos de dados podem ser classificados com base na qualidade e no nível de refinamento dos dados. Os tipos de produtos de dados incluem: 

Seguindo um ciclo de vida estruturado de gerenciamento de produto, as equipes de dados conseguem criar produtos de dados que sejam continuamente valiosos, escaláveis e alinhados às necessidades de negócios em constante evolução. 

​As etapas principais do ciclo de vida de um produto de dados incluem: 

1. Definir: definir o objetivo de negócios, o caso de uso, as especificações de design e o contrato de dados. Isso inclui atributos como termos, condições e acordos de nível de serviço. 
   
   
2. Desenvolver: construir os componentes do produto de dados, como tabelas, visualizações, modelos, arquivos e dashboards. Em seguida, ​testar com base no contrato de dados.
   
   
3. Empacotar: organizar os componentes do produto de dados em um pacote reutilizável, enriquecido com metadados técnicos e de negócios para facilitar sua descoberta em um catálogo de dados ou outra ferramenta de armazenamento de dados.
   
   
4. Controlar: gerenciar as permissões de acesso ao produto de dados conforme o contrato de dados. 
   
   
5. Publicar: publicar seu produto de dados em um portal para descoberta.
   
   
6. Consumir: permitir que pessoas em toda a organização acessem com facilidade o produto de dados para resolver diferentes desafios. Coletar feedback dos usuários para aprimoramentos em iterações futuras.​ 
   
   
7. Monitorar e iterar: realizar atividades contínuas, como monitoramento de uso, qualidade e acesso. Implementar gerenciamento de versões para mudanças em produtos de dados publicados.​​ 
   
   
8. Encerrar: encerrar o produto de dados por motivos como falta de uso ou não conformidade. Descontinuar o produto, informar os consumidores, arquivar os produtos e limpar os recursos. 

Organizações de diversos setores contam com produtos de dados para gerar valor para o negócio, apoiar iniciativas estratégicas e resolver problemas críticos.  

Exemplos reais de produtos de dados incluem:

• Um grande banco nacional implementou um produto de dados de cliente único que atende a 60 casos de uso distintos — desde pontuação de risco de crédito em tempo real até chatbots com IA — em vários canais. Como resultado, o banco obteve um aumento de USD 60 milhões em receita anual e evitou perdas de USD 40 milhões.
  
  
• Uma empresa de bens de consumo (CPG) introduziu produtos de dados para otimizar o uso de dados, melhorando a eficiência e a escalabilidade. Ao mobilizar mais de 50 equipes multifuncionais para implementar soluções orientadas por dados, a empresa aumentou o EBITDA em 18% em dois anos.

Desenvolver produtos de dados com sucesso exige uma abordagem estratégica que inclua compreender o consumo de dados, mapear as interações com dados, testar o valor de mercado e iterar para escalar. 

O primeiro passo na criação de um produto de dados é analisar o consumo atual de dados na organização. Essa etapa envolve identificar os usuários-alvo, entender quais dados eles consomem e por que esses dados são importantes para eles.  

Analisar o uso de dados em termos de volume, frequência, sensibilidade e tipo oferece insights sobre quais conjuntos de dados têm mais valor. Ao priorizar os grupos de usuários de maior impacto, as organizações podem direcionar os esforços iniciais para áreas com maior potencial de impacto nos negócios. 

Quando os padrões de consumo de dados estiverem claros, o próximo passo é mapear a jornada dos dados. Criar mapas detalhados das interações reais com os dados ajuda a visualizar como eles fluem entre sistemas e equipes.  

Esses mapas podem servir de base para criar novos casos de uso que gerem receita com produtos de dados. Desenvolver hipóteses sobre como os produtos de dados podem melhorar processos de negócios ajuda as organizações a transformar dados brutos em insights relevantes e praticáveis. 

Com os insights validados, o próximo passo é iterar e escalar. Em vez de depender apenas das equipes centrais de TI, as organizações podem estimular agilidade e inovação ao permitir que domínios e equipes de negócios aprimorem o produto de dados. Após as melhorias, o projeto pode ser ampliado para mais equipes e domínios, garantindo que o produto de dados escale com eficiência e continue gerando valor para o negócio.