O que é observabilidade de dados?

A observabilidade dos dados consiste em compreender de fato a integridade de seus dados e seu estado em todo o ecossistema de dados. Ele inclui uma variedade de atividades que vão além do monitoramento tradicional, que apenas descreve um problema. A observabilidade de dados pode ajudar a identificar, solucionar e resolver problemas de dados em quase tempo real.

Utilizar ferramentas de observabilidade de dados é essencial para antecipar problemas de dados defeituosos, que estão no centro da confiabilidade dos dados. Essas ferramentas permitem monitoramento automatizado, alertas de triagem, rastreamento, comparações, análise de causa raiz, registro em log, linhagem de dados e rastreamento de acordos de nível de serviço (SLA), todos atuando em conjunto para ajudar os profissionais a entenderem a qualidade dos dados de ponta a ponta — incluindo a confiabilidade dos dados.

A implementação de uma solução de observabilidade de dados é especialmente importante para equipes de dados modernas, onde os dados são usados para obter insights, desenvolver modelos de aprendizado de máquina e impulsionar a inovação. Isso garante que os dados continuem sendo um ativo valioso em vez de um passivo potencial.

A observabilidade dos dados precisa ser integrada de forma consistente em todo o ciclo de vida dos dados de ponta a ponta. Dessa forma, todas as atividades de gerenciamento de dados envolvidas são padronizadas e centralizadas entre as equipes para uma visão clara e ininterrupta dos problemas e impactos em toda a organização.

A observabilidade de dados é a evolução natural do movimento de qualidade de dados, que está tornando possível a prática de operações de dados (DataOps).

Simples e simples, a maioria das organizações acredita que seus dados não são confiáveis:

• 82% afirmam que preocupações com a qualidade dos dados são uma barreira para projetos de integração de dados¹
• 80% dos executivos não confiam em seus dados²

O impacto desses dados defeituosos não pode ser subestimado. Em maio de 2022, a Unity Software descobriu que estava ingerindo dados defeituosos de um grande cliente, o que levou a uma queda de 30% no valor das ações da empresa³ e, no fim, a um prejuízo de USD 110 milhões em receita perdida⁴.

Tradicionalmente, tem sido difícil identificar dados incorretos até que seja tarde demais. Ao contrário de quando uma aplicação fica inativa e afeta milhares de usuários imediatamente, as empresas podem operar com dados ruins inconscientemente por algum tempo. Por exemplo, uma equipe de vendas saberia imediatamente se um dashboard do Salesforce não estivesse carregando, mas não há como saber quanto tempo levaria para descobrir que um dashboard estava mostrando dados incorretos.

A observabilidade dos dados é a melhor defesa contra a transmissão de dados incorretos. Ele monitora pipelines de dados para garantir a entrega completa, precisa e oportuna de dados, para que as equipes de dados possam evitar o tempo de inatividade dos dados, cumprir SLAs de dados e manter a confiança da empresa nos dados que ela vê.

Os sistemas de dados modernos fornecem uma ampla variedade de funcionalidades, permitindo que os usuários armazenem e consultem seus dados de muitas maneiras diferentes. É claro que quanto mais funcionalidades você adiciona, mais complicado se torna garantir que seu sistema funcione corretamente. Essa complicação inclui:

No passado, a infraestrutura de dados era projetada para lidar com pequenas quantidades de dados — normalmente dados operacionais de algumas fontes internas — e não se esperava que os dados mudassem muito. Atualmente, muitos produtos de dados dependem de fontes internas e externas, e o volume e a velocidade com que esses dados são coletados podem causar desvios inesperados, mudanças de esquema, transformações e atrasos.

Quanto mais dados forem ingeridos de fontes externas, maior a necessidade de transformar, estruturar e agregar todos esses dados nos diversos formatos para torná-los utilizáveis. Pior ainda: se esses formatos mudarem, isso gera um efeito dominó de falhas, pois a lógica codificada rigidamente não consegue se adaptar ao novo esquema.

Pipelines de ingestão complexos criaram um mercado para ferramentas para simplificar esse processo de ponta a ponta, principalmente automatizando os processos de ingestão e extração, transformação, carga (ETL)/extração, carga, transformação (ELT). Ao combiná-los, você obtém uma plataforma de dados que o setor de análise de dados apelidou de "stack de dados moderna", ou MDS. O objetivo do MDS é reduzir o tempo necessário para que os dados sejam disponibilizados para os usuários finais (normalmente analistas), para que eles possam começar a aproveitar esses dados mais rapidamente. No entanto, quanto mais automação você tiver, menos controle terá sobre como os dados são entregues. Essas organizações precisam criar pipelines de dados personalizados para garantir que os dados sejam entregues conforme o esperado.

As operações de dados (DataOps) são um fluxo de trabalho que permite um delivery pipeline ágil e um loop de feedback para que as empresas possam criar e manter seus produtos com mais eficiência. O DataOps permite que as empresas usem as mesmas ferramentas e estratégias em todas as fases de seus projetos de análise, desde a prototipagem até a implementação do produto.

O ciclo de DataOps descreve as atividades fundamentais necessárias para melhorar o gerenciamento de dados no fluxo de trabalho de DataOps. Esse ciclo consiste em três estágios distintos: detecção, conscientização e iteração.

É importante que esse ciclo comece com a detecção, pois o alicerce do movimento DataOps está baseado em uma iniciativa de qualidade de dados.

Esse primeiro estágio do ciclo de DataOps é focado na validação. Isso inclui as mesmas verificações de qualidade de dados usadas desde o início do data warehouse. Eles estavam analisando o esquema de coluna e as validações em nível de linha. Essencialmente, você está garantindo que todos os conjuntos de dados cumpram as business Rules em seu sistema de dados.

Essa framework de qualidade de dados que reside no estágio de detecção é importante, mas reacionária por sua própria natureza. Está dando a você a capacidade de saber se os dados que já estão armazenados em seu data lake ou data warehouse (e provavelmente já estão sendo utilizados) estão na forma que você espera.

Também é importante lembrar que você está validando conjuntos de dados e seguindo regras de negócio conhecidas. Se não souber a causa dos problemas, não será possível definir novas regras de negócio para que os engenheiros as sigam. Essa constatação impulsiona a demanda por uma abordagem contínua de observabilidade de dados que se conecte diretamente a todas as etapas do ciclo de vida dos dados, começando pelos dados de origem.

A conscientização é um estágio focado na visibilidade da fase de DataOps. É aqui que a conversa sobre governança de dados entra em cena e uma abordagem que prioriza os metadados é introduzida. Centralizar e padronizar metadados de pipeline e conjunto de dados em seu ecossistema de dados oferece às equipes visibilidade dos problemas em toda a organização.

A centralização dos metadados é crucial para dar à organização consciência da integridade de ponta a ponta de seus dados. Isso permite que você adote uma abordagem mais proativa para resolver problemas de dados. Se houver dados incorretos entrando em seu "domínio", você poderá rastrear o erro até um determinado ponto upstream em seu sistema de dados. Por exemplo, a equipe de engenharia de dados A agora pode analisar os pipelines da equipe de engenharia de dados B, entender o que está acontecendo e colaborar com ela para corrigir o problema.

O vice-versa também se aplica. A Equipe B de Engenharia de Dados pode detectar um problema e rastrear o impacto que ele terá nas dependências downstream. Isso significa que a Equipe de Engenharia de Dados A saberá que um problema ocorrerá e poderá tomar todas as medidas necessárias para contê-lo.

Neste ponto, as equipes se concentram em dados como código. Esta etapa do ciclo é orientada por processo. As equipes garantem que padrões repetíveis e sustentáveis sejam aplicados em todo o desenvolvimento de dados para garantir a entrega de dados confiáveis ao final dos pipelines.

A melhoria gradual da integridade geral da plataforma de dados agora é possível pela detecção de problemas, conscientização das causas raiz upstream e processos eficientes para iteração.

Uma estratégia de observabilidade de dados bem executada pode oferecer uma série de benefícios que contribuem para uma melhor qualidade de dados, tomada de decisões, confiabilidade e desempenho organizacional geral. Eles incluem:

Juntos, os cinco pilares da observabilidade de dados fornecem insights valiosos sobre a qualidade e a confiabilidade de seus dados.

A atualização descreve o quão recente estão os seus dados e com que frequência eles são atualizados. A obsolescência ocorre quando há lacunas importantes de tempo sem atualização dos dados. Frequentemente, pipelines de dados quebram devido a problemas de atualização.

Um indicador da integridade dos campos dos seus dados, distribuição refere-se a se os dados estão ou não dentro de um intervalo aceitável. Desvios da distribuição esperada podem indicar problemas de qualidade, erros ou alterações nas fontes de dados subjacentes.

O volume refere-se à quantidade de dados sendo gerados, ingeridos, transformados e movidos por diferentes processos e pipelines. Também se refere à completude das suas tabelas de dados. O volume é um indicador-chave para saber se a ingestão de dados está ou não atingindo os limites esperados.

O esquema descreve a organização dos seus dados. Alterações no esquema frequentemente resultam em dados quebrados. A observabilidade de dados ajuda a garantir que os dados estejam organizados de forma consistente, sejam compatíveis entre sistemas e mantenham sua integridade durante todo o ciclo de vida.

O objetivo do Lineage é responder à pergunta “Onde?” quando os dados quebram. Ele analisa os dados desde a origem até o local final e anota quaisquer alterações, incluindo o que mudou, por que mudou e como mudou ao longo do caminho. A linhagem é mais frequentemente representada visualmente.

A observabilidade de dados oferece suporte à qualidade de dados, mas os dois são aspectos distintos do gerenciamento de dados.

Embora as práticas de observabilidade de dados possam apontar problemas de qualidade em conjuntos de dados, elas não podem, por si só, garantir uma boa qualidade de dados. Isso requer esforços para corrigir problemas de dados e evitar que eles ocorram em primeiro lugar. Por outro lado, uma organização pode ter uma forte qualidade de dados mesmo que não implemente uma iniciativa de observabilidade de dados.

O monitoramento da qualidade dos dados mede se a condição dos conjuntos de dados é boa o suficiente para os usos pretendidos em aplicações operacionais e analíticas. Para fazer essa determinação, os dados são examinados com base em várias dimensões de qualidade, como precisão, integridade, consistência, validade, confiabilidade e pontualidade.

A observabilidade de dados e a governança de dados são processos complementares que se apoiam mutuamente.

A governança de dados busca garantir que os dados de uma organização estejam disponíveis, utilizáveis, consistentes e seguros, e que sejam usados em conformidade com os padrões e políticas internas. Os programas de governança geralmente incorporam ou estão intimamente ligados a iniciativas de melhoria da qualidade dos dados.

Um programa sólido de governança de dados ajuda a eliminar silos, problemas de integração e baixa qualidade que podem limitar o valor das práticas de observabilidade de dados.

A observabilidade dos dados pode ajudar o programa de governança monitorando as mudanças na qualidade, disponibilidade e linhagem dos dados.

A observabilidade de dados não é toda igual. O nível de contexto que você pode alcançar depende de quais metadados você pode coletar e fornecer visibilidade. Isso é conhecido como hierarquia de observabilidade de dados. Cada nível é uma base para o próximo e permite que você atinja níveis cada vez mais refinados de observabilidade.

Obter visibilidade sobre a integridade operacional e dos conjuntos de dados é uma base sólida para qualquer framework de observabilidade de dados.

Monitorar a integridade do conjunto de dados refere-se ao monitoramento do conjunto de dados como um todo. Você está percebendo o estado de seus dados enquanto eles estão em um local fixo, que é chamado de "dados em repouso".

O monitoramento de conjuntos de dados responde a perguntas como:

• Este conjunto de dados chegou a tempo?
• Esse conjunto de dados está sendo atualizado com a frequência necessária?
• O volume esperado de dados está disponível neste conjunto de dados?

O monitoramento operacional refere-se ao monitoramento do estado de seus dutos. Esse tipo de monitoramento fornece conhecimento sobre o estado de seus dados enquanto eles estão se transformando e se movendo através de seus pipelines. Esse estado de dados é conhecido como "dados em movimento".

O monitoramento de pipelines responde a perguntas como:

• Como o desempenho do pipeline afeta a qualidade do conjunto de dados?
• Em que condições uma corrida é considerada bem-sucedida?
• Quais operações estão transformando o conjunto de dados antes que ele chegue ao lago ou ao armazém?

Embora o conjunto de dados e o monitoramento do pipeline de dados sejam geralmente separados em duas atividades diferentes, é essencial mantê-los acoplados para alcançar uma base sólida de observabilidade. Esses dois estados são altamente interconectados e dependentes um do outro. Colocar essas duas atividades em ferramentas ou equipes diferentes torna mais desafiador obter uma visão de alto nível da integridade de seus dados.

A criação de perfis em nível de coluna é fundamental para essa hierarquia. Depois de estabelecer uma base sólida, a criação de perfis em nível de coluna fornece os insights necessários para estabelecer business Rules para sua organização e aplicar as existentes no nível da coluna, em vez de apenas no nível da linha.

Esse nível de conscientização permite que você melhore sua framework de qualidade de dados de uma forma muito prática.

Ele permite que você responda a perguntas como:

• Qual é o intervalo esperado para uma coluna?
• Qual é o esquema esperado desta coluna?
• Quão exclusiva é essa coluna?

A partir daqui, você pode avançar para o nível final de observabilidade: validação em nível de linha. Isso analisa os valores de dados em cada linha e valida se eles são precisos.

Esse tipo de observabilidade analisa:

• Os valores dos dados em cada linha estão no formato esperado?
• Os valores dos dados têm o tamanho exato que você espera?
• Considerando o contexto, há informações suficientes aqui para serem úteis ao usuário final?

Quando as organizações têm uma visão de túnel na validação em nível de linha, fica difícil ver a floresta para as árvores. Ao criar uma framework de observabilidade começando com o monitoramento operacional e do conjunto de dados, você pode obter um contexto geral sobre a integridade de seus dados e, ao mesmo tempo, aprimorar a causa raiz dos problemas e seus impactos posteriores.

Abaixo estão as principais etapas normalmente envolvidas na criação de um pipeline de observabilidade bem-sucedido. O processo envolve a integração de várias ferramentas e tecnologias, bem como a colaboração de diferentes equipes dentro de uma organização.

• Defina as principais métricas: comece identificando as métricas críticas que você precisa acompanhar. Isto pode incluir métricas de qualidade de dados, volumes de dados, latência, taxas de erro e utilização de recursos. A escolha das métricas dependerá das necessidades específicas do seu negócio e da natureza do seu pipeline de dados.
  
  
• Escolha as ferramentas apropriadas: em seguida, escolha as ferramentas necessárias para coleta, armazenamento, análise e alerta de dados. Certifique-se de que as ferramentas selecionadas, inclusive de código aberto, sejam compatíveis com sua infraestrutura existente e possam lidar com a escala de suas operações.
  
  
• Padronize as bibliotecas: Instale uma infraestrutura que permita que as equipes falem a mesma língua e se comuniquem abertamente sobre os problemas. Isso inclui bibliotecas padronizadas para API e gerenciamento de dados (ou seja, consulta ao data warehouse, leitura/gravação do data lake, extração de dados de APIs etc.) e qualidade de dados.
  
  
• Instrumente seu pipeline de dados: a instrumentação envolve a integração de bibliotecas de coleta de dados ou agentes em seu pipeline de dados. Isso permite que você colete as métricas definidas de vários estágios do pipeline. O objetivo é alcançar visibilidade abrangente, por isso é fundamental garantir que cada estágio crucial seja instrumentado.
  
  
• Configure uma solução de armazenamento de dados: as métricas coletadas precisam ser armazenadas em um banco de dados ou em uma plataforma de série temporal que possa ser dimensionada à medida que seus dados crescem. Certifique-se de que a solução de armazenamento escolhida pode lidar com o volume e a velocidade dos seus dados.
  
  
• Implementar ferramentas de análise de dados: essas ferramentas ajudam a derivar insights das métricas armazenadas. Para uma análise mais aprofundada, considere a possibilidade de usar ferramentas que forneçam visualizações intuitivas e suportem consultas complexas.
  
  
• Configurar alerts and Notification: Estabeleça um sistema para enviar alertas automatizados quando limites predefinidos forem ultrapassados ou ocorrer detecção de anomalias. Isso ajudará sua equipe a responder prontamente aos problemas, minimizando qualquer possível tempo de inatividade.
  
  
• Integração com plataformas de gerenciamento de incidentes: além de detectar problemas, a observabilidade também envolve o gerenciamento eficaz de problemas. Integrar seu pipeline de observabilidade com um sistema de gerenciamento de incidentes pode ajudar a simplificar seus fluxos de trabalho de resposta.
  
  
• Revise e atualize regularmente seu pipeline de observabilidade: à medida que sua empresa evolui, seus dados e requisitos também evoluem. Revisar e atualizar regularmente seu pipeline de observabilidade garante que ele continue fornecendo os insights e o desempenho necessários.

Construir um pipeline de observabilidade é um processo contínuo de aprendizado e refinamento. É crucial começar pequeno, aprender com a experiência e expandir gradualmente seus recursos de observabilidade.