Início
Estudos de caso
Autodesk
Passando da qualidade de dados reativa para a proativa
Uma abordagem reativa para resolver incidentes de dados
Steve Gotlieb é gerente sênior de engenharia de dados e visualização na Autodesk, uma multinacional que fornece softwares para diversos setores. Ele gerencia a equipe global de engenharia de dados e plataforma na América do Norte e em Singapura. Sua equipe se concentra na construção de componentes reutilizáveis que contribuem para uma plataforma de dados robusta e confiável, suportando soluções orientadas por dados.
Sob sua liderança, Steve começou a defender a qualidade dos dados como um componente central da plataforma para apoiar conceitos de data mesh que promovem uma abordagem de "trazer os próprios dados" e permitem uma integração e utilização de dados fluida em toda a organização.
Um desafio significativo que a equipe de Steve e outras equipes de engenharia de dados na Autodesk enfrentavam repetidamente: eles geralmente eram os últimos a saber quando surgiam problemas de dados. A equipe de Steve era forçada a adotar uma abordagem reativa para resolver problemas, seja de dados ausentes, dados atrasados ou obsoletos, ou dados incorretos com valores nulos.
Quando a equipe tomava conhecimento de um problema de dados, ele já poderia existir há um mês ou mais, custando à empresa tempo e recursos valiosos.
"Antes, tínhamos um sistema de gerenciamento de qualidade de dados (DQM) personalizado, mas era uma solução passiva e inflexível", diz Steve. "O sistema DQM dependia da execução de consultas para monitorar contagens de execução, mas não detectava proativamente problemas de qualidade de dados. As notificações sobre problemas de dados eram inconsistentes e atrasadas, muitas vezes chegando por e-mails ou mensagens no Slack, sem uma responsabilidade clara."
O Databand transforma os processos de qualidade de dados
Steve e sua equipe começaram a avaliar soluções de observabilidade de dados, reconhecendo a necessidade de uma abordagem mais proativa. Eles exploraram várias opções, incluindo Monte Carlo Data e Datafold, mas o software de observabilidade IBM® Databand se destacou. A cultura de inovação da Autodesk levou-a a organizar um sprint de inovação, reunindo equipes multifuncionais para explorar e apresentar soluções potenciais. Preeti Taneja, engenheira principal de dados na Autodesk, desempenhou um papel fundamental nessa avaliação. Sua equipe teve apenas uma semana para demonstrar como o Databand poderia transformar seus processos de qualidade de dados.
Eles avaliaram se o Databand poderia detectar alterações nos sistemas de origem e fornecer alertas em tempo real em caso de falhas nos fluxos de trabalho. O resultado foi impressionante. A integração perfeita do Databand com o stack de dados moderno da Autodesk, como Apache Airflow, dbt, Spark e Snowflake, e a capacidade de fornecer alertas instantâneos causaram uma forte impressão.
"A facilidade de integração do Databand com nosso stack de dados moderno nos permitiu ver valor imediatamente", diz Preeti. "Quando começamos a receber alertas instantâneos, foi um verdadeiro momento de surpresa com os recursos proativos de qualidade de dados do Databand."
Após uma avaliação interna, o Databand se destacou como o vencedor claro, levando a equipe a avançar com sua implementação.
A equipe de Steve usa o Databand diariamente para monitorar incidentes de dados em vários casos de uso, incluindo:
- Monitoramento de processamento em lote: o Databand é amplamente utilizado no monitoramento do processamento em lote de produção. Mais de 1.000 DAGs são monitorados ativamente pelo Databand.
- Testes em linha: a equipe usa os recursos de testes em linha do Databand para detectar problemas de qualidade de dados em tempo real, o que é crucial para manter a integridade dos dados.
- Suporte a produtos de dados: o Databand suporta pipelines que fornecem insights e mensagens no produto para os clientes da Autodesk.
- Monitoramento de pipelines de aprendizado de máquina (ML) e IA: o Databand também monitora pipelines que dão suporte às equipes de ML e IA, ajudando a garantir que a qualidade dos dados seja mantida em todas as etapas do processamento de dados.
Melhorando a qualidade dos dados e a eficiência operacional
A implementação do Databand trouxe melhorias imediatas e significativas para o gerenciamento da qualidade de dados da Autodesk:
- Redução no tempo de detecção: o Databand reduziu o tempo de detecção de problemas de qualidade de dados de dias para minutos. Essa detecção imediata permitiu que a equipe resolvesse os problemas antes que eles causassem grandes interrupções.
- Redução no tempo médio de resolução (MTTR): com o Databand, o tempo médio para resolver problemas de dados caiu de semanas para dias. Detectar incidentes, como dados atrasados, mudanças de esquema e falhas em pipelines, ajuda a manter a confiança e a eficiência dentro da organização.
- Análise de causa raiz: o Databand forneceu uma análise de causa raiz avançada, permitindo que a equipe identificasse e corrigisse rapidamente os problemas em sua origem.
- Integração perfeita: a solução se integrou sem dificuldades às plataformas existentes da Autodesk, sem a necessidade de reescrever os pipelines principais de Spark, Airflow e dbt. Essa integração incluiu o monitoramento do processamento em lote, pipelines internos e dados em repouso em ambientes Snowflake.
- Economia de custos: a Autodesk observou uma redução nos custos de consumo em nuvem ao detectar problemas precocemente e evitar reexecuções.
A Autodesk obteve resultados tangíveis na melhoria da qualidade dos dados e da eficiência operacional. O acompanhamento transparente das solicitações de recursos solidificou ainda mais a parceria, permitindo melhorias e inovações contínuas.
Os designers, engenheiros, construtores e criadores do mundo todo confiam na Autodesk (link fora de ibm.com) para ajudá-los a projetar e criar qualquer coisa, desde os edifícios em que vivemos e trabalhamos até os carros que dirigimos e as pontes sobre as quais passamos. Muitos produtos que usamos e em que confiamos diariamente, assim como filmes e jogos que nos inspiram, existem graças à Autodesk. A plataforma Design and Make da Autodesk libera o poder dos dados para acelerar insights e automatizar processos, capacitando nossos clientes com a tecnologia para criar o mundo ao nosso redor e entregar melhores resultados para seus negócios e para o planeta. Para mais informações, visite autodesk.com(link fora de ibm.com).
Legal
© Copyright IBM Corporation 2024. IBM, o logotipo IBM e Databand são marcas comerciais ou marcas registradas da IBM Corp. nos Estados Unidos e/ou em outros países.
Este documento é apresentado aqui como na data da primeira publicação e pode ser alterado pela IBM a qualquer momento. Nem todas as ofertas estão disponíveis em todos os países onde a IBM opera.
Os exemplos de clientes são ilustrações de como esses clientes utilizaram os produtos IBM e os resultados que podem ter alcançado. O desempenho, o custo e a economia reais ou outros resultados em outros ambientes operacionais podem variar.