Steve Gotlieb é gerente sênior de engenharia de dados e visualização na Autodesk, uma multinacional que fornece softwares para diversos setores. Ele gerencia a equipe global de engenharia de dados e plataforma na América do Norte e em Singapura. Sua equipe se concentra na construção de componentes reutilizáveis que contribuem para uma plataforma de dados robusta e confiável, suportando soluções orientadas por dados.
Sob sua liderança, Steve começou a defender a qualidade dos dados como um componente central da plataforma para apoiar conceitos de data mesh que promovem uma abordagem de "trazer os próprios dados" e permitem uma integração e utilização de dados fluida em toda a organização.
Um desafio significativo que a equipe de Steve e outras equipes de engenharia de dados na Autodesk enfrentavam repetidamente: eles geralmente eram os últimos a saber quando surgiam problemas de dados. A equipe de Steve era forçada a adotar uma abordagem reativa para resolver problemas, seja de dados ausentes, dados atrasados ou obsoletos, ou dados incorretos com valores nulos.
Quando a equipe tomava conhecimento de um problema de dados, ele já poderia existir há um mês ou mais, custando à empresa tempo e recursos valiosos.
"Antes, tínhamos um sistema de gerenciamento de qualidade de dados (DQM) personalizado, mas era uma solução passiva e inflexível", diz Steve. "O sistema DQM dependia da execução de consultas para monitorar contagens de execução, mas não detectava proativamente problemas de qualidade de dados. As notificações sobre problemas de dados eram inconsistentes e atrasadas, muitas vezes chegando por e-mails ou mensagens no Slack, sem uma responsabilidade clara."