Gerenciamento de dados agênticos: a próxima evolução dos ecossistemas de dados corporativos

Os agentes de IA estão por toda parte. Esses sistemas realizam tarefas de forma autônoma com intervenção humana limitada, muitas vezes de maneiras que mal percebemos.

Considere os veículos autônomos: eles percebem o ambiente ao seu redor, avaliam o contexto e tomam decisões em frações de segundo em tempo real. Eles navegam não porque alguém codificou todos os cenários possíveis, mas porque interpretam continuamente os sinais e se adaptam à medida que o ambiente muda.

Agora, imagine levar esse mesmo nível de inteligência a um programa de dados corporativo. Milhares de conjuntos de dados. Milhões de registros. Bilhões de decisões baseadas em dados sendo tomadas.

O gerenciamento de dados agênticos (ADM) torna possível esse nível de orquestração. Por meio dos recursos de tomada de decisão de agentes impulsionados por IA, as empresas estão começando a reinventar a forma como processam, governam e usam seus dados.

O gerenciamento de dados agênticos usa agentes de IA para coordenar e otimizar todo o programa de dados corporativos.¹ Isso inclui:

• Criação de pipelines de dados
• Descoberta de fontes de dados
• Provisionamento e armazenamento em estratificação
• Manutenção da consistência semântica
• Aplicação de controles de governança e acesso
• Monitoramento da qualidade de dados e integridade
• Otimização das cargas de trabalho e desempenho
• Produção de análise de dados e insights de business intelligence

Em vez de depender de fluxos de trabalho rígidos, o ADM usa agentes especializados para levar inteligência a cada estágio do ciclo de vida dos dados. O sistema pode interpretar a intenção, determinar quais dados e políticas estão envolvidos e adaptar as operações automaticamente à medida que as condições mudam.

Muitos desses recursos são viabilizados por grandes modelos de linguagem (LLMs), que fornecem a camada de raciocínio dentro dos agentes. Os LLMs usam processamento de linguagem natural para interpretar a intenção e traduzi-la em uma estratégia de dados coordenada, semelhante à forma como ferramentas como o ChatGPT ou o Gemini do Google interpretam as solicitações. Eles se baseiam em metadados, linhagem de dados, aprendizado de máquina e regras comerciais para determinar quais dados são relevantes, como devem ser validados e governados e como devem ser preparados para as análises de dados posteriores.

A partir daí, o sistema agêntico delineia as etapas necessárias para concluir a tarefa de dados. Isso pode envolver o acesso a fontes, a aplicação de políticas, a otimização da carga de trabalho, a gestão de comportamentos de armazenamento e, em última análise, a produção de respostas confiáveis.

O que distingue o gerenciamento de dados agênticos do gerenciamento de dados tradicional é que ele é autoadaptável e evolui com base no contexto. Ela aprende continuamente com os sinais e se ajusta à medida que as condições mudam, em vez de tratar os fluxos de trabalho como artefatos fixos.

Por exemplo, um gerente da cadeia de suprimentos pode fornecer a instrução "monitore os fluxos de entrada e resolva os registros duplicados à medida que aparecem". À medida que os novos pedidos chegam, o sistema orientado por IA interpreta a intenção e adapta seu plano em tempo real, mesclando registros, sinalizando inconsistências e delegando tarefas aos agentes conforme as condições mudam.

Embora ainda seja uma abordagem emergente, as organizações já estão usando o ADM para melhorar a confiabilidade de seus dados e a eficiência operacional por meio de:

• Qualidade de dados automatizada e validação: Detecção de desvios de dados, inconsistências e alterações inesperadas à medida que os dados migram pela organização.

• Integração de dados de autoatendimento: transformar solicitações de integração em linguagem natural em pipelines governados e prontos para uso.

• Alinhamento de dados: manter o gerenciamento de relacionamento com o cliente (CRM), a cadeia de suprimentos e os sistemas financeiros consistentes à medida que as definições ou regras mudam.

• Conformidade para dados em movimento: Garantir que os dados permaneçam em conformidade durante sua transferência, utilizando mecanismos de observabilidade contínua para aplicar requisitos de qualidade, linhagem e regulamentação.

• Enriquecimento com base no contexto: atualização de classificações e atributos à medida que a lógica de negócios evolui.

• Otimização da orquestração: ajuste de caminhos de execução com base no custo, desempenho ou condições do sistema.

As empresas estão gerando mais dados em mais sistemas do que nunca. Mas, à medida que os volumes aumentam e as arquiteturas se tornam cada vez mais híbridas e distribuídas, muitas organizações ainda têm dificuldades para transformar esses dados complexos em insights confiáveis e em tempo real . Na verdade, 76% das empresas admitem ter tomado decisões sem consultar dados porque era muito difícil acessá-los.

As abordagens tradicionais de gerenciamento de dados dependem muito da intervenção manual e humana, o que as torna lentas para se adaptarem quando os esquemas mudam, as métricas evoluem ou a lógica operacional é alterada. O gerenciamento de dados agênticos está ganhando força porque lida com diversas pressões sistêmicas que as abordagens legadas não conseguem acompanhar:

Os programas de dados modernos também enfrentam desafios estruturais nos dados que as abordagens manuais não conseguem solucionar. Mais de 50% das organizações utilizam três ou mais ferramentas de integração de dados, criando fluxos de trabalho fragmentados e lógica inconsistente entre as equipes. Essa fragmentação desencadeia problemas mais amplos: as verificações de qualidade acontecem tarde demais, as regras de governança se dispersam entre os sistemas, as quebras de linhagem passam despercebidas e as definições semânticas ficam dessincronizadas. Na realidade, 77% das organizações não têm o talento para gerenciar essa complexidade.

Essas pressões impactam diretamente as equipes de dados. Os engenheiros gastam de 10 a 30% do seu tempo descobrindo problemas nos dados e outros 10 a 30% resolvendo-os, mais de 770 horas por ano por engenheiro, ou mais de US$ 40.000 em mão de obra desperdiçada. Enquanto isso, analistas e usuários corporativos esperam em média de 1 a 4 semanas pelos dados de que precisam, porque as tarefas de integração estão isoladas ou paralisadas.

O gerenciamento de dados agênticos representa uma mudança na forma como as empresas garantem a precisão, qualidade e integridade dos dados em escala. Em vez de criar scripts para cada transformação ou manter regras rígidas, as organizações podem introduzir agentes de IA para escalar a criação de pipelines, otimizar as operações de dados, reduzir gargalos e manter dados de alta qualidade com muito menos intervenções manuais. Com operações mais eficientes e dados confiáveis em todo o ciclo de vida, as equipes de dados podem se concentrar na estratégia em vez de retrabalho.

O gerenciamento de dados agênticos reúne quatro componentes principais, cada um habilitado por uma camada coordenada de modelos de IA, agentes e tecnologias semânticas:

• Interpretação da intenção
• Execução de planos
• Aplicação do contexto semântico
• Aplicação da governança

Quando um usuário fornece um prompt ou uma solicitação, um agente usa seus recursos de raciocínio para interpretar a intenção. Ele elabora um plano que descreve os ativos de dados necessários, as regras de governança, as considerações semânticas, as validações e as etapas operacionais. Outros agentes avaliam esse plano a partir de seus respectivos domínios, confirmando os modelos necessários, as regras de negócios, a linhagem, as dependências e os metadados do catálogo antes que qualquer ação seja iniciada.

Essa orquestração reduz significativamente a necessidade de as equipes unirem manualmente os processos em todo o ciclo de vida dos dados, diminuindo o tempo de obtenção dos dados para análise e alinhando as operações de dados com a intenção comercial. Os agentes também podem identificar ambiguidades e validar suposições, incorporando a estratégia de dados e as políticas de governança diretamente no plano proposto.

Em seguida, os agentes de IA realizam o trabalho definido pelo plano. Eles acessam e interpretam os dados entre sistemas, aplicam governança e verificações de qualidade, gerenciam o comportamento de armazenamento, executam etapas de processamento de dados e preparam a produção para consumo posterior. Os agentes também podem otimizar o custo ou a latência, adaptar as operações quando os sistemas falham e mapear as dependências em todo o ecossistema de dados.

Com tantas partes em movimento, os agentes de IA ajudam a garantir que as operações de dados permaneçam confiáveis à medida que os esquemas evoluem ou as cargas de trabalho mudam. Elas reduzem as tarefas repetitivas e demoradas em todo o ciclo de vida dos dados e melhoram a escalabilidade das iniciativas de dados corporativos.

Os sistemas de metadados tradicionais descrevem a estrutura capturando campos, formatos e definições de esquema. Por outro lado, os bancos de dados de vetores podem operar como uma camada semântica, capturando significado ao representar como os elementos de dados se relacionam e o contexto em que são usados. Um delineia a forma; o outro revela sua textura.

Bancos de dados de vetores armazenam embeddings que expressam as métricas, conjuntos de dados e termos comerciais como vetores matemáticos. Isso permite que os sistemas agênticos meçam a similaridade, descubram as relações semânticas e detectem mudanças no significado, mesmo quando o esquema permanece o mesmo.

A camada semântica permite:

• transformações com reconhecimento de contexto
• detecção de anomalias
• detecção de desvio semântico
• validação de regras de negócios
• alinhamento em todo o catálogo de dados

A governança eficaz é fundamental para o gerenciamento de dados agênticos. Em vez de depender de avaliações manuais, esses sistemas aplicam continuamente controles de políticas, qualidade e segurança à medida que os dados migram em seu ciclo de vida. As regras de validação e as salvaguardas de integridade são aplicadas durante a execução para garantir que as saídas permaneçam precisas e confiáveis em todo o ecossistema corporativo.

Algumas organizações estão inclusive implementando agentes "guardiões" leves, pequenos agentes de supervisão que monitoram o comportamento e a integridade do pipeline em tempo real, para manter a observabilidade e revelar problemas antes que comprometam os fluxos de trabalho posteriores. Essa supervisão adicional ajuda a manter os pipelines automatizados rápidos, confiáveis e alinhados com os padrões de gerenciamento de dados empresariais.

Esses componentes se unem em um fluxo de trabalho de circuito fechado que combina a intenção humana, o planejamento baseado em LLM, a execução orquestrada por IA e a validação contínua. Uma interação típica pode ser assim:

1. O usuário expressa sua intenção: ele fornece uma instrução em linguagem natural, como "Combinar dados de CRM e da cadeia de suprimentos e detectar anomalias".
   
2. É elaborado um plano: um agente de planejamento baseado em LLM analisa as instruções, identifica o conjunto de dados relevante e produz uma estratégia de execução alinhada com as políticas de governança e a estratégia de dados.
3. O plano é executado: agentes dedicados conectam-se a sistemas, extraem dados de armazéns e APIs, harmonizam esquemas, aplicam transformações, validam a produção e enriquecem os atributos – tudo em tempo real.
4. O sistema impõe proteções durante a execução: a gestão de dados e verificações semânticas são aplicadas automaticamente em cada etapa. A lógica de supervisão (a camada de agente que avalia e aplica as proteções) monitora a atividade em tempo real e bloqueia as ações que violam os padrões.
5. O fluxo de trabalho se adapta às mudanças: se um esquema mudar, uma dependência for interrompida ou uma definição de negócios evoluir, o sistema replaneja as etapas e ajusta o padrão de orquestração.

Embora muitas vezes sejam enquadrados como abordagens concorrentes, o gerenciamento de dados agênticos na verdade aprimora o gerenciamento de dados mestres (MDM), tornando-o mais dinâmico.

O MDM define as entidades corporativas, estabelece regras de governança e mantém a consistência em todos os sistemas de registro. Ele ajuda a criar um "registro de ouro", uma fonte única da verdade que integra dados de várias fontes, para que todos na organização trabalhem com as mesmas informações.

O ADM operacionaliza esses fundamentos validando-os à medida que os dados migram, aplicando-os em todo o programa de dados e adaptando-os quando as condições mudam.

As duas abordagens diferem em vários aspectos importantes:

Em uma era de negócios em tempo real e sem atrito, o gerenciamento de dados está mudando de fluxos de trabalho rígidos e baseados em regras para um comportamento adaptável e orientado por intenções. A pesquisa da IBM sobre IA, prontidão dos dados e modelos operacionais aponta para três grandes mudanças que estão moldando esse novo cenário de gerenciamento de dados.

A IA agêntica leva os fluxos de trabalho para além dos scripts estáticos e para um comportamento adaptável e sensível ao contexto. Os pipelines responderão às mudanças nos metadados, nas regras de negócios, na carga operacional e nas restrições de governança, alterando seu caminho de execução em vez de serem interrompidos quando as condições mudarem.

Nessas arquiteturas agênticas, os sistemas multiagentes substituem as plataformas monolíticas: agentes especializados lidam com ingestão, qualidade, linhagem ou otimização, enquanto um agente supervisor mantém o alinhamento com a intenção e a política.

Os dados prontos para IA dependem não apenas da precisão do esquema, mas também da consistência semântica. Os problemas de qualidade dos dados de hoje geralmente são causados por desvios de esquema, mas os de amanhã serão causados por desvios semânticos: significados comerciais que evoluem sem mudanças estruturais. À medida que os segmentos de clientes mudam ou as hierarquias de produtos evoluem, os sistemas agênticos precisarão detectar inconsistências de significado, e não apenas de formato.

Memória semântica, compreensão vetorial e validação sensível ao contexto estão se tornando essenciais para manter os dados confiáveis e preparados para IA.

À medida que os modelos operacionais agênticos amadurecem, os engenheiros de dados passam de transformações de codificação manual para a supervisão de sistemas autônomos. Isso significa projetar mecanismos de proteção, avaliar as decisões dos agentes e resolver novos casos edge à medida que surgirem.

Essa mudança torna a explicabilidade essencial para o modelo: rastros de raciocínio, registros auditáveis e pontos de verificação com intervenção humana tornam-se requisitos para confiança e conformidade.