Os pipelines de dados tradicionais orientados a lotes frequentemente têm dificuldades para ser compatíveis com os fluxos de trabalho de IA modernos. Eles não têm os recursos para fornecer consistentemente dados governados e de baixalatência e, muitas vezes, são limitados em sua escalabilidade devido a arquiteturas frágeis.
As empresas de hoje estão sentindo o impacto. Em uma pesquisa de 2025 com diretores de dados feita pelo IBM Institute for Business Value (IBV), apenas 26% disseram acreditar que seus recursos de dados podem gerar fluxos de receita habilitados para IA.
Os pipelines de dados de IA modernos são projetados para ingerir e processar rapidamente volumes grandes e diversificados de dados para dar suporte às demandas da IA por atualização de dados. Eles também enriquecem os dados com metadados, linhagem, definições de negócios e regras de governança, para que os modelos de IA possam interpretar os dados de forma segura e eficaz. Os dados são normalmente armazenados em arquiteturas escaláveis e distribuídas, projetadas para facilitar o acesso a dados em alta velocidade.
As ferramentas de IA e a engenharia de dados de IA agêntica podem ajudar a acelerar e simplificar os principais processos nos pipelines de dados de IA — em outras palavras, as organizações podem usar a IA para ajudar a operacionalizar e otimizar a própria IA.
Os pipelines de dados tradicionais foram projetados para o processamento e armazenamento de dados estruturados, geralmente por meio de cargas de trabalho previsíveis, agendadas para processamento em lote em intervalos rotineiros. Normalmente, os dados eram extraídos dos sistemas de origem e carregados em data warehouses para análise por meio de processos de extrair, transformar e carregar (ETL) (às vezes chamados de pipelines de ETL). É uma abordagem que funcionou (e continua a funcionar) bem para tarefas de processamento de dados que não são urgentes e para conjuntos de dados organizados em bancos de dados relacionais.
O processamento em lote, em particular, permitiu que as organizações otimizassem o uso de recursos ao optar por trabalhos durante períodos convenientes, como durante a noite, quando os sistemas provavelmente não serão tributados de outra forma. Quando os trabalhos eram concluídos, os resultados podiam ser alimentados em dashboards e usados para informar as decisões de negócios, bem depois da coleta e ingestão de dados.
Mas os dados para cargas de trabalho de IA exigem uma abordagem marcadamente diferente, que os pipelines tradicionais geralmente não conseguem executar. A arquitetura de pipelines tradicional tem dificuldades para acomodar:
Além disso, os pipelines tradicionais se mostraram historicamente rígidos e frágeis. Alterações inesperadas anteriores (como uma alteração de esquema ou uma coluna renomeada) podem causar falhas de pipelines e acionar horas de depuração.
Enquanto isso, a lógica codificada dentro dos pipelines tradicionais significa que alterá-los se torna um processo árduo, dificultando a escalabilidade e a personalização que as iniciativas de IA transformadoras exigem. Quando as necessidades mudam, os engenheiros de dados geralmente preferem construir novos pipelines de dados em vez de ajustar os existentes por medo de danificá-los, resultando em proliferação de pipelines e dívida técnica.
Caso os pipelines tradicionais sejam usados para fornecer dados aos modelos de IA, a obsolescência de dados, a qualidade de dados e outros problemas podem impedir o desempenho do modelo.
Mantenha-se atualizado sobre as tendências mais importantes (e intrigantes) do setor em IA, automação, dados e muito mais com o boletim informativo Think. Consulte a Declaração de privacidade da IBM.
Como escreveram pesquisadores do IBM Institute for Business Value em um relatório de 2025, “a preparação para IA começa com mais do que dados limpos. Ela requer uma arquitetura que disponibilize dados de alta qualidade onde e quando a IA precisar deles.”
Os pipelines de dados de IA fornecem essa arquitetura, com recursos e funcionalidades adaptados às demandas dos modelos de IA e das aplicações impulsionadas por IA. Os pipelines de dados de IA podem realizar ingestão de informações de uma variedade de fontes de dados. Depois que os dados são ingeridos, os pipelines frequentemente adotam uma abordagem de "shift left", processando dados mais próximos da fonte, reduzindo a latência e permitindo a atualização de dados.
Além de acelerar os fluxos de dados, os pipelines de dados de IA também expandem a amplitude dos dados disponíveis por meio de sua capacidade de integrar dados não estruturados. Os dados não estruturados constituem a maioria dos dados gerados pelas empresas e são uma fonte rica de insights praticáveis, mas já foram amplamente inacessíveis para análise e casos de uso de IA.
Em pipelines de dados de IA, dados não estruturados são transformados em embeddings vetoriais que podem alimentar modelos de IA generativa e geração aumentada de recuperação.
O framework de um pipeline de dados de IA tem uma série de semelhanças com os pipelines de dados tradicionais. No entanto, um pipeline de dados de IA é distinto, pois ingere, integra, enriquece e armazena dados de maneiras personalizadas, para otimizar o treinamento e o desempenho do modelo de IA.
Os pipelines de dados de IA se conectam e ingerem dados brutos, incluindo dados não estruturados e dados em tempo real, de uma variedade de fontes. Essas fontes podem incluir event streams, APIs e aplicações, e derivam de inúmeros ambientes, incluindo ambientes locais e de nuvem híbrida. Plataformas de fluxos de eventos, como o Apache Kafka, permitem entrega de baixa latência e alta taxa de transferência para pipelines de dados de IA.
Durante o pré-processamento de dados, os dados são integrados e transformados para torná-los utilizáveis para IA, independentemente de seu formato original, tipo de dados ou fonte. A natureza da transformação de dados em um pipeline de dados de IA pode variar dependendo do estilo e do processo de integração de dados.
A integração de dados de streaming pode transformar dados em tempo real — por exemplo, leituras de sensores de Internet das coisas (IOT) — enquanto esses novos dados estão em movimento, permitindo o uso imediato por aplicações impulsionadas por IA. A integração de dados não estruturados utiliza funcionalidades como extração de texto e limpeza de dados para transformar dados diversos, tornando-os disponíveis para casos de uso de IA por meio de embedding e armazenamento em banco de dados de vetores.
A engenharia de funcionalidades pode ser considerada um tipo de transformação de dados, mas seu propósito é definido de forma mais restrita: refere-se à conversão de dados brutos em um formato legível por máquina para uso por modelos de aprendizado de máquina. Antes do treinamento do modelo, a engenharia de funcionalidades envolve a seleção dos aspectos dos dados que são mais relevantes para o tipo de modelo que está sendo treinado e para a tarefa para a qual ele está sendo treinado.
A engenharia de funcionalidades pode ser uma tarefa manual realizada por cientistas de dados, embora também haja pesquisas em andamento sobre a engenharia de funcionalidades automatizada.1
Depois que um conjunto de dados é transformado por meio de métodos tradicionais e de engenharia de funcionalidades, ele é frequentemente dividido em três conjuntos: um para treinamento, outro para ajuste (ajuste dos parâmetros do algoritmo) e outro para testes. A execução do modelo nesses três conjuntos é um processo iterativo que continua até que o modelo atenda a um padrão de precisão ou utilidade. Os pipelines de dados de IA também podem fornecer novos dados aos modelos para retreinamento, conforme a necessidade.
A preparação de conjuntos de dados de treinamento também pode incluir anotação (o processo de adicionar rótulos significativos a dados brutos), dependendo do tipo de treinamento do modelo. Por exemplo, os grandes modelos de linguagem (LLMs) são treinados inicialmente em dados não rotulados, mas, posteriormente, também podem ser ajustados com conjuntos de dados rotulados.
O armazenamento de dados em pipelines de dados IA é projetado para grandes conjuntos de dados, acesso a dados em alta velocidade e requisitos computacionais elevados. Utiliza arquiteturas escaláveis, incluindo object storage e sistemas de arquivos paralelos, que processam dados simultaneamente em vários nós. Esse recurso permite que as aplicações de IA lidem rapidamente com dados em tempo real.
O armazenamento de dados para IA fornece acesso em fontes de dados díspares, incluindo ambientes baseados na nuvem e de edge. Os repositórios de armazenamento para armazenamento de dados de IA podem incluir data warehouses, data lakes e data lakehouses. Como esses repositórios têm diferentes funcionalidades, muitas arquiteturas de dados corporativos incluem dois ou todos os três tipos.
Após a implementação do modelo treinado, os pipelines de dados de IA entregam os dados usados para inferência — usando padrões que o modelo aprendeu nos dados de treinamento para prever a saída correta, com base nos novos dados, para casos de uso do mundo real.
Os tipos de inferência incluem inferência online (em tempo real) e inferência em lote. No inferência online, os dados são inseridos imediatamente para apoiar a tomada de decisão em tempo real. Na inferência em lote, os modelos processam grandes volumes de dados de forma assíncrona em grupos (ou lotes) em horários programados; é uma opção de menor custo quando a pontualidade não é uma prioridade.
A engenharia de contexto é o processo de estruturação e otimização do contexto fornecido aos modelos de IA, para que possam interpretar melhor os dados que são veiculados. Isso ocorre em diferentes fases do pipeline de dados de IA e inclui a definição de modelos semânticos, o enriquecimento de metadados, a padronização de definições de negócios e o mapeamento de relacionamentos de entidades em todos os sistemas.2
Governança de dados é uma disciplina de gerenciamento de dados que se concentra na qualidade, na segurança e na disponibilidade de dados. Ela envolve o estabelecimento de controles de acesso, políticas e rastreamento de linhagem em todos os dados e cargas de trabalho de IA. As ferramentas de observabilidade podem detectar vieses nos dados, anomalias e outros problemas que afetam o desempenho do modelo e que podem exigir seu retreinamento ou recalibração.
A engenharia de dados de IA agêntica é a implementação de agentes de IA com o objetivo de melhorar e acelerar a criação e manutenção de sistemas que agregam e analisam dados — especificamente, pipelines de dados.
As empresas estão aproveitando cada vez mais os agentes de IA para otimizar a entrega de dados para os modelos de IA e, ao mesmo tempo, melhorar a produtividade das equipes de engenharia de dados. Os agentes de IA podem:
A Gartner prevê que, até 2027, o uso de assistentes de IA e fluxos de trabalho aprimorados por IA em ferramentas de integração de dados reduzirá o esforço manual em 60%.3
Os pipelines de dados de IA otimizam os dados para as iniciativas de IA e, ao mesmo tempo, oferecem benefícios mais amplos para a empresa. Veja como:
Os pipelines de dados de IA podem automatizar a criação de perfis de dados e a validação de dados, ajudando a garantir que os conjuntos de dados atendam às métricas de qualidade de dados necessárias para sistemas de IA de alto desempenho.
Os pipelines de dados de IA com integração de dados de streaming permitem a análise imediata de dados em tempo real, para obter insights instantâneos baseados em dados.
A contextualização que ocorre nos pipelines de dados de IA melhora a interpretação dos dados pelos modelos de IA, permitindo análise de dados e insights de maior qualidade.
Ao se conectar a uma variedade de fontes de dados e integrar vários formatos de dados, os pipelines de dados de IA podem eliminar os silos de dados e criar plataformas de dados unificadas.
O monitoramento contínuo do modelo e a governança de dados podem garantir que os dados confidenciais estejam em conformidade com as leis de privacidade de dados.
Os pipelines de dados de IA são projetados para processar enormes quantidades de dados, permitindo que as empresas acomodem volumes crescentes de dados. Além disso, os agentes de IA podem ser usados para adaptar pipelines para maior personalização, reduzindo a necessidade de criar novos pipelines quando as necessidades de dados mudam à medida que os casos de uso de IA evoluem.
Os agentes de IA podem tornar os pipelines de dados adaptáveis e com “autocorreção”, ou seja, podem detectar e lidar com problemas antes que interrompam processos posteriores.
Graças aos fluxos de trabalho agênticos, os pipelines de dados de IA podem ser mais acessíveis aos usuários do que os pipelines tradicionais. Usuários sem muita experiência em programação, por exemplo, podem usar prompts de linguagem natural para gerar códigos Python para processar documentos e implementar pipelines.4
O projeto de pipelines impulsionado por agentes de IA e a automação dos componentes de pipelines minimizam o tempo que os engenheiros de dados gastam em tarefas repetitivas, liberando-os para realizar trabalhos de maior valor.
Os pipelines de dados de IA são valiosos para qualquer empresa que aproveite cargas de trabalho de IA para obter resultados de negócios.
Os dados de streaming e o aprendizado de máquina podem potencializar a detecção de fraude rápida e precisa. Uma rede neural, que é um tipo de modelo de aprendizado de máquina, pode monitorar transações recebidas, analisar dados e sinalizar comportamentos fraudulentos.
Análise de dados em tempo real impulsionada por IA pode gerar experiências rápidas e personalizadas para o cliente. Por exemplo, rastrear a atividade de navegação de um cliente em um site pode permitir recomendações instantâneas e personalizadas de produtos.
Ao organizar dados em embeddings vetoriais, os pipelines de dados de IA capacitam a RAG, que recupera informações de bancos de dados de vetores. A RAG, por sua vez, ajuda as aplicações de IA generativa a gerar saídas precisas e atualizadas com base em dados recém-recuperados.
Crie e gerencie pipelines de dados de streaming inteligentes por meio de uma interface gráfica intuitiva, facilitando a integração sem dificuldades dos dados em ambientes híbridos e de multinuvem.
O watsonx.data permite escalar a análise de dados e a IA com todos os seus dados, onde quer que estejam, por meio de um armazenamento de dados aberto, híbrido e governado.
Libere o valor dos dados empresariais com a IBM Consulting, construindo uma organização baseada em insights, que traz vantagem para os negócios.
1 “Performance evaluation of automated data-driven feature extraction and selection methods for practical and scalable building energy consumption prediction models.” Journal of Building Engineering. 1 de junho de 2025.
2 “Context Engineering: The Missing Infrastructure Layer for Enterprise AI Agents.” IBM. 2026.
3 Magic Quadrant for Data Integration Tools. Gartner. 8 de dezembro de 2025.
4 “Building data pipelines using natural language with Data Prep Kit (DPK).” IBM. 13 de maio de 2025.
