Os dados de streaming são o fluxo contínuo de dados em tempo real ou quase em tempo real provenientes de diversas fontes. Ao contrário do processamento em lote, que trata os dados em intervalos programados, os dados de streaming são processados à medida que chegam, para oferecer insights imediatos e em tempo real.
As organizações usam dados de streaming para viabilizar casos de uso orientados por eventos que dependem de dados atualizados para uma tomada de decisão rápida e baseada em dados, como análise de dados e business intelligence (BI).
Os dados de streaming costumam ser usados em arquiteturas de dados modernas e em sistemas de análise em tempo real. Por exemplo, as organizações analisam fluxos contínuos de dados com frameworks de processamento de fluxos para obter insights sobre eficiência operacional, tendências de consumo e mudanças nas condições de mercado.
Por serem gerados continuamente, os dados de streaming exigem arquiteturas projetadas para ingestão e processamento contínuos. Em geral, elas incluem arquiteturas de streaming escaláveis e processadores de fluxos que cuidam da ingestão, da transformação e da análise de dados em tempo real, mantendo o desempenho e a confiabilidade em níveis ideais.
Os dados de streaming se caracterizam pelos seguintes atributos:
Como os dados de streaming são contínuos, velozes e muitas vezes voláteis, seu gerenciamento exige plataformas de streaming especializadas. O Apache Kafka é uma dessas plataformas, usada com frequência para viabilizar arquiteturas de processamento de fluxos escaláveis e tolerantes a falhas.
Mantenha-se atualizado sobre as tendências mais importantes (e intrigantes) do setor em IA, automação, dados e muito mais com o boletim informativo Think. Consulte a Declaração de privacidade da IBM.
Ao contrário dos dados tradicionais, armazenados em planilhas e processados em lotes, em intervalos previsíveis, os dados de streaming são um fluxo contínuo de informações em tempo real. Entre os exemplos comuns estão:
São essas fontes de dados de streaming que permitem que as organizações monitorem eventos em tempo real, reajam com agilidade a mudanças de cenário e tomem decisões mais rápidas e baseadas em dados.
Hoje, as organizações geram grandes volumes de dados em tempo real a partir de dispositivos da Internet das Coisas (IoT), transações de e-commerce, aplicações SaaS e serviços digitais. Os dados de streaming permitem que as organizações extraiam insights desses eventos à medida que acontecem, em vez de esperar por relatórios programados ou ciclos de processamento em lote, quando os dados podem já estar defasados demais para orientar uma ação eficaz.
As empresas podem usar dados de streaming para detectar problemas de imediato, monitorar o desempenho continuamente e responder a eventos no momento em que ocorrem. Esse ganho de visibilidade e de capacidade de resposta agiliza a tomada de decisão em áreas como detecção de fraudes, cibersegurança, gestão da cadeia de suprimentos, experiência do cliente e operações de TI.
Nos últimos anos, o avanço da inteligência artificial (IA) e do aprendizado de máquina (ML) aumentou ainda mais a importância dos recursos de dados de streaming. Muitos fluxos de trabalho automatizados e orientados por eventos costumam depender do processamento de dados de streaming para gerar insights, previsões e ações em tempo real.
Os dados de streaming são um input essencial para a análise moderna de big data e para os sistemas baseados em IA.
A adoção crescente da inteligência artificial torna os dados de streaming em tempo real ainda mais importantes. Dados atualizados e de alta qualidade costumam ser indispensáveis nos fluxos de trabalho de IA e ML. Segundo o Gartner, 61% das organizações afirmam que precisam aprimorar ou repensar o modelo operacional de dados e análise devido ao impacto das tecnologias de IA.1
Os sistemas de IA agêntica podem usar os dados de streaming para tomar decisões rápidas e autônomas, como identificar ameaças de cibersegurança e reagir a elas ou ajustar rotas de entrega conforme as condições de trânsito.
O processamento em lote tradicional de conjuntos de dados estáticos costuma ser insuficiente para casos de uso de IA em tempo real, pois não consegue atender aos requisitos de baixa latência nem acompanhar o ritmo de dados que mudam com rapidez. Atrasos ou dados defasados podem levar a previsões ou ações automatizadas que já perderam a relevância ou são simplesmente ineficazes.
Os dados de streaming oferecem um fluxo contínuo de informações que permite que modelos e aplicações façam previsões e tomem decisões com base nos inputs mais recentes. Esses dados também podem beneficiar os pipelines de aprendizado de máquina, que passam a atualizar funcionalidades e retreinar modelos no momento certo, além de reagir melhor a mudanças nos padrões subjacentes dos dados.
Apesar de todos os benefícios, integrar dados de streaming aos fluxos de trabalho de IA e ML também traz alguns desafios. O alto volume, a qualidade variável e a diversidade de formatos desses dados muitas vezes exigem ferramentas e infraestrutura especializadas para um tratamento eficaz.
As organizações podem processar dados de duas maneiras principais: processamento em lote ou dados de streaming.
Embora os dois métodos lidem com grandes volumes de dados, eles atendem a casos de uso diferentes e exigem arquiteturas distintas.
As principais diferenças incluem:
As organizações normalmente escolhem entre processamento em lote e em fluxo com base em volumes de dados, necessidades de latência e objetivos de negócios. Muitas delas usam ambas as abordagens dentro de uma malha de dados unificada para lidar com diferentes tipos de tarefas de dados.
Por exemplo, uma organização de comércio eletrônico pode usar o processamento em lote para gerar relatórios diários de vendas enquanto usa dados de streaming e sistemas de análise em tempo real para monitorar as principais métricas do site.
Em um nível elevado, os dados de streaming funcionam capturando, processando e analisando fluxos de dados de forma contínua, de várias fontes e em tempo real. Esse processo consiste em quatro fases principais:
A primeira fase envolve a captura de fluxos de dados recebidos de diversas fontes. Ferramentas modernas de ingestão de dados, como o Apache Kafka, armazenam esses fluxos em buffer e os padronizam à medida que eles chegam, o que proporciona escalabilidade e consistência dos dados.
As organizações geralmente integram ferramentas de ingestão de dados com outros componentes para criar fluxos de trabalho unificados. As ferramentas de integração de dados também podem alinhar ainda mais tipos de dados díspares em um formato padronizado de processamento, para que dados de várias fontes possam ser combinados e analisados de forma eficaz.
Na fase de processamento, frameworks de processamento de fluxos, como o Apache Flink, analisam e transformam os dados enquanto estão em movimento. Esses frameworks permitem às organizações:
Nessa fase, as organizações obtêm insights de negócios praticáveis a partir de fluxos de dados de streaming por meio de visualização de dados e outras ferramentas analíticas.
As principais aplicações incluem:
Ao armazenar dados de streaming, as organizações devem equilibrar a necessidade de acessar rapidamente os dados para uso em tempo real com o armazenamento de dados de longo prazo, eficiência de custos e preocupações com conformidade de dados.
Muitas organizações usam data lakes e data lakehouses para armazenar dados de streaming, pois essas soluções oferecem ambientes de armazenamento flexíveis e de baixo custo para grandes volumes de dados. Depois que os dados de streaming são capturados, eles podem ser enviados para um data warehouse, onde podem ser limpos e preparados para uso.
As organizações muitas vezes implementam várias soluções de armazenamento de dados juntas em uma malha de dados unificada. Por exemplo, instituições financeiras podem usar data lakes para armazenar fluxos de transações brutas enquanto usam warehouses para análise de dados e geração de relatórios.
As organizações podem usar vários tipos de dados de streaming para atender à análise em tempo real e à tomada de decisão. Alguns dos fluxos de dados de streaming mais comuns são:
Fluxos de eventos capturam ações ou alterações do sistema à medida que ocorrem, como chamadas de interface de programação de aplicativos (API), cliques em sites ou entradas de registro de aplicativos. Event streams são comumente usados para rastrear atividades em tempo real em sistemas, permitindo respostas instantâneas às interações do usuário ou aos eventos do sistema.
Dados de transações em tempo real capturam fluxos contínuos de transações comerciais, como pagamentos digitais ou compras de comércio eletrônico. Esses dados são usados em aplicações, como detecção de fraude e tomada de decisão instantânea.
Os dados de IoT e sensores incluem informações sobre condições ambientais, desempenho dos equipamentos e processos físicos. Esses fluxos de dados geralmente ajudam na automação de processos e no monitoramento de equipamentos em tempo real.
Dados de streaming permitem que as organizações processem grandes volumes de informações em tempo real para extrair insights e ações imediatos.
As aplicações comuns incluem:
As instituições financeiras utilizam a streaming analytics com frequência para processar dados de mercado, transações e interações com clientes.
Por exemplo, as empresas de cartão de crédito dependem de dados de streaming para detectar fraudes. As plataformas de dados de streaming permitem que essas empresas analisem milhares de transações por segundo para identificar atividades incomuns e sinalizar ou bloquear transações suspeitas.
Um estudo de caso para ilustrar: a WealthAPI, uma fintech, construiu sua plataforma de análise financeira sobre uma arquitetura de streaming orientada por eventos para processar, em tempo real, fluxos contínuos de dados bancários e transacionais inconsistentes.
Os dados recebidos são armazenados em buffer e distribuídos pelo Google Cloud Pub/Sub, um serviço de mensagens que desvincula os produtores de dados dos sistemas subsequentes e permite que vários serviços consumam o mesmo fluxo simultaneamente.Em seguida, o IBM® watsonx.data cuida da recuperação de dados estruturados com alto desempenho: entrega insights financeiros até 80% mais rápido e atende dezenas de milhares de usuários, com capacidade de escalar para milhões sem mudanças na arquitetura.
As instalações de fabricação modernas geralmente usam sensores de dispositivos de IoT e processamento de dados em tempo real para melhorar a eficiência operacional.
Por exemplo, uma montadora automotiva pode monitorar milhares de sensores da linha de montagem, rastreando métricas como temperatura, vibração e desempenho. Esses dados ajudam os operadores a detectar ineficiências com antecedência e programar a manutenção preventiva para evitar o downtime.
Os prestadores de serviços de saúde dependem de aplicações de streaming para processar dados de dispositivos médicos e sistemas de monitoramento de pacientes.
Em unidades de terapia intensiva, por exemplo, monitores de cabeceira transmitem sinais vitais para processadores centrais por meio de pipelines de dados. Assim, esses processadores podem identificar padrões preocupantes e fornecer alertas automáticos à equipe médica quando for necessária uma intervenção.
Os varejistas e as empresas de comércio eletrônico utilizam dados de streaming de sistemas de ponto de venda, sensores de inventário e plataformas online para otimizar as operações.
Por exemplo, uma grande plataforma de comércio eletrônico pode usar o Apache Kafka para processar fluxos de cliques de milhões de compradores para avaliar a demanda e personalizar as experiências dos clientes.
Empresas de transporte costumam usar a streaming analytics para processar dados de GPS e leituras de sensores de IoT para otimização da frota.
Por exemplo, um provedor de logística pode integrar dados em tempo real de milhares de veículos com conjuntos de dados meteorológicos e de tráfego. Com isso, os processadores de fluxos podem permitir a otimização automatizada de rotas com latência mínima para ajudar os motoristas a evitar atrasos.
Os dados de streaming ajudam em medidas de cibersegurança, como a detecção automatizada de anomalias. Os sistemas de IA e de aprendizado de máquina podem analisar os fluxos de dados das ferramentas de monitoramento em todo o sistema para identificar padrões incomuns ou comportamentos suspeitos, permitindo respostas imediatas a possíveis problemas.
Os dados de streaming também têm um papel vital na IA e no aprendizado de máquina. Por exemplo, os frameworks de processamento de fluxos podem viabilizar o treinamento contínuo de modelos de IA, para que os algoritmos de aprendizado de máquina se adaptem às mudanças de padrões quase em tempo real.
Os sistemas de aprendizado de máquina também podem aprender de forma gradual com fontes de dados de streaming por meio de um processo chamado aprendizado online, usando algoritmos especializados para melhorar a precisão sem exigir um novo treinamento completo do modelo.
Com a ajuda de soluções de dados de streaming comerciais e de código aberto, as organizações podem construir pipelines de dados escaláveis que são tolerantes a falhas, ou seja, podem se recuperar de falhas sem perda de dados ou downtime.
Dois tipos principais de tecnologias sustentam a maioria das implementações de dados de streaming: frameworks de processamento de fluxos e plataformas de dados de streaming.
Os frameworks de processamento de fluxos fornecem a base para lidar com fluxos contínuos de dados. Esses frameworks ajudam as organizações a criar pipelines de dados de alto desempenho, que processam grandes volumes de dados de forma sistemática, rápida e confiável.
Três frameworks de código aberto dominam o cenário de streaming:
As plataformas de dados de streaming oferecem ferramentas que cobrem todo o ciclo de vida dos dados em tempo real, da ingestão e do processamento ao armazenamento e à integração.
Os grandes provedores de nuvem oferecem serviços gerenciados de streaming que simplificam a implementação e a operação de aplicações de fluxo de dados de alto volume. Alguns exemplos são o Amazon Kinesis, da Amazon Web Services (AWS), o Microsoft Azure Stream Analytics, o Google Cloud Dataflow e o IBM Event Streams. Esses serviços disponibilizam recursos prontos para uso que poupam as organizações de criar do zero uma infraestrutura de streaming complexa.
Muitas organizações também adotam arquiteturas híbridas de streaming que combinam serviços nativos da nuvem com sistemas locais para atender a requisitos de desempenho, escalabilidade e residência de dados.
Além disso, plataformas como a Confluent trazem recursos de streaming de nível empresarial para criar, gerenciar e escalar pipelines de dados em tempo real em diversos ambientes de TI. A Confluent é amplamente reconhecida por expandir o Apache Kafka com recursos avançados de governança, segurança, observabilidade e fluxo de dados entre ambientes.
Embora os dados de streaming possam trazer benefícios significativos para a análise em tempo real e a tomada de decisão, as organizações muitas vezes enfrentam desafios técnicos e operacionais ao projetar arquiteturas que viabilizem aplicações de streaming. Migrar de sistemas tradicionais de processamento em lote para ambientes de streaming pode exigir novas abordagens de desenvolvimento, conhecimento operacional e estratégias de infraestrutura.
Veja alguns desafios comuns:
Os sistemas de streaming costumam processar volumes enormes de dados gerados continuamente por fontes distribuídas. À medida que as cargas de trabalho crescem, as organizações podem ter dificuldade para escalar a infraestrutura com eficácia e, ao mesmo tempo, manter a taxa de transferência alta e a latência baixa de forma consistente.
Projetar arquiteturas de streaming muitas vezes envolve conciliar prioridades conflitantes. O processamento de baixa latência pode exigir mais recursos de computação e uma infraestrutura complexa, ao passo que otimizar a taxa de transferência ou a eficiência de custos pode aumentar os atrasos no processamento.
A migração de sistemas de processamento em lote para arquiteturas orientadas por eventos costuma trazer novas APIs, frameworks de processamento de fluxos e ferramentas operacionais. As equipes de engenharia de dados podem precisar de conhecimento especializado para gerenciar e monitorar essas cargas de trabalho em tempo real e resolver os problemas que surgirem nelas.
Os sistemas de streaming precisam se manter resilientes enquanto processam o que pode chegar a milhões de eventos por segundo. Sem mecanismos eficazes de tolerância a falhas, as organizações correm o risco de perda de dados, processamento duplicado ou interrupções do serviço causadas por mau funcionamento e falhas do sistema.
As aplicações de streaming exigem o monitoramento contínuo de métricas como latência, taxa de transferência, atraso e utilização de recursos. Manter o desempenho ideal pode pressionar ainda mais as equipes de infraestrutura e de operações, que já estão sobrecarregadas.
As organizações precisam avaliar como armazenam e processam dados de streaming que contêm informações de identificação pessoal (PII) ou outro tipo de informação sensível sujeita ao Regulamento Geral de Proteção de Dados (GDPR), à Lei de Privacidade do Consumidor da Califórnia (CCPA) ou a outros requisitos de governança de dados.
Organize seus dados com as soluções da plataforma IBM DataOps para que sejam confiáveis e preparados para a IA.
Crie e gerencie pipelines de dados de streaming inteligentes por meio de uma interface gráfica intuitiva, facilitando a integração sem dificuldades dos dados em ambientes híbridos e de multinuvem.
Libere o valor dos dados empresariais com a IBM® Consulting, construindo uma organização orientada por insights, que proporciona vantagem comercial.
1 “Gartner Survey Finds 61% of Organizations Are Evolving Their D&A Operating Model Because of AI Technologies”, Gartner, 29 de abril de 2024.