Dados de streaming são o fluxo contínuo de dados em tempo real de várias fontes. Ao contrário do processamento em lote, que lida com conjuntos de dados em intervalos agendados, os dados de streaming são processados à medida que chegam para fornecer insights imediatos e em tempo real.
Atualmente, as organizações geram grandes volumes de dados sobre tudo, desde dispositivos da Internet das coisas (IoT) até transações de comércio eletrônico. Os dados de streaming, também conhecidos como “fluxo de dados” ou “fluxo de dados em tempo real”, ajudam as organizações a processar esses fluxos de dados contínuos à medida que eles chegam.
Veja alguns exemplos de dados de streaming:
- Dados do mercado financeiro que rastreiam os preços de ações e atividades de negociação
- Leituras de sensores de IoT que monitoram o desempenho de equipamentos
- Fluxos de atividades de redes sociais que captam o engajamento dos usuários
- Dados referentes ao fluxo de cliques de sites mostrando padrões de comportamento dos visitantes
As organizações geralmente usam dados de streaming para respaldar iniciativas de negócios que dependem de dados em tempo real, permitindo uma rápida tomada de decisão baseada em dados, como análise de dados e business intelligence (BI).
Dados de streaming costumam fazer parte dos esforços de coleta e processamento de big data. Por exemplo, as organizações podem analisar fluxos contínuos de dados usando análise de big data para obter insights sobre eficiência operacional, tendências de consumo e mudanças na dinâmica do mercado.
Como envolve um fluxo contínuo, os dados de streaming requerem métodos de processamento diferentes do processamento em lote tradicional. Eles frequentemente incluem arquiteturas de streaming escaláveis e processadores de fluxo que gerenciam a ingestão, o processamento e a análise de dados, mantendo o desempenho ideal.
Nos últimos anos, o surgimento da inteligência artificial (IA) e do aprendizado de máquina aumentou ainda mais o foco nos recursos de dados de streaming. Essas tecnologias costumam depender do processamento de dados de streaming para gerar insights e previsões em tempo real.
De acordo com a Gartner, 61% das organizações relatam ter que evoluir ou repensar seu modelo operacional de dados e análise de dados devido ao impacto das tecnologias de IA.1
A WealthAPI, uma fintech, construiu sua plataforma de análise de dados financeiros em torno de uma arquitetura de streaming orientada a eventos para lidar com fluxos contínuos de dados bancários e de transações inconsistentes em tempo real. Os dados recebidos são armazenados em buffer e distribuídos pelo Google Publish/Subscribe, um serviço de mensagens que desacopla produtores de dados de sistemas posteriores e permite que múltiplos serviços consumam o mesmo fluxo simultaneamente. Então, o IBM watsonx.data gerencia a recuperação de dados estruturados de alto desempenho, entregando insights financeiros até 80% mais rápido, atendendo dezenas de milhares de usuários enquanto escala para milhões sem alterações arquitetônicas.
As mais recentes notícias de tecnologia, corroboradas por insights de especialistas.
Mantenha-se atualizado sobre as tendências mais importantes (e intrigantes) do setor em IA, automação, dados e muito mais com o boletim informativo Think. Consulte a Declaração de privacidade da IBM.
As organizações podem processar dados de duas maneiras principais: processamento em lote ou dados de streaming.
Embora os dois métodos lidem com grandes volumes de dados, eles atendem a casos de uso diferentes e exigem arquiteturas distintas.
As principais diferenças incluem:
- Modelo de processamento: o processamento em lote agrega e analisa conjuntos de dados em lotes em intervalos fixos, enquanto os dados de streaming usam ferramentas de processamento de dados em tempo real para processar os dados conforme eles chegam. Isso significa que os sistemas de streaming podem produzir insights e realizar ações imediatamente, enquanto os sistemas em lote operam em uma programação periódica.
- Necessidades de infraestrutura: sistemas em lote frequentemente utilizam ferramentas tradicionais de armazenamento e análise de dados, como data warehouses, enquanto o streaming requer frameworks e plataformas de fluxo de dados especializadas para lidar com fluxos de dados em tempo real.
- Requisitos de desempenho: sistemas em lote podem otimizar o uso de recursos durante execuções agendadas, enquanto o processamento em fluxo requer sistemas tolerantes a falhas com baixa latência. Em outras palavras, sistemas de streaming devem processar dados em tempo real sem atrasos, mesmo quando os volumes de dados são altos ou ocorrem problemas.
As organizações normalmente escolhem entre processamento em lote e em fluxo com base em volumes de dados, necessidades de latência e objetivos de negócios. Muitas delas usam ambas as abordagens dentro de uma malha de dados unificada para lidar com diferentes tipos de tarefas de dados.
Por exemplo, uma organização de comércio eletrônico pode usar o processamento em lote para gerar relatórios diários de vendas enquanto usa dados de streaming e sistemas de análise em tempo real para monitorar as principais métricas do site.
Em um nível elevado, os dados de streaming funcionam capturando, processando e analisando fluxos de dados de forma contínua, de várias fontes e em tempo real. Esse processo consiste em quatro fases principais:
- Ingestão de dados
- Processamento de fluxo
- Análise de dados
- Armazenamento de dados
Ingestão de dados
A primeira fase envolve a captura de fluxos de dados recebidos de diversas fontes. Ferramentas modernas de ingestão de dados, como o Apache Kafka, armazenam esses fluxos em buffer e os padronizam à medida que eles chegam, o que proporciona escalabilidade e consistência dos dados.
As organizações geralmente integram ferramentas de ingestão de dados com outros componentes para criar fluxos de trabalho unificados. As ferramentas de integração de dados também podem alinhar ainda mais tipos de dados díspares em um formato padronizado de processamento, para que dados de várias fontes possam ser combinados e analisados de forma eficaz.
Processamento de fluxos
Na fase de processamento, frameworks de processamento de fluxos, como o Apache Flink, analisam e transformam os dados enquanto estão em movimento. Esses frameworks permitem às organizações:
- Processe eventos complexos em tempo real
- Faça a agregação de dados em escala, como calcular médias, contar eventos ou somar valores de transações
- Aplique transformações, como filtragem, enriquecimento ou formatação de dados, à medida que os dados fluem pelo pipeline
Análise e visualização de dados
Nessa fase, as organizações obtêm insights de negócios praticáveis a partir de fluxos de dados de streaming por meio de visualização de dados e outras ferramentas analíticas.
As principais aplicações incluem:
- Dashboards em tempo real que fornecem métricas e KPIs críticos
- Aplicações operacionais que automatizam fluxos de trabalho e otimizam processos
- Modelos de aprendizado de máquina que analisam padrões para prever resultados
Armazenamento de dados
Ao armazenar dados de streaming, as organizações devem equilibrar a necessidade de acessar rapidamente os dados para uso em tempo real com o armazenamento de dados de longo prazo, eficiência de custos e preocupações com conformidade de dados.
Muitas organizações usam data lakes e data lakehouses para armazenar dados de streaming, pois essas soluções oferecem ambientes de armazenamento flexíveis e de baixo custo para grandes volumes de dados. Depois que os dados de streaming são capturados, eles podem ser enviados para um data warehouse, onde podem ser limpos e preparados para uso.
As organizações muitas vezes implementam várias soluções de armazenamento de dados juntas em uma malha de dados unificada. Por exemplo, instituições financeiras podem usar data lakes para armazenar fluxos de transações brutas enquanto usam warehouses para análise de dados e geração de relatórios.
As organizações podem usar vários tipos de dados de streaming para atender à análise em tempo real e à tomada de decisão. Alguns dos fluxos de dados de streaming mais comuns são:
Fluxos de eventos capturam ações ou alterações do sistema à medida que ocorrem, como chamadas de interface de programação de aplicativos (API), cliques em sites ou entradas de registro de aplicativos. Event streams são comumente usados para rastrear atividades em tempo real em sistemas, permitindo respostas instantâneas às interações do usuário ou aos eventos do sistema.
Dados de transações em tempo real capturam fluxos contínuos de transações comerciais, como pagamentos digitais ou compras de comércio eletrônico. Esses dados são usados em aplicações, como detecção de fraude e tomada de decisão instantânea.
Os dados de IoT e sensores incluem informações sobre condições ambientais, desempenho dos equipamentos e processos físicos. Esses fluxos de dados geralmente ajudam na automação de processos e no monitoramento de equipamentos em tempo real.
Dados de streaming permitem que as organizações processem grandes volumes de informações em tempo real para extrair insights e ações imediatos.
As aplicações comuns incluem:
Serviços financeiros
As instituições financeiras utilizam a streaming analytics com frequência para processar dados de mercado, transações e interações com clientes.
Por exemplo, as empresas de cartões de crédito recorrem aos dados de streaming para detecção de fraude. As plataformas de dados de streaming permitem que essas empresas analisem milhares de transações por segundo para detectar atividades incomuns e sinalizar ou bloquear transações suspeitas.
Fabricação
As instalações de fabricação modernas geralmente usam sensores de dispositivos de IoT e processamento de dados em tempo real para melhorar a eficiência operacional.
Por exemplo, uma montadora automotiva pode monitorar milhares de sensores da linha de montagem, rastreando métricas como temperatura, vibração e desempenho. Esses dados ajudam os operadores a detectar ineficiências com antecedência e programar a manutenção preventiva para evitar o downtime.
Saúde
Os prestadores de serviços de saúde dependem de aplicações de streaming para processar dados de dispositivos médicos e sistemas de monitoramento de pacientes.
Em unidades de terapia intensiva, por exemplo, monitores de cabeceira transmitem sinais vitais para processadores centrais por meio de pipelines de dados. Assim, esses processadores podem identificar padrões preocupantes e fornecer alertas automáticos à equipe médica quando for necessária uma intervenção.
Varejo e comércio eletrônico
Os varejistas e as empresas de comércio eletrônico utilizam dados de streaming de sistemas de ponto de venda, sensores de inventário e plataformas online para otimizar as operações.
Por exemplo, uma grande plataforma de comércio eletrônico pode usar o Apache Kafka para processar fluxos de cliques de milhões de compradores para avaliar a demanda e personalizar as experiências dos clientes.
Transporte e logística
Empresas de transporte costumam usar a streaming analytics para processar dados de GPS e leituras de sensores de IoT para otimização da frota.
Por exemplo, um provedor de logística pode integrar dados em tempo real de milhares de veículos com conjuntos de dados meteorológicos e de tráfego. Com isso, os processadores de fluxos podem permitir a otimização automatizada de rotas com latência mínima para ajudar os motoristas a evitar atrasos.
Cibersegurança
Os dados de streaming ajudam em medidas de cibersegurança, como a detecção automatizada de anomalias. Os sistemas de IA e de aprendizado de máquina podem analisar os fluxos de dados das ferramentas de monitoramento em todo o sistema para identificar padrões incomuns ou comportamentos suspeitos, permitindo respostas imediatas a possíveis problemas.
IA e aprendizado de máquina
Os dados de streaming também têm um papel vital na IA e no aprendizado de máquina. Por exemplo, os frameworks de processamento de fluxos podem viabilizar o treinamento contínuo de modelos de IA, para que os algoritmos de aprendizado de máquina se adaptem às mudanças de padrões quase em tempo real.
Os sistemas de aprendizado de máquina também podem aprender de forma gradual com fontes de dados de streaming por meio de um processo chamado aprendizado online, usando algoritmos especializados para melhorar a precisão sem exigir um novo treinamento completo do modelo.
Com a ajuda de soluções de dados de streaming comerciais e de código aberto, as organizações podem construir pipelines de dados escaláveis que são tolerantes a falhas, ou seja, podem se recuperar de falhas sem perda de dados ou downtime.
Dois tipos principais de tecnologias sustentam a maioria das implementações de dados de streaming: frameworks de processamento de fluxos e plataformas de dados de streaming.
Frameworks de processamento de fluxo
Os frameworks de processamento de fluxos fornecem a base para lidar com fluxos contínuos de dados. Esses frameworks ajudam as organizações a criar pipelines de dados de alto desempenho, que processam grandes volumes de dados de forma sistemática, rápida e confiável.
Três frameworks de código aberto dominam o cenário de streaming:
- Apache Kafka
- Apache Flink
- Apache Spark
Apache Kafka
O Kafka é uma importante plataforma de streaming que pode lidar com volumes enormes de dados com latência de milissegundos. As organizações costumam usar o Kafka para criar pipelines para rastreamento de atividades, monitoramento operacional e agregação de registros.
Apache Flink
O Apache Flink especializa-se em processamento de eventos complexos e computações com estado. Ele é valioso para análise em tempo real, detecção de fraude e manutenção preditiva, onde entender o contexto dos eventos ao longo do tempo é crítico.
Apache Spark
Conhecido por seus recursos de análise de dados unificada, o Spark pode lidar com dados em lote e de streaming simultaneamente. Essa capacidade o torna útil em situações em que as organizações precisam analisar dados históricos juntamente com dados em tempo real.
Plataformas e serviços de streaming de dados
As plataformas de dados de streaming oferecem várias ferramentas e funções para atender a todo o ciclo de vida dos dados de streaming, desde a ingestão e o processamento até o armazenamento e a integração.
Muitos dos principais provedores de nuvem oferecem soluções gerenciadas de dados de streaming que facilitam para as organizações a configuração de aplicações de alto volume de fluxo de dados. Serviços como o Amazon Kinesis da Amazon Web Services (AWS), Microsoft Azure Stream Analytics, Dataflow do Google Cloud e IBM Event Streams fornecem ferramentas prontas para uso. As empresas não precisam construir uma infraestrutura complexa a partir do zero.
Esses serviços também podem se integrar a ferramentas de streaming no local para criar arquiteturas híbridas que ajudam a equilibrar as necessidades de desempenho com os requisitos de privacidade de dados.
As organizações também podem usar ferramentas como o IBM StreamSets e o Confluent para criar pipelines de dados de streaming adaptados a seus ecossistemas de TI específicos.
Embora os dados de streaming possam trazer muitos benefícios, as organizações podem enfrentar desafios ao criar as arquiteturas de dados necessárias para atender às aplicações de streaming.
Veja alguns desafios comuns:
- Escalabilidade da arquitetura de dados: o processamento de dados de streaming frequentemente envolve lidar com grandes volumes de dados provenientes de muitas fontes. As organizações podem enfrentar dificuldades se suas arquiteturas de streaming não conseguirem escalar de forma eficiente para processar altos volumes de dados.
- Manutenção da tolerância a falhas: os sistemas de streaming devem ser tolerantes a falhas ao processar um grande número de eventos por segundo, às vezes até de milhões. Caso contrário, as organizações correm o risco de perder dados devido ao mau funcionamento e comportamentos inadequados do sistema.
- Monitoramento de desempenho: aplicações em tempo real exigem monitoramento constante de métricas como latência, rendimento e utilização de recursos para manter o desempenho ideal, uma demanda que pode prejudicar sistemas de processamento já sobrecarregados.
- Implementação da governança de dados: as organizações devem considerar como armazenam e processam dados de streaming que contenham informações de identificação pessoal (PII) ou outras informações confidenciais que se enquadrem na jurisdição do Regulamento Geral de Proteção de Dados (RGPD) , da California Consumer Privacy Act (CCPA) ou de outros requisitos de governança de dados.
Recursos
Organize seus dados com as soluções da plataforma IBM DataOps para que sejam confiáveis e preparados para a IA.
Crie e gerencie pipelines de dados de streaming inteligentes por meio de uma interface gráfica intuitiva, facilitando a integração sem dificuldades dos dados em ambientes híbridos e de multinuvem.
Libere o valor dos dados empresariais com a IBM® Consulting, construindo uma organização orientada por insights, que proporciona vantagem comercial.
Notas de rodapé
1 "Gartner Survey Finds 61% of Organizations Are Evolving Their D&A Operating Model Because of AI Technologies," Gartner, 29 de abril de 2024.