¿Qué es la transmisión de datos?

Definición de transmisión de datos

La transmisión de datos es el flujo continuo de datos en tiempo real o casi en tiempo real desde diversas fuentes. A diferencia del procesamiento por lotes, que procesa los datos a intervalos programados, la transmisión de datos se procesa a medida que llega para obtener insights inmediatos y en tiempo real.

Las organizaciones utilizan la transmisión de datos para respaldar casos de uso basados en eventos que dependen de datos oportunos para toma de decisiones rápida y basada en datos, como análisis de datos e business intelligence (BI).

La transmisión de datos se utiliza comúnmente en arquitecturas de datos modernas y sistemas de análisis en tiempo real. Por ejemplo, las organizaciones analizan flujos de datos continuos con marcos de procesamiento de flujos para obtener insights sobre la eficiencia operativa, las tendencias del consumidor y las condiciones cambiantes del mercado.

Al generarse de forma continua, la transmisión de datos requieren arquitecturas diseñadas para la ingesta y procesamiento continuos. Estos suelen incluir arquitecturas de transmisión escalables y procesadores de flujo que gestionan la ingestión, transformación y análisis de datos en tiempo real, manteniendo un rendimiento y fiabilidad óptimos.

¿Cuáles son las características de la transmisión de datos?

La transmisión de datos se puede caracterizar por los siguientes rasgos:

  • Ilimitada: fluye continuamente sin un final definido
  • Heterogénea: proviene de diversas fuentes y puede tener diferentes formatos y esquemas
  • Alta velocidad: se genera y procesa a velocidades muy altas
  • Gran volumen: tiene flujos continuos de pequeños eventos, que pueden acumularse en conjuntos de datos muy grandes
  • Única: cada registro suele representar un evento que ocurre en un momento específico
  • Sensible al tiempo: su valor a menudo disminuye a medida que envejece
  • Imperfecta: Puede incluir errores, lagunas, inconsistencias o eventos fuera de orden

Debido a que la transmisión de datos es continua, rápida y, a menudo, volátil, su administración requiere plataformas de transmisión especializadas. Apache Kafka es una de esas plataformas comúnmente empleadas para admitir arquitecturas de procesamiento de flujo escalables y tolerantes a fallas.

¿Cuáles son ejemplos comunes de transmisión de datos?

A diferencia de los datos tradicionales que se almacenan en hojas de cálculo y procesados a intervalos predecibles por lotes, la transmisión de datos es un flujo de información continuo y en tiempo real. Algunos ejemplos comunes son:

  • Datos del mercado financiero de bolsas de valores y plataformas de negociación
  • IoT y lecturas de sensores de equipamiento y dispositivos inteligentes
  • Flujos de actividad en redes sociales desde plataformas como X, Instagram y TikTok
  • Datos de flujo de clics de sitios web de comercio electrónico y medios de comunicación
  • Datos de registro de aplicaciones y telemetría procedentes de plataformas en la nube y microservicios
  • GPS y datos de rastreo de ubicación de flotas de entrega y servicios de transporte compartido

Estas fuentes de transmisión de datos son las que permiten a las organizaciones monitorear eventos en tiempo real, responder rápidamente a condiciones cambiantes y tomar decisiones más rápidas y basadas en datos.

¿Por qué es importante la transmisión de datos?

Hoy en día, las organizaciones generan grandes volúmenes de datos en tiempo real a partir de dispositivos de Internet de las cosas (IoT), transacciones de comercio electrónico, aplicaciones SaaS y servicios digitales. La transmisión de datos permite a las organizaciones aprovechar los insights de estos eventos a medida que ocurren, en lugar de esperar reportes programados o ciclos de procesamiento por lotes, cuando los datos pueden ser demasiado anticuados para actuar eficazmente.

Las compañías pueden emplear la transmisión de datos para detectar problemas de forma inmediata, monitorizar continuamente el rendimiento y responder a eventos en el momento. Esta mayor visibilidad y capacidad de respuesta respalda una toma de decisiones más rápida en áreas como detección de fraude, ciberseguridad, administración de la cadena de suministro, experiencia del cliente y operaciones de TI.

En los últimos años, el auge de la inteligencia artificial (IA) y el machine learning (ML) incrementó aún más la importancia de las capacidades de transmisión de datos. Muchos flujos de trabajo automatizados y basados en eventos a menudo dependen del procesamiento de la transmisión de datos en tiempo real para generar insights, predicciones y acciones en tiempo real.

La transmisión de datos e IA/machine learning (ML)

La transmisión de datos es una entrada fundamental para el analytics de big data moderno y los sistemas impulsados por IA.

La creciente adopción de la inteligencia artificial amplifica aún más la importancia de la transmisión de datos en tiempo real. Los datos actualizados y de alta calidad a menudo son parte integral de los flujos de trabajo de IA y machine learning (ML). Según Gartner, el 61 % de las organizaciones informan que tienen que evolucionar o repensar su modelo operativo de datos y analytics debido al impacto de las tecnologías de IA.1

Los sistemas de IA agéntica pueden aprovechar Según Gartner, el 61 % de las organizaciones informan que tienen que evolucionar o repensar su modelo operativo de datos y analytics debido al impacto de las tecnologías de para apoyar una toma de decisiones rápida y autónoma, como identificar y responder a amenazas de ciberseguridad o ajustar rutas de envío en respuesta a las condiciones del tráfico.

El procesamiento tradicional por lotes de conjuntos de datos estáticos suele ser insuficiente para los casos de uso de IA en tiempo real, ya que no puede cumplir con los requisitos de bajalatencia ni seguir el ritmo de los datos que cambian rápidamente. Los retrasos o la falta de datos pueden conducir a predicciones o acciones automatizadas que ya no son relevantes o simplemente ineficaces.

La transmisión de datos proporciona un flujo continuo de información que permite a los modelos y aplicaciones hacer predicciones y tomar decisiones basadas en las entradas más recientes. También puede soportar canalizaciones de machine learning mediante actualizaciones oportunas de características, reentrenamiento de modelos y una mejor capacidad de respuesta a los cambios en los patrones de datos subyacentes.

A pesar de sus beneficios, integrar la transmisión de datos en flujos de trabajo de IA/machine learning (ML) presenta algunos desafíos. Su alto volumen, calidad de datos variable y diversos formatos a menudo requieren herramientas e infraestructura especializadas para respaldar de manera efectiva

Transmisión de datos frente a procesamiento por lotes

Las organizaciones pueden procesar datos de dos maneras principales: procesamiento por lotes o transmisión de datos.

Si bien ambos métodos manejan grandes volúmenes de datos, sirven para diferentes casos de uso y requieren diferentes arquitecturas.

Las diferencias clave incluyen:

  • Modelo de procesamiento: el procesamiento por lotes agrega y analiza conjuntos de datos en lotes a intervalos fijos, mientras que la transmisión de datos utiliza herramientas de procesamiento de datos en tiempo real para procesar los datos a medida que llegan. Esto significa que los sistemas de transmisión pueden generar insights y tomar medidas de inmediato, mientras que los sistemas por lotes operan en un horario periódico.

  • Necesidades de infraestructura: los sistemas por lotes a menudo utilizan herramientas tradicionales de almacenamiento de datos y analytics de datos, como almacenes de datos, mientras que la transmisión requiere infraestructura especializada y plataformas de transmisión de datos creadas para manejar flujos de datos en tiempo real.

  • Requisitos de rendimiento: los sistemas por lotes pueden optimizar el uso de recursos durante las ejecuciones programadas, mientras que el procesamiento de flujos necesita sistemas tolerantes a fallas con baja latencia. En otras palabras, los sistemas de transmisión deben procesar los datos en tiempo real sin demoras, incluso cuando los volúmenes de datos son altos o se producen problemas.

Las organizaciones suelen elegir entre el procesamiento por lotes y por flujos en función de los volúmenes de datos, las necesidades de latencia y los objetivos empresariales. Muchas emplean ambos enfoques dentro de un tejido de datos unificado para gestionar distintos tipos de tareas de datos.

Por ejemplo, una organización de comercio electrónico podría usar el procesamiento por lotes para generar informes de ventas diarios mientras usa datos de transmisión y sistemas de análisis en tiempo real para monitorear métricas clave del sitio web.  

Academia de IA

¿Es la gestión de datos el secreto de la IA generativa?

Explore por qué los datos de alta calidad son esenciales para el uso exitoso de la IA generativa.

Cómo funciona la transmisión de datos

A un alto nivel, la transmisión de datos funciona capturando, procesando y analizando continuamente flujos de datos en tiempo real de diversas fuentes. Este proceso consta de cuatro etapas clave:

  • Ingesta de datos
  • Procesamiento de flujos
  • Análisis de datos
  • Almacenamiento de datos

Ingesta de datos

La primera etapa consiste en capturar flujos de datos entrantes de diversas fuentes. Las herramientas modernas de ingesta de datos, como el búfer Apache Kafka, estandarizan estos flujos a medida que llegan, lo que ayuda a garantizar tanto la escalabilidad como la coherencia de los datos.

Las organizaciones suelen realizar la Integración de herramientas de ingesta de datos con otros componentes para crear flujos de trabajo unificados. Las herramientas de integración de datos también pueden alinear aún más los tipos de datos dispares en un formato estandarizado para el procesamiento para ayudar a garantizar que los datos de múltiples fuentes se puedan combinar y analizar de manera efectiva.

Procesamiento de flujos

En la etapa de procesamiento, las infraestructuras de procesamiento de transmisión como Apache Flink analizan y transforman los datos mientras están en movimiento. Estas infraestructuras permiten a las organizaciones:

  • Procese eventos complejos en tiempo real

  • Realice agregaciones de datos a escala, como calcular promedios, contar eventos o sumar valores de transacciones

  • Aplicar transformaciones, como filtrar, enriquecer o formatear datos, a medida que los datos fluyen a través del pipeline de datos

Análisis y visualización de datos

En esta etapa, las organizaciones obtienen insights empresariales procesables a partir de la transmisión de flujos de datos a través de la visualización de datos y otras herramientas analíticas.

Las aplicaciones clave incluyen:

  • Paneles de control en tiempo real que entregan métricas y KPIs críticos

  • Aplicaciones operativas que automatizan los flujos de trabajo y optimizan los procesos

  • Modelos de machine learning que analizan patrones para predecir resultados

Almacenamiento de datos

Al almacenar datos de transmisión, las organizaciones deben equilibrar la necesidad de acceder rápidamente a los datos para su uso en tiempo real con el almacenamiento de datos, la rentabilidad y las preocupaciones de cumplimiento de datos a largo plazo.

Muchas organizaciones emplean data lakes y lakehouses de datos para almacenar datos en streaming porque estas soluciones ofrecen entornos de almacenamiento flexibles y de bajo costo para grandes cantidades de datos. Después de capturar los datos de transmisión, es posible que se envíen a un almacén de datos, donde se pueden limpiar y preparar para su uso.  

Las organizaciones suelen implementar múltiples soluciones de almacenamiento de datos juntas en un tejido de datos unificado. Por ejemplo, las instituciones financieras pueden usar data lakes para almacenar flujos de transacciones sin procesar mientras usan almacenes para analytics e informes.

Tipos de transmisión de datos

Las organizaciones pueden utilizar muchos tipos de datos de transmisión para respaldar el análisis en tiempo real y la toma de decisiones. Algunos de los flujos de datos de transmisión más comunes incluyen:

Event Streams

Los flujos de eventos capturan las acciones o cambios del sistema a medida que se producen, como las llamadas a la interfaz de programación de aplicaciones (API), clics en el sitio web o entradas de registro de la aplicación. Los flujos de eventos se utilizan comúnmente para realizar un seguimiento de las actividades en tiempo real en todos los sistemas, lo que permite respuestas instantáneas a las interacciones de los usuarios o a los eventos del sistema.

Datos de transacciones en tiempo real

Los datos de transacciones en tiempo real capturan flujos continuos de transacciones comerciales, como pagos digitales o compras de comercio electrónico. Los datos de transacciones en tiempo real respaldan aplicaciones como la detección de fraudes y la toma de decisiones instantánea.

IoT y datos de sensores

Los datos de IoT y sensores incluyen información sobre las condiciones ambientales, el rendimiento del equipamiento y los procesos físicos. Estos flujos de datos a menudo admiten el monitoreo de equipamiento en tiempo real y la automatización de procesos.

Casos de uso de datos de streaming en el mundo real

La transmisión de datos permite a las organizaciones procesar grandes volúmenes de información en tiempo real para obtener insights y acciones inmediatas.

Las aplicaciones comunes son:

Servicios financieros

Las instituciones financieras utilizan con frecuencia analytics de streaming para procesar datos de mercado, transacciones e interacciones con los clientes.

Por ejemplo, las empresas de tarjetas de crédito confían en la transmisión de datos para la detección de fraudes. Las plataformas de transmisión de datos permiten a estas empresas analizar miles de transacciones por segundo para detectar actividades inusuales y marcar o bloquear transacciones sospechosas.

Un estudio de caso para ilustrar: WealthAPI, una fintech, construyó su plataforma de analytics financiero alrededor de una arquitectura de streaming orientada a eventos para gestionar flujos continuos de datos bancarios y de transacciones inconsistentes en tiempo real.

Los datos entrantes se almacenan en búfer y se distribuyen a través de Google Publish/Subscribe, un servicio de mensajería que desacopla a los productores de datos de los sistemas downstream y permite que múltiples servicios consuman el mismo flujo simultáneamente. Luego, IBM® watsonx.data maneja la recuperación de datos estructurados de alto rendimiento, brindando insights financieros hasta un 80 % más rápido, atendiendo a decenas de miles de usuarios mientras escala a millones sin cambios arquitectónicos

Manufactura

Las instalaciones modernas de fabricación a menudo utilizan sensores de dispositivos IoT y procesamiento de datos en tiempo real para mejorar la eficiencia operativa. 

Por ejemplo, una planta automotriz podría monitorear miles de sensores de línea de ensamblaje, rastreando métricas como temperatura, vibración y rendimiento. Estos datos pueden ayudar a los operadores a detectar ineficiencias de manera temprana y programar el mantenimiento preventivo para evitar el tiempo de inactividad.

Atención médica

Los proveedores de atención médica confían en las aplicaciones de transmisión para procesar datos de dispositivos médicos y sistemas de monitoreo de pacientes.

En las unidades de cuidados intensivos, por ejemplo, los monitores de cabecera transmiten los signos vitales a través de canales de datos a procesadores centrales, que pueden identificar patrones preocupantes y alertar automáticamente al personal médico cuando es necesaria una intervención.

Venta minorista y comercio electrónico

Los minoristas y las empresas de comercio electrónico utilizan datos de transmisión de los sistemas de punto de venta, sensores de inventario y plataformas en línea para optimizar las operaciones.

Por ejemplo, una gran plataforma de comercio electrónico puede usar Apache Kafka para procesar flujos de clics de millones de compradores para medir la demanda y personalizar las experiencias del cliente.

Transporte y logística

Las empresas de transporte a menudo utilizan streaming analytics para procesar datos GPS y lecturas de sensores IoT para optimizar la flota.

Por ejemplo, un proveedor de logística puede integrar datos en tiempo real de miles de vehículos con conjuntos de datos meteorológicos y de tráfico. Los procesadores de flujo pueden habilitar la optimización automatizada de rutas con una latencia mínima para ayudar a los conductores a evitar retrasos. 

Ciberseguridad

La transmisión de datos ayuda a respaldar medidas de ciberseguridad como la detección automatizada de anomalías. Los sistemas de IA y machine learning pueden analizar los flujos de datos de las herramientas de monitoreo en todo el sistema para identificar patrones inusuales o comportamientos sospechosos, lo que permite respuestas inmediatas a posibles problemas. 

IA y machine learning

La transmisión de datos también juega un papel vital en la IA y el machine learning. Por ejemplo, los marcos de procesamiento de flujos pueden admitir el entrenamiento continuo de modelos de IA para que los algoritmos de machine learning puedan adaptarse a los patrones cambiantes en tiempo casi real.

Los sistemas de machine learning también pueden aprender de manera incremental a partir de fuentes de datos en transmisión a través de un proceso llamado aprendizaje en línea, utilizando algoritmos especializados para mejorar la precisión sin requerir un reentrenamiento completo del modelo.

Herramientas y tecnologías de transmisión de datos

Con la ayuda de soluciones de transmisión de datos comerciales y de código abierto, las organizaciones pueden crear pipelines de datos escalables que sean tolerantes a fallas, lo que significa que pueden recuperarse de fallas sin pérdida de datos ni tiempo de inactividad.

Dos tipos clave de tecnologías sustentan la mayoría de las implementaciones de datos de streaming: las infraestructuras de procesamiento de transmisión y las plataformas de datos de transmisión.

Marcos de procesamiento de flujos

Los marcos de procesamiento de flujos proporcionan la base para gestionar flujos de datos continuos. Estos marcos ayudan a las organizaciones a crear pipelines de alto rendimiento que procesan grandes volúmenes de datos de forma coherente, rápida y fiable.

Tres marcos de código abierto dominan el panorama del streaming:

  • Apache Kafka: una plataforma líder de transmisión, Kafka puede manejar volúmenes masivos de datos con latencia de milisegundos. Las organizaciones suelen utilizar Kafka para crear pipelines para el seguimiento de actividades, la supervisión operativa y la agregación de registros. 

  • Apache Flink: Apache Flink se especializa en el procesamiento de eventos complejos y cálculos con estado. Es valioso para el análisis en tiempo real, la detección de fraude y el mantenimiento predictivo, donde es crítico comprender el contexto de los eventos a lo largo del tiempo.

  • Apache Spark: conocido por sus funciones unificadas de analytics, Spark puede gestionar tanto procesamiento por lotes como flujo usando el mismo motor de ejecución y APIs. Esta capacidad lo hace útil en escenarios en los que las organizaciones necesitan analizar conjuntos de datos históricos junto con flujos de datos en tiempo real.

  • Spark Structured Streaming: una extensión de la API principal de Spark basada en el motor Spark SQL que admite el procesamiento de transmisiones escalable y tolerante a fallas. Emplea modelos de procesamiento microlote y de procesamiento continuo para procesar la transmisión de datos de forma gradual.

Plataformas y servicios de transmisión de datos

Las plataformas de la transmisión de datos proporcionan herramientas que soportan todo el ciclo de vida de los datos en tiempo real, desde la ingestión y procesamiento hasta el almacenamiento e integración.

Los principales proveedores de la nube ofrecen servicios de la transmisión gestionados que simplifican el despliegue y el funcionamiento de aplicaciones de transmisión de datos de gran volumen. Los ejemplos incluyen Amazon Kinesis from Amazon Web Services (AWS), Microsoft Azure Stream Analytics, Google Cloud Dataflow e IBM Event Streams. Estos servicios ofrecen capacidades listas para usar que ayudan a las organizaciones a evitar construir infraestructuras de transmisión complejas desde cero.

Muchas organizaciones también adoptan arquitecturas híbridas de la transmisión que combinan servicios nativos de la nube con sistemas on premises para cumplir con los requisitos de rendimiento, escalabilidad y residencia de datos.

Además, plataformas como Confluent proporcionan capacidades de transmisión de nivel empresarial para crear, gestionar y escalar pipelines de datos en tiempo real en diversos entornos de TI. Confluent es ampliamente reconocido por extender Apache Kafka con características avanzadas para gobernanza, seguridad, observabilidad y transmisión de datos entre entornos.

Desafíos de la transmisión de datos

Aunque la transmisión de datos puede aportar beneficios significativos para el análisis en tiempo real y la toma de decisiones en tiempo real, las organizaciones a menudo se enfrentan a desafíos técnicos y operativos al diseñar arquitecturas para admitir aplicaciones de transmisión. La transición de los sistemas tradicionales de procesamiento por lotes a los entornos de transmisión puede requerir nuevos enfoques de desarrollo, experiencia operativa y estrategias de infraestructura.

Algunos desafíos comunes incluyen:

  • Escalado de arquitecturas de transmisión
  • Gestión de la latencia, el rendimiento y los costos
  • Aprendizaje de nuevas herramientas
  • Mantener la durabilidad y la tolerancia a fallas
  • Monitoreo del rendimiento en tiempo real
  • Implementación de la gobernanza de datos

Escalado de arquitecturas de la transmisión

Los sistemas de la transmisión a menudo procesan volúmenes masivos de datos generados continuamente a partir de fuentes distribuidas. Las organizaciones pueden tener dificultades para escalar la infraestructura de manera efectiva mientras mantienen un alto rendimiento constante y una baja latencia a medida que crecen las cargas de trabajo.

Gestión de la latencia, el rendimiento y las compensaciones de costos

El diseño de arquitecturas de transmisión a menudo implica equilibrar prioridades competitivas. El procesamiento de baja latencia puede requerir más recursos informáticos e infraestructura compleja, mientras que la optimización del rendimiento o la rentabilidad puede aumentar los retrasos en el procesamiento.

Aprendizaje de nuevas herramientas

Pasar de sistemas orientados a lotes a arquitecturas orientadas a eventos suele introducir nuevas APIs, marcos de procesamiento de flujos y herramientas operativas. Los equipos de ingeniería de datos pueden necesitar experiencia especializada para gestionar, monitorear y solucionar problemas de estas cargas de trabajo en tiempo real.

Mantener la durabilidad y la tolerancia a fallas

Los sistemas de transmisión deben seguir siendo resilientes mientras procesan potencialmente millones de eventos por segundo. Sin mecanismos eficaces de tolerancia a fallas, las organizaciones corren el riesgo de pérdida de datos, procesamiento duplicado o interrupciones del servicio por mal funcionamiento y fallas del sistema.

Monitoreo del rendimiento en tiempo real

Las aplicaciones de transmisión requieren un monitoreo continuo de métricas como la latencia, el rendimiento, el retraso y la utilización de recursos. Mantener un rendimiento óptimo puede ejercer una presión adicional sobre equipos de infraestructuras y operaciones ya sobrecargados.

Implementación de la gobernanza de datos

Las organizaciones deben considerar cómo almacenan y procesan la transmisión de datos que contiene información de identificación personal (PII) u otra información sensible que esté bajo la jurisdicción del Reglamento General de Protección de Datos (RGPD), la California Consumer Privacy Act u otros requisitos de gobernanza de datos .

Autores

Annie Badman

Staff Writer

IBM Think

Matthew Kosinski

Staff Editor

IBM Think

Soluciones relacionadas
Soluciones de plataforma DataOps

Organice sus datos con las soluciones de plataforma IBM DataOps para garantizar su fiabilidad y prepararlos para la IA a nivel empresarial.

Explorar las soluciones DataOps
IBM StreamSets

Cree y gestione canalizaciones de datos de streaming inteligentes a través de una interfaz gráfica intuitiva, y facilite una integración de datos fluida en entornos híbridos y multinube.

Explorar StreamSets
Servicios de consultoría en datos y analytics

Desbloquee el valor de los datos empresariales con IBM Consulting y cree una organización impulsada por insights que ofrezca ventajas empresariales.

Descubra los servicios de analytics
Dé el siguiente paso

Integre datos estructurados y no estructurados mediante una combinación de estilos, que incluyen procesamiento por lotes, transmisión en tiempo real y replicación, para no perder tiempo ni dinero cambiando constantemente de herramientas.

  1. Explore IBM watsonx.data integration
  2. Explore las soluciones de integración de datos