Los pipelines de datos tradicionales orientados a lotes a menudo tienen dificultades para admitir los flujos de trabajo modernos de IA. Carecen de las capacidades para proporcionar datos gobernados y de baja latencia de manera constante y, a menudo, tienen una escalabilidad limitada debido a arquitecturas frágiles.
Las empresas de hoy están sintiendo el impacto. En una encuesta realizada en 2025 a directores de datos realizada por el IBM Institute for Business Value (IBV), solo el 26 % dijo que creía que sus capacidades de datos pueden potenciar las fuentes de ingresos habilitadas por IA.
Los pipelines de datos de IA modernos están diseñados para ingerir y procesar rápidamente volúmenes grandes y diversos de datos para respaldar las demandas de IA de frescura de datos. También enriquecen los datos con metadatos, linaje, definiciones de negocio y reglas de gobernanza para que los modelos de IA puedan interpretar los datos de forma segura y eficaz. Los datos suelen almacenarse en arquitecturas escalables y distribuidas diseñadas para facilitar el acceso a datos de alta velocidad.
Las herramientas de IA y la ingeniería de datos de IA agéntica pueden ayudar a acelerar y optimizar procesos clave en los pipelines de datos de IA; en otras palabras, las organizaciones pueden emplear la IA para ayudar a operacionalizar y optimizar la propia IA.
Los pipelines de datos tradicionales estaban diseñados para el procesamiento y almacenamiento de datos estructurados, a menudo mediante cargas de trabajo previsibles programadas para procesamiento por lotes a intervalos rutinarios. Los datos se extraían normalmente de los sistemas de origen y se cargaban en almacenes de datos para su análisis mediante procesos de extracción, transformación y carga (ETL, por sus siglas en inglés) (a veces denominados pipelines ETL). Es un enfoque que funcionó (y sigue funcionando) bien para trabajos de procesamiento de datos que no son sensibles al tiempo y para conjuntos de datos organizados en bases de datos relacionales.
El procesamiento por lotes, en particular, permitió a las organizaciones optimizar el uso de recursos mediante la programación de trabajos durante períodos convenientes, como de la noche a la mañana, cuando no es probable que los sistemas sufran impuestos de otra manera. Cuando se completaban los trabajos, los resultados podían introducirse en paneles y utilizarse para fundamentar las decisiones empresariales, mucho después de la recopilación y la ingesta de datos.
Pero los datos para cargas de trabajo de IA requieren un enfoque marcadamente diferente que los pipelines tradicionales a menudo no pueden ejecutar. La arquitectura tradicional de pipeline tiene dificultades para adaptarse a:
Además, los pipelines tradicionales demostraron históricamente ser rígidos y frágiles. Los cambios upstream inesperados, como un cambio de esquema o una columna renombrada, pueden causar fallas en los pipelines y desencadenar horas de depuración.
Mientras tanto, la lógica codificada en las pipelines tradicionales hace que modificarlos se convierta en un proceso arduo, dificultando proporcionar la escalabilidad y personalización que requieren las iniciativas de IA transformadoras. Cuando las necesidades cambian, los ingenieros de datos a menudo prefieren construir nuevos pipelines de datos en lugar de ajustar las existentes por temor a romperlas, lo que genera una proliferación de los pipelines y una deuda técnica.
En el caso de que se utilicen pipelines tradicionales para entregar datos a los modelos de IA, la obsolescencia de los datos, la mala calidad de los datos y otros problemas pueden impedir el rendimiento del modelo.
Manténgase al día sobre las tendencias más importantes e intrigantes de la industria sobre IA, automatización, datos y más con el boletín Think. Consulte la Declaración de privacidad de IBM.
Como escribieron los investigadores del IBM Institute for Business Value en un informe de 2025, “la preparación para la IA comienza con algo más que datos limpios. Requiere una arquitectura que haga que los datos de alta calidad estén disponibles donde y cuando la IA los necesite”.
Los pipelines de datos de IA proporcionan esa arquitectura, con capacidades y características adaptadas a las demandas de los modelos de IA y las aplicaciones impulsadas por IA. Los pipelines de datos de IA pueden ingerir información de una variedad de fuentes de datos. Una vez que se ingieren los datos,los pipelines a menudo adoptan un enfoque de “shift left”, procesando los datos más cerca de la fuente, reduciendo la latencia y permitiendo la frescura de los datos.
Además de acelerar los flujos de datos, los pipelines de datos de IA también amplían la amplitud de los datos disponibles a través de su capacidad para integrar datos no estructurados. Los datos no estructurados constituyen la mayor parte de los datos generados por las compañías y son una fuente rica de insights aplicables en la práctica, pero en su momento eran en gran medida inaccesibles para el análisis y los casos de uso de IA.
En los pipelines de datos de IA, los datos no estructurados se transforman en incorporaciones vectoriales que pueden impulsar modelos de IA generativa y generación aumentada por recuperación.
El marco de un pipeline de datos de IA tiene una serie de similitudes con los pipelines de datos tradicionales. Sin embargo, un pipeline de datos de IA se distingue en el sentido de que ingiere, integra, enriquece y almacena datos de formas adaptadas para optimizar el entrenamiento y el rendimiento del modelo de IA.
Los pipelines de datos de IA se conectan e ingieren datos sin procesar, incluidos datos no estructurados y datos en tiempo real, desde una variedad de fuentes. Estas fuentes pueden incluir flujos de eventos, API y aplicaciones, y provienen de una gran variedad de entornos, incluyendo entornos locales y en la nube híbrida. Las plataformas de transmisión de eventos, como Apache Kafka, permiten una entrega de baja latencia y alto rendimiento para los pipelines de datos de IA.
Durante el preprocesamiento de datos, los datos se integran y transforman para que sean utilizables para la IA, independientemente de su formato original, tipo de datos o fuente. La naturaleza de la transformación de datos en un pipeline de datos de IA puede variar según el estilo y el proceso de integración de datos.
La integración de transmisión de datos puede transformar datos en tiempo real, por ejemplo, lecturas de sensores de Internet de las cosas (IoT), mientras esos nuevos datos están en movimiento, lo que permite su uso inmediato por parte de aplicaciones impulsadas por IA. La integración de datos no estructurados utiliza funcionalidades como la extracción de texto y la limpieza de datos para transformar diversos datos, haciéndolos disponibles para casos de uso de IA a través de incorporación vectorial y almacenamiento de base de datos vectorial.
La ingeniería de características puede considerar un tipo de transformación de datos, pero su propósito está más estrictamente definido: se refiere a la conversión de datos sin procesar a un formato legible por máquina para su uso por modelos de machine learning. Antes del entrenamiento del modelo, la ingeniería de características implica seleccionar los aspectos de los datos que son más relevantes para el tipo de modelo que se está capacitando y para la tarea para la que se está entrenando.
La ingeniería de características puede ser una tarea manual realizada por científicos de datos, aunque también hay investigaciones en curso sobre la ingeniería de características automatizada.1
Después de que un conjunto de datos se transforma a través de métodos tradicionales, así como de ingeniería de características, a menudo se divide en tres conjuntos: uno para entrenamiento, uno para ajuste (ajuste de los parámetros del algoritmo) y otro para pruebas. Ejecutar el modelo en estos tres conjuntos es un proceso iterativo que continúa hasta que el modelo cumple con un estándar de precisión o utilidad. Los pipelines de datos de IA también pueden entregar nuevos datos a los modelos para su reentrenamiento según sea necesario.
La preparación de conjuntos de datos de entrenamiento también puede incluir anotaciones, el proceso de agregar etiquetas significativas a los datos sin procesar, según el tipo de entrenamiento del modelo. Por ejemplo,los modelos de lenguaje de gran tamaño (LLM) se entrenan inicialmente con datos no etiquetados, pero, más adelante, también pueden ajustarse en conjuntos de datos etiquetados.
El almacenamiento de datos en los pipelines de datos de IA está diseñado para grandes conjuntos de datos, acceso a datos de alta velocidad y requisitos informáticos pesados. Emplea arquitecturas escalables, incluyendo object storage y sistemas de archivos paralelos, que procesan datos concurrentemente a través de múltiples nodos. Esta capacidad permite que las aplicaciones de IA manejen rápidamente datos en tiempo real.
El almacenamiento de datos para IA proporciona acceso a fuentes de datos dispares, incluyendo entornos basados en la nube y edge. Los repositorios de almacenamiento para el almacenamiento de datos de IA pueden incluir data warehouses, data lakes y data lakehouses. Dado que tales repositorios tienen diferentes características, muchas arquitecturas de datos empresariales incluyen dos o los tres tipos.
Una vez que el modelo entrenado se ha desplegado, los pipelines de datos de IA entregan datos empleados para inferencias, empleando patrones que el modelo aprendió de los datos de entrenamiento para pronosticar los resultados correcto, con base en los nuevos datos, para casos de uso reales.
Los tipos de inferencia incluyen la inferencia en línea (en tiempo real) y la inferencia por lotes. En la inferencia en línea, los datos se introducen inmediatamente para apoyar la toma de decisiones en tiempo real. En la inferencia por lotes, los modelos procesan grandes volúmenes de datos de forma asincrónica en grupos (o lotes) en momentos programados; es una opción de menor costo cuando la puntualidad no es una prioridad.
La ingeniería de contexto es el proceso de estructurar y optimizar el contexto proporcionado a los modelos de IA para que puedan interpretar mejor los datos que reciben. Se lleva a cabo a lo largo de diferentes fases del pipeline de datos de IA e incluye la definición de modelos semánticos, el enriquecimiento de metadatos, la estandarización de definiciones de negocio y el mapeo de relaciones entre entidades en todos los sistemas.2
La gobernanza de datos es una disciplina de gestión de datos que se centra en la calidad, la seguridad y la disponibilidad de los datos. Implica establecer controles de acceso, políticas y seguimiento de linaje en los datos y cargas de trabajo de IA. Las herramientas de observabilidad pueden detectar sesgos de datos, anomalías y otros problemas que afectan el rendimiento del modelo y podrían requerir reentrenamiento o recalibración del modelo.
La ingeniería de datos de IA agéntica es el despliegue de agentes de IA con el fin de mejorar y acelerar la creación y el mantenimiento de sistemas que agregan y analizan datos, es decir, pipelines de datos.
Las empresas aprovechan cada vez más los agentes de IA para optimizar la entrega de datos a los modelos de IA, al tiempo que mejoran la productividad de los equipos de ingeniería de datos. Los agentes de IA pueden:
Gartner predice que para 2027, el uso de asistentes de IA y flujos de trabajo mejorados con IA dentro de las herramientas de integración de datos reducirá el esfuerzo manual en un 60 %.3
Los pipelines de datos de IA optimizan los datos para las iniciativas de IA, al tiempo que proporcionan beneficios más amplios a la empresa. Descubra cómo hacerlo.
Los pipelines de datos de IA pueden automatizar la elaboración de perfiles y la validación de datos, lo que ayuda a garantizar que los conjuntos de datos cumplan con las métricas de calidad de datos requeridas para los sistemas de IA de rendimiento.
Los pipelines de datos de IA con integración de transmisión de datos permiten el análisis inmediato de datos en tiempo real para obtener insights instantáneos basados en datos.
La contextualización que se produce en los pipelines de datos de IA mejora la interpretación de los datos por parte de los modelos de IA, lo que permite analytics e insights de mayor calidad.
Al conectarse a una variedad de fuentes de datos e integrar varios formatos de datos, los pipelines de datos de IA pueden romper los silos de datos y crear plataformas de datos unificadas.
El monitoreo continuo de modelos y la gobernanza de datos pueden garantizar que los datos confidenciales cumplan con las leyes de privacidad de datos.
Los pipelines de datos de IA están diseñados para procesar enormes cantidades de datos, lo que permite a las empresas adaptarse a volúmenes de datos crecientes. Además, los agentes de IA se pueden utilizar para adaptar los pipelines para una mayor personalización, lo que reduce la necesidad de crear nuevos pipelines cuando las necesidades de datos cambian a medida que evolucionan los casos de uso de IA.
Los agentes de IA pueden hacer que los pipelines de datos sean adaptables y con capacidad de "autocorrección", es decir, pueden detectar y abordar problemas antes de que interrumpan los procesos posteriores.
Gracias a los flujos de trabajo con agentes, los pipelines de datos de IA pueden ser más accesibles para los usuarios que los pipelines tradicionales. Los usuarios sin amplia experiencia en programación, por ejemplo, pueden usar instrucciones en lenguaje natural para generar códigos Python para procesar documentos e implementar pipelines.4
El diseño de pipelines impulsado por agentes de IA y la automatización de los componentes de pipelines minimizan el tiempo que los ingenieros de datos dedican a tareas repetitivas, lo que los libera para realizar trabajos de mayor valor.
Los pipelines de datos de IA son valiosos para cualquier empresa que aproveche las cargas de trabajo de IA para obtener resultados comerciales.
La transmisión de datos y el machine learning pueden potenciar una detección de fraude rápida y precisa. Una Neural Networks, que es un tipo de modelo machine learning , puede monitorizar transacciones entrantes, analizar datos y detectar comportamientos fraudulentos.
Los analytics de datos en tiempo real impulsados por IA puede alimentar experiencias rápidas y personalizadas del cliente. Por ejemplo, el seguimiento de la actividad de navegación de un cliente en un sitio web puede permitir recomendaciones instantáneas de productos personalizados.
Al organizar los datos en incorporaciones vectoriales, los pipelines de datos de IA potencian la RAG, que recupera información de bases de datos vectoriales. RAG, a su vez, ayuda a las aplicaciones de IA generativa a generar resultados precisos y actualizados basados en datos recién recuperados.
Cree y gestione canalizaciones de datos de streaming inteligentes a través de una interfaz gráfica intuitiva, y facilite una integración de datos fluida en entornos híbridos y multinube.
watsonx.data le permite escalar los analytics y la IA con todos sus datos, residan donde residan, a través de un almacén de datos abierto, híbrido y gestionado.
Desbloquee el valor de los datos empresariales con IBM Consulting, y construya una organización impulsada por insights que ofrezca ventajas empresariales.
1 “Performance evaluation of automated data-driven feature extraction and selection methods for practical and scalable building energy consumption prediction models.” Journal of Building Engineering. 1 de junio de 2025.
2 “Context Engineering: The Missing Infrastructure Layer for Enterprise AI Agents.” IBM. 2026.
3 Magic Quadrant for Data Integration Tools. Gartner. 8 de diciembre de 2025.
4 “Building data pipelines using natural language with Data Prep Kit (DPK).” IBM. 13 de mayo de 2025.
