¿Qué es la orquestación de datos?

La orquestación de datos es la gestión y coordinación de los flujos de datos a través de diferentes sistemas, procesos y herramientas. Ayuda a organizar y agilizar las etapas del pipeline de datos, incluidas la recopilación, la ingesta, la transformación, la integración y el almacenamiento de datos.

A través de un proceso exitoso de orquestación de datos, la información fluye de manera fiable y eficiente a varios destinos objetivo, y está lista para el análisis de datos y otros usos  a su llegada. Estas capacidades principales la convierten en una práctica de gestión de datos crítica en la era de las cargas de trabajo de big data y la toma de decisiones basada en los datos. 

Los ingenieros de datos confían en las herramientas y plataformas de orquestación de datos para agilizar el movimiento de los datos y apoyar la escalabilidad de las iniciativas de datos empresariales. La automatización es fundamental para muchas soluciones modernas de orquestación de datos. Permite que tareas de datos como la integración y la transformación de datos se ejecuten en un orden lógico sin intervención humana. 

Para aprovechar el poder de sus crecientes volúmenes de datos, las empresas deben navegar por ecosistemas de datos cada vez más complejos. Sus datos suelen proceder de diferentes fuentes y en formatos de datos variados. 

También es habitual almacenarlo en repositorios tanto basados en la nube como on-premises, como data lakes y almacenes de datos, en todo el mundo. Y en muchas organizaciones, los datos se utilizan en diferentes herramientas por distintos equipos y empleados: sistemas CRM para equipos de ventas, plataformas analíticas para profesionales del marketing, y así sucesivamente. Según una encuesta de IDC de 2024 a líderes de TI y de línea de negocio, los datos operativos proceden de 35 sistemas diferentes y se integran en 18 repositorios de datos analíticos diferentes, en promedio¹.

Estos entornos de datos complicados son propensos a crear silos de datos, datos de baja calidad y otros problemas que crean cuellos de botella en los pipelines de datos e introducen errores en los análisis posteriores. Una orquestación eficaz de los datos puede ayudar a las empresas a superar estos retos y obtener valor de sus datos.

La orquestación de datos ayuda a las empresas a utilizar sus datos para obtener perspectivas valiosas, tomar decisiones de forma informada e innovar. Entre los beneficios específicos se incluyen los siguientes:

La orquestación de datos y la integración de datos son conceptos estrechamente relacionados, pero no idénticos. Aunque ambas permiten consolidar y unificar datos para casos de uso analíticos, la integración de datos es más granular, mientras que la orquestación de datos es una práctica global. 

La orquestación de datos optimiza el movimiento de datos a través de diferentes sistemas y procesos. La integración de datos es uno de esos procesos, que utiliza distintos métodos (como la extracción, transformación y carga, o ETL) para combinar y armonizar datos de distintas fuentes y cargarlos después en un sistema de destino.

La orquestación de datos ayuda a las organizaciones a hacer frente a la enorme complejidad de sus ecosistemas de datos. La práctica en sí suele dividirse en tres pasos básicos:

• Organización: los datos se recogen de una serie de fuentes internas y externas y luego se organizan, a menudo en una ubicación central, para que estén listos para su transformación.
  
  
• Transformación: los datos sin procesar se convierten a un formato unificado, se limpian y se validan para confirmar su coherencia y precisión.
  
  
• Activación: los datos se ponen a disposición para su análisis, enrutamiento a herramientas de panel de control y otros fines.

Detrás de los pasos básicos de la orquestación de datos hay varias funciones clave. Entre ellas:  

• Definir las dependencias de las tareas y secuenciarlas
• Automatizar flujos de trabajo de datos
• Monitorizar y enviar alertas

La orquestación de datos suele comenzar con la definición de las tareas de procesamiento de datos y la especificación de su orden de ejecución en los flujos de trabajo y los pipelines de datos. Ayuda a garantizar que cuando una tarea depende del resultado de otra tarea, esta última se completa primero. Esta secuencia de tareas (es decir, una basada en las dependencias) ayuda a las organizaciones a evitar costosos fallos en los pipelines.

Para diseñar y organizar secuencias de tareas, los ingenieros de datos suelen utilizar grafos acíclicos dirigidos, o DAG, grafos en los que los nodos están unidos por conexiones unidireccionales que no forman ningún ciclo. Los diferentes nodos de un DAG pueden  representar diferentes procesos de datos, como la ingesta y la transformación de datos, y la secuencia en la que deben realizarse. Las aristas que conectan los nodos representan las dependencias entre los procesos.

Una alternativa a los DAG para definir y ordenar las tareas es un enfoque centrado en el código. Un enfoque popular centrado en el código utiliza el lenguaje de programación de código abierto Python para crear funciones para la gestión del flujo de trabajo, una configuración que a menudo se considera mejor para adaptarse a los flujos de trabajo dinámicos.

La orquestación de datos moderna automatiza múltiples flujos de trabajo de datos, como ETL, ELT (extracción, carga, transformación) y transformación de datos dentro de los almacenes de datos, para garantizar la coherencia y minimizar o eliminar la intervención humana. Una persona puede iniciar una tarea de datos automatizada, pero las tareas también se pueden programar a través de tres tipos de activadores:²

• Activadores basados en el tiempo: las tareas se ejecutan a intervalos u horas prescritas.
  
  
• Activadores basados en la dependencia: las tareas se ejecutan solo después de que se hayan completado otras tareas especificadas.
  
  
• Activadores basados en eventos: las señales del mundo real, como las llamadas a la API, activan una tarea.

Aunque la monitorización de pipelines de datos suele considerarse una práctica de observabilidad de datos, también desempeña un papel en la orquestación de datos ayudando a garantizar que los datos fluyan y se procesen según lo previsto. 

Las organizaciones pueden monitorizar varios tipos de métricas, incluidas las métricas de rendimiento, como la latencia y el rendimiento; las métricas de utilización de los recursos, como el uso de la CPU y la memoria, y las métricas de calidad de los datos, como la precisión, la integridad y la coherencia³.

Cuando se detecta un problema en el pipeline de datos, como un error en una tarea, las herramientas de notificación pueden enviar alertas puntuales a los equipos de datos para que puedan abordar el problema rápidamente. Las soluciones de orquestación también pueden permitir que se realicen nuevos intentos para mitigar los problemas, es decir, una tarea fallida puede volver a ejecutarse automáticamente un número determinado de veces, antes de que se envíen las notificaciones.

La orquestación de datos es similar pero notablemente distinta de otros dos tipos de orquestación: la orquestación por flujo de trabajo y la orquestación por procesos. Ambas prácticas son más amplias que la orquestación de datos, y la orquestación de datos puede considerarse un tipo de ambas.
 
La orquestación del flujo de trabajo se centra en coordinar y gestionar una serie de tareas,  sistemas y herramientas interconectados para lograr un resultado específico. Hace hincapié en la ejecución e integración de extremo a extremo de los flujos de trabajo en diferentes entornos, lo que ayuda a que las tareas se realicen en el orden correcto y, al mismo tiempo, cumplan con las dependencias.

La orquestación de procesos se refiere a la gestión e integración de múltiples procesos empresariales, que a menudo implican flujos de trabajo, personas y sistemas. En lugar de centrarse en la gestión del flujo de trabajo, implica la coordinación integral de todos los procesos empresariales, promoviendo la alineación con los objetivos de la organización.

Las organizaciones y los equipos de datos pueden elegir entre numerosas soluciones de orquestación de datos para optimizar sus procesos de tratamiento de datos. La mejor solución para una organización dependerá de sus prioridades específicas, como los costes (código abierto vs. comercial); necesidades de observabilidad; e integraciones con otras soluciones de datos populares (herramientas de análisis como dbt, plataformas de datos basadas en la nube como Snowflake).

Las herramientas y plataformas de orquestación de datos más utilizadas suelen ofrecer opciones para conectarse a otras soluciones de datos, pero varían en otros aspectos. A continuación encontrará un análisis más detallado de varias soluciones de orquestación de datos:

• Apache Airflow
• AWS Step Functions
• Azure Data Factory
• Dagster
• Plataformas IBM® DataOps
• Prefect

La solución de orquestación de datos más conocida, Apache Airflow, es una plataforma de código abierto diseñada principalmente para el procesamiento por lotes. Permite la programación de flujos de trabajo de datos, con flujos de trabajo definidos como DAG. Airflow cuenta con una arquitectura que admite el escalado y la ejecución paralela, lo que lo hace adecuado para gestionar pipelines complejos y con un uso intensivo de datos.

AWS Step Functions es un servicio de orquestación sin servidor de Amazon con una característica de interfaz visual para coordinar aplicaciones distribuidas y microservicios. Suele recomendarse a las organizaciones que ya dependen de la infraestructura de Amazon, pero también puede integrarse con aplicaciones de terceros.

Azure Data Factory, de Microsoft, es un servicio de integración de datos sin servidor y totalmente gestionado que se integra de forma nativa con otros servicios de Azure. Cuenta con una interfaz de usuario visual para integrar las fuentes de datos y la orquestación de los oleoductos de datos de ETL y ELT.

Dagster es conocido por su enfoque en la observabilidad y la calidad de los datos, con capacidades como el linaje de datos y el seguimiento de metadatos. Sus características también incluyen pruebas locales y componentes reutilizables para soportar productos de datos preparados para la IA y prácticas modernas de ingeniería de software. 

IBM ofrece una selección de herramientas y plataformas DataOps con capacidades de orquestación de datos. IBM watsonx.data intelligence proporciona un catálogo de datos para automatizar la detección de datos y la gestión de la calidad de los datos. IBM watsonx.data integration ofrece un plano de control unificado para construir pipelines reutilizables. E IBM Cloud Pak for Data utiliza la virtualización de datos, pipelines y conectores para combinar datos de fuentes en silos y, al mismo tiempo, elimina la necesidad de mover datos físicos.

Prefect es una herramienta de orquestación de datos que se presenta en una versión de código abierto y en una solución gestionada en la nube con características adicionales para las empresas. A diferencia de otras soluciones de orquestación de datos, Prefect no se basa en los DAG sino que adopta un enfoque centrado en el código, que algunos prefieren para una orquestación más dinámica.