¿Qué es la orquestación de datos?

La orquestación de datos consiste en la gestión y coordinación de los flujos de datos entre diferentes sistemas, procesos y herramientas. Ayuda a organizar y optimizar las etapas de la pipeline de datos, incluida la recopilación, la ingestión, la transformación, la integración y el almacenamiento de datos.

Gracias a un proceso eficaz de coordinación de datos, la información fluye de forma fiable y eficiente hacia diversos destinos, y queda lista para su análisis y otros usos en cuanto llega a su destino. Estas capacidades principales la convierten en una práctica crítica de administración de datos en la era de las cargas de trabajo de big data y la toma de decisiones basada en datos. 

Los ingenieros de datos utilizan herramientas y plataformas de orquestación de datos para optimizar el movimiento de datos y facilitar la escalabilidad de las iniciativas de datos de la empresa. La automatización es fundamental para muchas soluciones modernas de orquestación de datos. Permite que las tareas de datos, como la integración y la transformación de datos, se ejecuten en un orden lógico sin intervención humana. 

Para aprovechar el potencial de sus crecientes volúmenes de datos, las empresas deben desenvolverse en ecosistemas de datos cada vez más complejos. Sus datos suelen proceder de diferentes fuentes y presentarse en diversos formatos. 

También se almacena comúnmente en repositorios basados en la nube y on premises, como lagos de datos y almacenes de datos, en todo el mundo. Y en muchas organizaciones, los datos son utilizados en diferentes herramientas por diferentes equipos y empleados: sistemas CRM para equipos de ventas, plataformas de analytics para vendedores, etc. Según una encuesta de IDC de 2024 a líderes de TI y de línea de negocio, los datos operativos provienen de 35 sistemas diferentes y se integran en 18 repositorios de datos analíticos diferentes, en promedio.¹

Estos entornos de datos tan complejos son propensos a la creación de silos de datos, a la presencia de datos de baja calidad y a otros problemas que generan cuellos de botella en los pipelines de datos e introducen errores en los análisis posteriores. Una orquestación eficaz de datos puede ayudar a las compañías a superar estos desafíos y desbloquear el valor de sus datos.

La orquestación de datos ayuda a las empresas a emplear sus datos para obtener insights valiosos, tomar decisiones informadas y lograr la innovación. Los beneficios específicos incluyen:

La orquestación de datos y la integración de datos son conceptos estrechamente relacionados, pero no idénticos. Si bien ambos permiten la consolidación y unificación de datos para casos de uso de analytics, la integración de datos es más granular, mientras que la orquestación de datos es una práctica general. 

La orquestación de datos optimiza el movimiento de datos a través de diferentes sistemas y procesos. La integración de datos es uno de esos procesos que utiliza diferentes métodos (como la extracción, transformación y carga, o ETL) para combinar y armonizar datos procedentes de distintas fuentes y, a continuación, cargarlos en un sistema de destino.

La orquestación de datos ayuda a las organizaciones a hacer frente a la enorme complejidad de sus ecosistemas de datos. La práctica en sí se divide comúnmente en tres pasos básicos:

• Organización: los datos se recopilan de una variedad de fuentes internas y externas y luego se organizan, a menudo en una ubicación central, para que estén listos para la transformación.
  
  
• Transformación: los datos sin procesar se convierten a un formato unificado, se depuran y se validan para confirmar su coherencia y exactitud.
  
  
• Activación: los datos se ponen a disposición para su análisis, enrutamiento a herramientas del panel y otros fines.

Detrás de los pasos básicos de la orquestación de datos se encuentran varias funciones clave. Algunas son:  

• Definición de las dependencias entre tareas y de la secuenciación de tareas
• Automatización de flujos de trabajo de datos
• Monitoreo y envío de alertas

La orquestación de datos a menudo comienza con la definición de tareas de procesamiento de datos y la especificación de su orden de ejecución en pipelines de datos y flujos de trabajo. Ayuda a garantizar que cuando una tarea depende del resultado de otra, esta última se complete primero. Esta secuenciación de tareas (es decir, basada en dependencias) ayuda a las organizaciones a evitar costosos fallos en el pipeline.

Para diseñar y organizar secuencias de tareas, los ingenieros de datos suelen utilizar grafos acíclicos dirigidos (DAG), es decir, grafos en los que los nodos están conectados mediante enlaces unidireccionales que no forman ningún ciclo. Los diferentes nodos en un DAG pueden representar diferentes procesos de datos, como la ingestión y la transformación de datos, y la secuencia en la que deben realizarse. Los bordes que conectan los nodos representan las dependencias entre los procesos.

Una alternativa a los DAG para definir y ordenar tareas es un enfoque centrado en el código. Un enfoque popular centrado en el código utiliza el lenguaje de programación de código abierto Python para crear funciones de gestión de flujos de trabajo, una configuración que a menudo se considera más adecuada para adaptarse a flujos de trabajo dinámicos.

La orquestación moderna de datos automatiza múltiples flujos de trabajo de datos, como ETL ELT (extracción, carga y transformación) la transformación de datos dentro de los almacenes de datos para garantizar la coherencia y minimizar o eliminar la intervención humana. Una persona puede iniciar una tarea automatizada de datos, pero las tareas también pueden programar mediante tres tipos de desencadenantes:²

• Desencadenantes basados en el tiempo: las tareas se ejecutan a intervalos o en momentos predeterminados.
  
  
• Desencadenantes basados en dependencias: las tareas solo se ejecutan una vez que se hayan completado otras tareas especificadas.
  
  
• Desencadenantes impulsados por eventos: las señales reales, como llamadas a API, activan una tarea.

Si bien el monitoreo de pipelines de datos a menudo se considera una práctica de observabilidad de los datos, también desempeña un papel en la orquestación de datos al ayudar a garantizar que los datos fluyan y se procesen según lo previsto. 

Las organizaciones pueden supervisar varios tipos de métricas, entre ellas métricas de rendimiento, como la latencia y el rendimiento; métricas de utilización de recursos, como el uso de la CPU y la memoria; y métricas de calidad de los datos, como la precisión, la integridad y la coherencia.³

Cuando se detecta un problema en un flujo de datos, como el fallo de una tarea, las herramientas de notificación pueden enviar alertas oportunas a los equipos de datos para que puedan resolver el problema rápidamente. Las soluciones de orquestación también pueden permitir reintentos para mitigar problemas, es decir, una tarea fallida puede volver a ejecutarse automáticamente un número específico de veces, antes de que se entreguen las notificaciones.

La orquestación de datos es similar, pero se diferencia notablemente de otros dos tipos de orquestación: la orquestación de flujos de trabajo y la orquestación de procesos. Ambas prácticas son más amplias que la orquestación de datos, y la orquestación de datos puede considerarse un tipo de ambas.
 La orquestación del flujo de trabajo se centra en coordinar y gestionar una serie de tareas, sistemas y herramientas interconectados para lograr un resultado específico. Hace hincapié en la ejecución e integración de extremo a extremo de los flujos de trabajo en diferentes entornos, lo que garantiza que las tareas se realicen en el orden correcto y que se cumplan las dependencias.

La orquestación de procesos se refiere a la gestión e integración de múltiples procesos de negocio, que a menudo involucran flujos de trabajo, personas y sistemas. En lugar de centrarse en la gestión de los flujos de trabajo, implica la coordinación integral de todos los procesos empresariales, lo que favorece la alineación con los objetivos de la organización.

Las organizaciones y los equipos de datos pueden elegir entre numerosas soluciones de orquestación de datos con el fin de optimizar sus procesos de tratamiento de datos. La mejor solución para una organización dependerá de sus prioridades específicas, como los costos (código abierto vs. comercial); necesidades de observabilidad; e integraciones con otras soluciones de datos populares (herramientas de analytics como dbt, plataformas de datos basadas en la nube como Snowflake).

Las herramientas y plataformas de orquestación de datos más utilizadas suelen ofrecer opciones para conectarse a otras soluciones de datos, pero difieren en otros aspectos. A continuación se ofrece una descripción detallada de varias soluciones de orquestación de datos:

• Apache Airflow
• AWS Step Functions
• Azure Data Factory
• Dagster
• Plataformas IBM DataOps
• Prefect

Apache Airflow, la solución de orquestación de datos más conocida, es una plataforma de código abierto diseñada principalmente para el procesamiento por lotes. Permite programar flujos de trabajo de datos, con flujos de trabajo definidos como DAG. Airflow cuenta con una arquitectura que admite el escalado y la ejecución paralela, lo que la hace adecuada para gestionar pipelines complejos y e intensivos en datos.

AWS Step Functions es un servicio de orquestación sin servidor de Amazon que presenta una interfaz visual para coordinar aplicaciones distribuidas y microservicios. A menudo se recomienda para organizaciones que ya dependen de la infraestructura de Amazon, pero también puede integrarse con aplicaciones de terceros.

Azure Data Factory, de Microsoft, es un servicio de integración de datos sin servidor totalmente gestionado que se integra de forma nativa con otros servicios de Azure. Cuenta con una interfaz de usuario gráfica para integrar fuentes de datos y coordinar flujos de datos ETL y ELT.

Dagster es conocido por su enfoque en la observabilidad y la calidad de los datos, con capacidades como el linaje de datos y el seguimiento de metadatos. Sus características también incluyen pruebas locales y componentes reutilizables para soportar productos de datos preparados para IA y prácticas modernas de ingeniería de software. 

IBM ofrece una selección de herramientas y plataformas de DataOps con capacidades de orquestación de datos. IBM watsonx.data intelligence proporciona un catálogo de datos para automatizar el descubrimiento de datos y la gestión de la calidad de los datos. La integración de IBM watsonx.data ofrece un plano de control unificado para construir canalizaciones reutilizables. E IBM Cloud Pak for Data utiliza virtualización de datos, pipelines y conectores para combinar datos de fuentes en silos, al tiempo que elimina la necesidad del movimiento físico de datos.

Prefect es una herramienta de orquestación de datos que viene en una versión de código abierto y una solución administrada en la nube con características adicionales para las empresas. A diferencia de otras soluciones de orquestación de datos, Prefect no se basa en DAG, sino que adopta un enfoque centrado en el código, que algunos prefieren para lograr una orquestación más dinámica.