Astronomer with IBM: actualice su entorno Airflow con escalabilidad, seguridad y soporte de nivel empresarial

IBM anunció recientemente nuestra colaboración con Astronomer, el software de Apache Airflow de nivel empresarial,  para promover y escalar la adopción de Airflow dentro de las empresas. La rápida expansión de los casos de uso de Airflow, incluidas las cargas de trabajo de MLOps y los flujos de trabajo de IA generativa, además de la moderna ingesta y orquestación de datos ha llevado a más de 31 descargas mensuales. Es probable que Airflow, de código abierto, esté siendo utilizado actualmente en su empresa por varios equipos que realizan análisis y operaciones empresariales. ¿Por qué pasaría su empresa de Airflow a Astronomer with IBM? Cuatro razones principales: escalabilidad, seguridad, soporte y resiliencia de implementación.

Para entender esta respuesta, analizaremos la historia reciente de un cliente bancario de EE. UU. que se trasladó de un programador de datos heredado a Airflow y, en última instancia, seleccionó Astronomer with IBM.

El programador de datos estandarizado de nuestro cliente bancario estadounidense no cumplía sus requisitos de DataOps. El nuevo entorno centrado en la nube del cliente y los informes normativos en constante cambio crearon desafíos para muchos equipos que intentaban satisfacer sus necesidades de programación. El programador existente no estaba optimizado para el uso en la nube y carecía de la flexibilidad necesaria para adaptarse a programaciones personalizadas que no se basaban en un calendario.

Como resultado, varios equipos comenzaron a explorar Airflow, que proporciona capacidades de orquestación de flujos de trabajo programáticos y compatibles con la nube para sus casos de uso limitados de análisis y generación de informes. Sin embargo, a medida que estos flujos de trabajo y canalizaciones comenzaron a escalar en múltiples proyectos y equipos, nuestro cliente experimentó nuevos problemas. Airflow requería ajustes manuales para escalar, y las integraciones causaban riesgos de seguridad y soporte que generaban preocupaciones sobre la resiliencia general para estos requisitos críticos de DataOps.

Ahí es donde Astronomer with IBM entra para ayudar: Astronomer with IBM actualizó su entorno Airflow para satisfacer las necesidades de su empresa en cuanto a escalabilidad, seguridad, soporte y resiliencia de implementación.

Astronomer with IBM mejora Airflow con varias características para apoyar una implementación centralizada a escala empresarial que incrementa la eficiencia operativa.

Algunas de estas características exclusivas incluyen:

• Airflow multiarrendatario: maximice la utilización de recursos y la eficiencia operativa con entornos Airflow aislados que tienen comunicación entre implementaciones.
• Mejoras in situ y actualización de los servicios: actualice Airflow conservando los DAG, las configuraciones y los datos para minimizar el tiempo de inactividad.
• Reversión de la implementación: revierta fácilmente sus implementaciones de Airflow a cualquier versión o implementación de código anterior.
• Archivado de bases de datos: aproveche los trabajos de archivado automatizados y basados en API para la base de datos Airflow.
• Exportador universal de registros: metodología de sidecar vectorial para hundir registros en varios sistemas externos compatibles.

El programador original del cliente carecía de soporte para la seguridad basada en la nube, lo que restringía su capacidad para utilizar activos de datos basados en la nube. Esto provocó ineficiencias operativas y mayores riesgos de seguridad a medida que los equipos comenzaron a eludir estas limitaciones.

Como resultado, Airflow surgió como el orquestador preferido para más equipos debido a su compatibilidad con entornos en la nube. Sin embargo, a medida que crecía el número de proyectos y equipos de Airflow, surgieron desafíos importantes. No había un método centralizado para aprovisionar Airflow de forma segura en toda la empresa.

Astronomer with IBM les proporcionó una robusta seguridad de nivel empresarial, con características como:

• Seguridad multiarrendatario: espacios aislados de control de acceso basado en roles (RBAC) en los niveles de trabajo, implementaciones y sistema para los DAG.
• SSO [OIDC/ SCIM]: compatibilidad con OIDC y SCIM para la autenticación basada en eventos y la eliminación automática de usuarios y equipos.
• Identidad en la nube: integración de implementaciones con los mecanismos de identidad nativos de la nube (AWS IAM y GKE Workload Identity).

El programador original utilizado por el cliente carecía de la visibilidad y la gama de integraciones que los equipos de datos modernos requieren para gestionar y supervisar eficazmente los trabajos y los fallos. Junto con su pronunciada curva de aprendizaje, el programador no ofrecía la resiliencia necesaria para mejorar la productividad de los desarrolladores.

Airflow ha demostrado ser una alternativa viable a su programador anterior; sin embargo, siguen surgiendo problemas porque Airflow carece de la asistencia necesaria para resolver los problemas con rapidez y minimizar el tiempo de inactividad. El cliente optó por Astronomer en colaboración con IBM debido a las características únicas de Astronomer, como:

• Visibilidad y salud entre implementaciones: obtenga una visibilidad completa de sus DAG y metadatos en todas sus implementaciones de Airflow.
• Alertas centradas en datos: configure alertas para los estados de ejecución y tarea de DAG, reciba notificaciones en tiempo real a través de SMTP o SMS.
• Ciclo de vida de información de registro: almacenamiento basado en ElasticSearch con exportación externa y trabajos de limpieza de retención.
• Retención de métricas: retención de métricas de Prometheus para todas las implementaciones de Airflow.
• Compatibilidad con Airflow: Astronomer impulsa el 100 % de las versiones de Airflow y escribe alrededor del 60 % del código de Airflow. Su compatibilidad con Airflow es inigualable.

Al final, la decisión del equipo de cambiar a Astronomer desde su planificador heredado les ayudó a obtener más visibilidad de sus cargas de trabajo y redujo el tiempo de ejecución en un 20 %. Además, los clientes mejoran su resiliencia de implementación con la observabilidad de los datos de IBM por Databand, para la observabilidad de los datos de extremo a extremo para Airflow y otras canalizaciones.

Databand ayuda a los equipos a:

• Obtener vistas procesables y alertas para comprender el estado y tomar medidas según sea necesario.
• Desbloquee la supervisión, el seguimiento y las alertas en todos los productos de datos y sus dependencias.
• Recibe recomendaciones proactivas que aprovechan las buenas prácticas de Airflow para señalar oportunidades de optimización y ahorro de costes.
• Establezca y realice un seguimiento de los SLA en todos los productos de datos, detecte cuellos de botella y anomalías, y tome medidas informadas antes de que los problemas afecten a la entrega.

La versatilidad de Airflow, combinada con la preparación para empresas de Astronomer y la sólida tecnología de gestión de datos de IBM, hace de Astronomer with IBM la opción ideal para ejecutar Airflow a escala.

Nuestra colaboración con Astronomer simplifica la adopción y el manejo de Airflow, ofreciendo una experiencia fluida y soportada para los clientes que desean crear, implementar y escalar pipelines de datos en varios equipos.

Descargue el informe State of Airflow 2025 para obtener más información sobre cómo las empresas utilizan Airflow y póngase en contacto con su representante de IBM.