Astronomer with IBM: actualice su entorno Airflow con escalabilidad, seguridad y soporte de nivel empresarial

IBM anunció recientemente nuestra colaboración con Astronomer, el software Apache Airflow de nivel empresarial, para promover y escalar la adopción de Airflow dentro de las empresas. La rápida expansión de casos de uso de Airflow, incluidas las cargas de trabajo de MLOps y los flujos de trabajo de GenAI, además de la ingesta y orquestación de datos modernas, ha dado lugar a más de 31 descargas mensuales. Es probable que Airflow de código abierto esté siendo utilizado dentro de su empresa hoy en día por varios equipos que realizan analytics y operaciones comerciales. ¿Por qué movería su empresa de Airflow a Astronomer with IBM? Cuatro razones principales: escalabilidad, seguridad, soporte y resiliencia de despliegue.

Para entender esta respuesta, analizaremos una historia reciente de un cliente bancario de EE. UU. que pasó de un programador de datos heredado a Airflow y, en última instancia, seleccionó Astronomer with IBM.

El programador de datos estandarizado de nuestro cliente bancario estadounidense no cumplía con sus requisitos de DataOps. El nuevo entorno centrado en la nube del cliente y los informes normativos en constante cambio crearon desafíos para muchos equipos que intentaban satisfacer sus necesidades de programación. El programador existente no estaba optimizado para el uso en la nube y carecía de la flexibilidad necesaria para adaptarse a horarios personalizados que no se basaban en un calendario.

Como resultado, varios equipos comenzaron a explorar Airflow, que proporciona capacidades de orquestación de flujos de trabajo programáticos y compatibles con la nube para sus casos de uso limitados de análisis y generación de informes. Sin embargo, a medida que estos flujos de trabajo y pipelines comenzaron a escalar en múltiples proyectos y equipos, nuestro cliente experimentó nuevos problemas. Airflow requirió ajustes manuales para escalar, y las integraciones causaron riesgos de seguridad y soporte que generaron preocupaciones sobre la resiliencia general para estos requisitos críticos de DataOps.

Ahí es donde Astronomer with IBM puede ayudar: Astronomer with IBM actualizó el entorno Airflow para satisfacer las necesidades de la empresa en torno a escalabilidad, seguridad, soporte y resiliencia del despliegue.

Astronomer with IBM mejora Airflow con múltiples características para respaldar un despliegue centralizado a escala empresarial que aumenta la eficiencia operativa.

Algunas de estas características exclusivas incluyen:

• Airflow multiinquilino: maximice la utilización de recursos y la eficiencia operativa con entornos Airflow aislados que tienen comunicación entre despliegues.
• Actualice Airflow mientras conserva los DAG, las configuraciones y los datos para minimizar el tiempo de inactividad.Servicios de actualización in situ.
• Reversión de la implementación: revierta fácilmente sus implementaciones de Airflow a cualquier versión anterior o implementación de código.
• Archivado de bases de datos: aproveche los trabajos de archivado automatizados y basados en API para la base de datos de Airflow.
• Exportador de registros universal: metodología sidecar vectorial para enviar registros a múltiples sistemas externos compatibles.

El programador original del cliente carecía de soporte para la seguridad en la nube, lo que restringía su capacidad para utilizar activos de datos basados en la nube. Esto provocó ineficiencias operativas y mayores riesgos de seguridad a medida que los equipos comenzaron a eludir estas limitaciones.

Como resultado, Airflow surgió como el orquestador preferido para más equipos debido a su compatibilidad con entornos en la nube. Sin embargo, a medida que crecía el número de proyectos y equipos de Airflow, surgieron desafíos importantes. No había un método centralizado para aprovisionar Airflow de forma segura en toda la empresa.

Astronomer with IBM proporcionó una sólida seguridad de nivel empresarial, con características como:

• Seguridad multiinquilino: espacios aislados de control de acceso basado en roles (RBAC) en los espacios de trabajo, despliegues y niveles de sistema para los DAG.
• SSO [OIDC/ SCIM]: compatibilidad con OIDC y SCIM para la autenticación basada en eventos y la eliminación automática de usuarios y equipos.
• Identidad en la nube: integración de despliegues con los mecanismos de identidad nativos de la nube (AWS IAM y Identidad de carga de trabajo GKE).

El programador original utilizado por el cliente carecía de la visibilidad y la gama de integraciones que los equipos de datos modernos requieren para gestionar y monitorear eficazmente los trabajos y las fallas. Además de su pronunciada curva de aprendizaje, el programador no proporcionaba la resiliencia necesaria para mejorar la productividad de los desarrolladores.

Airflow ha demostrado ser una alternativa viable a su programador anterior; sin embargo, Continuar surgiendo problemas porque Airflow carece del soporte necesario para resolver problemas rápidamente y minimizar el tiempo de inactividad. El cliente optó por Astronomer en colaboración con IBM debido a las características únicas de Astronomer, como:

• Visibilidad y estado entre despliegues cruzados: obtenga una visibilidad completa de sus DAG y metadatos en todas sus implementaciones de Airflow.
• Alertas centradas en datos: configure alertas para los estados de ejecución y tarea de DAG, y reciba notificaciones en tiempo real a través de SMTP o SMS.
• Ciclo de vida de registro: almacenamiento de registro basado en ElasticSearch con exportación externa y trabajos de limpieza de retención.
• Retención de métricas: retención de métricas de Prometheus para todos los despliegues de Airflow.
• Compatibilidad con Airflow: Astronomer impulsa el 100 % de las versiones de Airflow y escribe alrededor del 60 % del código de Airflow. El soporte de Airflow es inigualable.

Al final, la decisión del equipo de cambiar a Astronomer desde su programador existente les ayudó a obtener más visibilidad de sus cargas de trabajo y redujo el tiempo de ejecución en un 20 %. Además, los clientes mejoran su resiliencia de despliegue con la observabilidad de los datos de IBM, para la observabilidad de los datos de extremo a extremo para Airflow y otros pipelines.

Databand ayuda a los equipos a:

• Obtener vistas procesables y alertas para comprender el estado y tomar medidas según sea necesario.
• Desbloquear la supervisión, el seguimiento y las alertas enriquecidos en todos los productos de datos y sus dependencias.
• Recibir recomendaciones proactivas que aprovechan las mejores prácticas de Airflow para señalar oportunidades de optimización y ahorro de costos.
• Establecer y realizar un seguimiento de los SLA en todos los productos de datos, detectar cuellos de botella y anomalías, y tomar medidas informadas antes de que los problemas afecten la entrega.

La versatilidad de Airflow, combinada con la preparación empresarial de Astronomer y la sólida tecnología de gestión de datos de IBM, hace de Astronomer with IBM la opción ideal para ejecutar Airflow a escala.

Nuestra colaboración con Astronomer agiliza la adopción y gestión de Airflow, proporcionando una experiencia fluida y respaldada para los clientes que desean crear, desplegar y escalar pipelines de datos en varios equipos.

Descargue el Informe sobre el estado de Airflow 2025 para aprender más sobre cómo las empresas utilizan Airflow, y comuníquese con su representante de IBM.