Astronomer avec IBM : mettez à niveau votre environnement Airflow avec une évolutivité, une sécurité et un support dédié aux entreprises

IBM a récemment annoncé notre collaboration avec Astronomer, le logiciel open source Apache Airflow dédié aux entreprises, pour promouvoir et étendre l’adoption d’Apache Airflow au sein des entreprises. L’expansion rapide des cas d’utilisation d’Apache Airflow,y compris les workloads MLOps et les workflow GenAI, en plus de l’ingestion de données modernes et de l’orchestration, a conduit à plus de 31 téléchargements mensuels. L’Apache Airflow open source est probablement utilisé au sein de votre entreprise aujourd’hui par de nombreuses équipes effectuant de l’analytique et des opérations. Pourquoi votre entreprise devrait-elle passer d’Apache Airflow à Astronomer avec IBM ? Pour quatre raisons principales : l’évolutivité, la sécurité, le support et la résilience du déploiement.

Pour comprendre cette réponse, nous allons parler d’un récent témoignage de client d’une banque américaine concernant le passage d’un ancien planificateur de données à Airflow pour finalement choisir Astronomer auprès d’IBM.

Le planificateur de données standardisé de notre client bancaire américain ne répondait pas aux exigences DataOps. Le nouvel environnement centré sur le cloud de ce client et les exigences de reporting réglementaire qui ne cessent d’évoluer ont posé des problèmes à de nombreuses équipes qui tentaient de répondre aux besoins de l’entreprise en matière de planification. Le planificateur existant n’était pas optimisé pour l’utilisation du cloud et n’avait pas la flexibilité nécessaire pour prendre en charge des planifications personnalisées non basées sur un calendrier.

Plusieurs équipes ont donc commencé à explorer Airflow, qui offre des capacités d’orchestration de workflow programmatiques et adaptées au cloud pour leurs cas d’utilisation limités d’analytique et de reporting. Cependant, lorsque ces workflows et pipelines ont commencé à s’étendre à de multiples projets et équipes, notre client a rencontré de nouveaux problèmes. Pour étendre Airflow, il fallait des ajustements manuels et les intégrations ont causé des risques de sécurité et de prise en charge, ce qui a suscité des inquiétudes quant à la résilience globale de ces exigences DataOps critiques.

C’est là qu’Astronomer with IBM entre en jeu : Astronomer with IBM a mis à niveau son environnement Airflow pour répondre aux besoins de son entreprise en matière d’évolutivité, de sécurité, de support et de résilience du déploiement.

Astronomer avec IBM améliore Airflow en offrant de nombreuses fonctionnalités pour prendre en charge un déploiement à l’échelle de l’entreprise d’une manière centralisée permettant de gagner en efficacité opérationnelle.

Voici quelques-unes de ces fonctionnalités exclusives :

• Airflow multi-locataire : optimisez l’utilisation des ressources et l’efficacité opérationnelle avec des environnements Airflow isolés qui disposent d’une communication multi-déploiement.
• Mises à niveau sur place et fonctionnalités de mises à niveau : mettez à niveau Airflow tout en préservant les DAG, les configurations et les données pour minimiser les temps d’arrêt.
• Restauration de déploiement : inversez facilement vos déploiements Airflow vers n’importe quelle version ou déploiement de code précédent.
• DB Archival : exploitez des tâches d’archivage automatisées et basées sur des API pour la base de données Airflow.
• Exportateur de journaux universels : méthodologie sidecar vectorielle pour diriger les journaux vers plusieurs systèmes externes pris en charge.

Le planificateur original du client ne prenait pas en charge la sécurité « cloud-first », ce qui limitait sa capacité à utiliser des actifs de données basés sur le cloud. Cela a conduit à des inefficacités opérationnelles et à des risques de sécurité accrus, les équipes ayant commencé à contourner ces limites.

À la suite de ces résultats, Airflow est devenu l’orchestrateur préféré de plus d’équipes en raison de sa compatibilité avec les environnements cloud. Cependant, à mesure que le nombre de projets et d’équipes Airflow a augmenté, des défis importants ont surgi. Il n’y avait pas de méthode centralisée pour provisionner en toute sécurité Airflow à travers l’entreprise.

Astronomer with IBM leur a offert une sécurité d’entreprise robuste, avec des fonctionnalités telles que :

• Sécurité multi-locataire : contrôle d’accès basé sur les rôles (RBAC) espaces isolés au niveau des espaces de travail, des déploiements et des systèmes pour les DAG.
• SSO [OIDC/ SCIM] : prise en charge de l’OIDC et du SCIM pour l’authentification basée sur les événements et la suppression automatique des utilisateurs et des équipes.
• Cloud Identity : intégration des déploiements aux mécanismes d’identité cloud natifs (AWS IAM et GKE Workload Identity).

Le planificateur d’origine utilisé par le client ne disposait pas de la visibilité et de l’étendue de l’intégration dont les équipes de données modernes ont besoin pour gérer et surveiller efficacement les tâches et les échecs. En raison de sa courbe d’apprentissage abrupte, le planificateur ne fournissait pas la résilience nécessaire pour améliorer la productivité des développeurs.

Airflow s’est imposé comme une alternative viable à son ancien outil de planification. Cependant, des problèmes continuent de survenir car Airflow ne dispose pas du support nécessaire pour les résoudre rapidement et minimiser les temps d’arrêt. Le client a opté pour Astronomer en collaboration avec IBM en raison de ses fonctionnalités uniques, telles que :

• Visibilité et santé entre les déploiements : obtenez une visibilité complète de vos DAG et de vos métadonnées sur tous vos déploiements Airflow.
• Alertes centrées sur les données : configurez des alertes pour les états d’exécution des DAG et des tâches et recevez des notifications en temps réel via SMTP ou SMS.
• Cycle de vie des journaux : stockage des journaux basé sur ElasticSearch avec exportation externe et tâches de nettoyage pour la rétention.
• Conservation des indicateurs : conservation des indicateurs Prometheus pour tous les déploiements Airflow.
• Prise en charge d’Airflow : Astronomer pilote 100 % des versions d’Airflow et écrit environ 60 % du code Airflow. La prise en charge d’Airflow est inégalée.

Au final, la décision de l’équipe de passer de leur ancien outil de planification à Astronomer leur a permis de gagner en visibilité sur leurs workload et de réduire le temps d’exécution de 20 %. De plus, les clients améliorent la résilience de leurs déploiements avec l’observabilité des données par IBM, pour une observabilité des données de bout en bout pour Airflow et d’autres pipelines.

Databand aide les équipes à :

• Bénéficiez de vues exploitables et d’alertes pour bien comprendre la situation et prendre les mesures qui s’imposent.
• Accédez à des capacités complètes de surveillance, de suivi et d’alerte pour l’ensemble de vos produits de données et leurs dépendances.
• Recevez des recommandations proactives s’appuyant sur les bonnes pratiques d’Airflow pour signaler les opportunités d’optimisation et de réduction des coûts.
• Définissez et suivez les accords de niveau de service (SLA) de l’ensemble des produits de données, détectez les goulots d’étranglement et les anomalies, et prenez des mesures éclairées avant que les problèmes n’aient un impact sur la livraison.

Grâce à la polyvalence d’Airflow, à la capacité d’Astronomer à répondre aux besoins des entreprises et à la technologie de gestion de données éprouvée d’IBM, Astronomer avec IBM s’impose comme le choix optimal pour faire fonctionner Airflow à grande échelle.

Notre collaboration avec Astronomer simplifie l’adoption et la gestion d’Airflow, offrant une expérience fluide et une prise en charge complète aux clients qui souhaitent concevoir, déployer et adapter des pipelines de données pour différentes équipes.

Téléchargez le rapport State of Airflow 2025 pour en savoir plus sur la façon dont les entreprises utilisent Airflow et contactez votre représentant IBM.