Astronomer mit IBM: Aktualisieren Sie Ihre Airflow-Umgebung mit Skalierbarkeit, Sicherheit und Unterstützung auf Unternehmensniveau

IBM hat kürzlich die Zusammenarbeit mit Astronomer, der Apache Airflow-Software für Unternehmen, bekannt gegeben, um die Einführung von Airflow in Unternehmen zu fördern und zu erweitern. Die rasche Ausweitung der Anwendungsfälle von Airflow, einschließlich MLOps-Workloads und GenAI-Workflows, sowie die moderne Datenaufnahme und -orchestrierung haben zu mehr als 31 monatlichen Downloads geführt. Open-Source-Airflow wird in Ihrem Unternehmen wahrscheinlich bereits von mehreren Teams für Analyse und Geschäftsabläufe verwendet. Warum sollte Ihr Unternehmen mit IBM von Airflow zu Astronomer wechseln? Vier Hauptgründe: Skalierbarkeit, Sicherheit, Support und Bereitstellungsresilienz.

Um diese Antwort zu verstehen, werden wir die Geschichte eines US-Bankkunden erörtern, der kürzlich von einem alten Daten-Scheduler zu Airflow wechselte und sich schließlich für Astronomer mit IBM entschied.

Der standardisierte Daten-Scheduler unseres US-Banking-Kunden erfüllte die DataOps-Anforderungen nicht. Die neue Cloud-zentrierte Umgebung des Kunden und das sich ständig ändernde regulatorische Berichtswesen stellten viele Teams bei der Erfüllung ihrer Planungsanforderungen vor Herausforderungen. Der bestehende Scheduler war nicht für die Cloud-Nutzung optimiert und bot nicht die nötige Flexibilität, um benutzerdefinierte, nicht auf einem Kalender basierende Zeitpläne zu erstellen.

Infolgedessen begannen mehrere Teams, Airflow zu untersuchen, das programmatische und cloudfreundliche Workflow-Orchestrierungsfunktionen für ihre begrenzten analytischen und Berichts-Anwendungsfälle bietet. Als diese Workflows und Pipelines jedoch über mehrere Projekte und Teams hinweg skaliert wurden, stieß unser Kunde auf neue Probleme. Airflow erforderte manuelle Anpassungen, um zu skalieren, und Integrationen verursachten Sicherheits- und Supportrisiken, was zu Bedenken hinsichtlich der allgemeinen Ausfallsicherheit für diese entscheidenden DataOps-Anforderungen führte.

Hier kommt Astronomer with IBM ins Spiel: Astronomer with IBM hat seine Airflow-Umgebung aktualisiert, um den Anforderungen des Unternehmens in Bezug auf Skalierbarkeit, Sicherheit, Support und Ausfallsicherheit bei der Bereitstellung gerecht zu werden.

Astronomer mit IBM erweitert Airflow um mehrere Funktionen, um eine unternehmensweite, zentralisierte Bereitstellung zu unterstützen, die die betriebliche Effizienz steigert.

Zu diesen exklusiven Funktionen gehören:

• Multi-Tenant-Airflow: Maximieren Sie die Ressourcenauslastung und die betriebliche Effizienz mit isolierten Airflow-Umgebungen mit bereitstellungsübergreifender Kommunikation.
• Vor-Ort-Upgrades und Upgrade-Dienstprogramme: Aktualisieren Sie Airflow, während DAGs, Konfigurationen und Daten erhalten bleiben, um Ausfallzeiten zu minimieren.
• Rückgängigmachung der Bereitstellung: Machen Sie Ihre Airflow-Bereitstellungen ganz einfach auf eine frühere Version oder Code-Bereitstellung rückgängig.
• DB Archival: Nutzen Sie automatisierte und API-basierte Archivierungsjobs für die Airflow-Datenbank.
• Universeller Protokollexporter: Vector Sidecar-Methode, um Protokolle an mehrere unterstützte externe Systeme zu senden.

Der ursprüngliche Planer des Kunden unterstützte keine Cloud-First-Sicherheit, was die Nutzung von cloudbasierten Datenbeständen einschränkte. Dies führte zu betrieblichen Ineffizienzen und erhöhten Sicherheitsrisiken, da die Teams begannen, diese Einschränkungen zu umgehen.

Infolgedessen wurde Airflow aufgrund seiner Kompatibilität mit Cloud-Umgebungen zum bevorzugten Orchestrator für mehr Teams. Mit der wachsenden Anzahl von Airflow-Projekten und -Teams ergaben sich jedoch große Herausforderungen. Es gab keine zentralisierte Methode für die sichere Bereitstellung von Airflow im gesamten Unternehmen.

Astronomer mit IBM sorgte mit folgenden Funktionen für zuverlässige Sicherheit auf Unternehmensebene:

• Multi-Tenant-Sicherheit: Rollenbasierte Zugriffskontrolle (Role Based Access Control, RBAC) isolierte Räume auf den Ebenen der Arbeitsbereiche, Bereitstellungen und Systeme für DAGs.
• SSO [OIDC/SCIM]: OIDC- UND SCIM-Unterstützung für ereignisbasierte Authentifizierung und automatische Entfernung von Benutzern und Teams.
• Cloud Identity: Integration von Bereitstellungen in die cloudnativen Identitätsmechanismen (AWS IAM und GKE Workload Identity).

Dem ursprünglichen Planer, den der Kunde verwendete, fehlte die Transparenz und die Palette an Integrationen, die moderne Datenteams benötigen, um Jobs und Ausfälle effektiv zu verwalten und zu überwachen. In Verbindung mit seiner steilen Lernkurve bot der Planer nicht die erforderliche Ausfallsicherheit, um die Produktivität der Entwickler zu steigern.

Airflow hat sich als praktikable Alternative zum bisherigen Planer erwiesen; jedoch treten weiterhin Probleme auf, da Airflow die notwendige Unterstützung fehlt, um Probleme schnell zu lösen und Ausfallzeit zu minimieren. Der Kunde entschied sich in Zusammenarbeit mit IBM für Astronomer aufgrund der einzigartigen Funktionen von Astronomer, wie z. B.:

• Bereitstellungsübergreifende Transparenz und ebensolcher Zustand: Erhalten Sie sich einen vollständigen Überblick über Ihre DAGs und Metadaten in allen Ihren Airflow-Bereitstellungen.
• Datenzentrierte Warnmeldungen: Konfigurieren Sie Warnmeldungen für DAG-Ausführungs- und Aufgabenzustände und erhalten Sie Echtzeitbenachrichtigungen per SMTP oder SMS.
• Protokollierungslebenszyklus: Speicher auf ElasticSearch-Basis mit externen Export- und Aufbewahrungsbereinigungsaufträgen.
• Aufbewahrung von Metriken: Prometheus-Metrikenaufbewahrung für alle Airflow-Bereitstellungen.
• Airflow-Unterstützung: Astronomer betreibt 100 % der Airflow-Releases und schreibt etwa 60 % des Airflow-Codes. Die Airflow-Unterstützung des Unternehmens ist unübertroffen.

Die Entscheidung des Teams, von seiner Altlast zu Astronomer zu wechseln, verschaffte dem Team einen besseren Einblick in seine Workloads und verkürzte die Ausführungszeit um 20 %. Darüber hinaus verbessern Kunden mit der Daten-Observability by Databand von IBM die Ausfallsicherheit bei der Bereitstellung, um eine durchgängige Daten-Observability für Airflow und andere Pipelines zu gewährleisten.

Databand unterstützt Teams bei folgenden Aufgaben:

• Erhalten Sie verwertbare Ansichten und Benachrichtigungen, um den Zustand zu erfahren und erforderliche Maßnahmen zu ergreifen.
• Schalten Sie umfassende Überwachungs-, Nachverfolgungs- und Benachrichtigungsfunktionen für Datenprodukte und deren Abhängigkeiten frei.
• Erhalten Sie proaktive Empfehlungen, die Best Practices von Airflow nutzen, um Möglichkeiten zur Optimierung und Kosteneinsparung aufzuzeigen.
• Legen Sie SLAs für alle Datenprodukte fest, verfolgen Sie sie, erkennen Sie Engpässe und Anomalien und ergreifen Sie fundierte Maßnahmen, bevor Probleme die Lieferung beeinträchtigen.

Die Vielseitigkeit von Airflow in Kombination mit der Unternehmenstauglichkeit von Astronomer und der zuverlässigen Datenverwaltungstechnologie von IBM macht Astronomer mit IBM zur idealen Wahl für den Betrieb von Airflow im großen Maßstab.

Unsere Zusammenarbeit mit Astronomer vereinfacht die Einführung und Verwaltung von Airflow und bietet Kunden, die Datenpipelines über mehrere Teams hinweg aufbauen, bereitstellen und skalieren möchten, eine nahtlose und unterstützte Erfahrung.

Laden Sie den State of Airflow Report 2025 herunter, um mehr darüber zu erfahren, wie Unternehmen Airflow nutzen, und wenden Sie sich an Ihren IBM Vertreter.