Astronomer mit IBM: Aktualisieren Sie Ihre Airflow-Umgebung mit Skalierbarkeit, Sicherheit und Unterstützung auf Unternehmensniveau

IBM hat kürzlich unsere Zusammenarbeit mit Astronomer, der Apache Airflow Software für Unternehmen, bekannt gegeben, um die Einführung von Apache Airflow in Unternehmen zu fördern und zu erweitern. Die rasche Ausweitung der Anwendungsfälle von Apache Airflow, einschließlich MLOps-Workloads und GenAI-Workflows, sowie die moderne Datenaufnahme und -orchestrierung hat zu mehr als 31 monatlichen Downloads geführt. Open-Source Apache Airflow wird in Ihrem Unternehmen wahrscheinlich bereits von mehreren Teams für Analyse und Geschäftsabläufe verwendet. Warum sollte Ihr Unternehmen von Apache Airflow zu Astronomer mit IBM wechseln? Dafür sprechen vier Hauptgründe: Skalierbarkeit, Sicherheit, Support und Bereitstellungs-Ausfallsicherheit.

Um diese Antwort zu verstehen, sprechen wir über einen aktuellen US-Banking-Kundenbericht über den Wechsel von einem Altlast-Datenscheduler zu Airflow und letztendlich die Auswahl von Astronomer mit IBM.

Der standardisierte Datenplaner unseres US-amerikanischen Bankkunden erfüllte die DataOps-Anforderungen nicht mehr. Die neue Cloud-zentrierte Umgebung des Kunden und das sich ständig ändernde regulatorische Berichtswesen stellten viele Teams bei der Erfüllung ihrer Planungsanforderungen vor Herausforderungen. Der bestehende Scheduler war nicht für die Cloud-Nutzung optimiert und bot nicht die nötige Flexibilität, um benutzerdefinierte, nicht auf einem Kalender basierende Zeitpläne zu erstellen.

Infolgedessen begannen mehrere Teams, Airflow zu untersuchen, das programmatische und Cloud-freundliche Workflow-Orchestrierungsfunktionen für ihre begrenzten Analyse- und Berichtsanwendungen bietet. Als diese Workflows und Pipelines jedoch über mehrere Projekte und Teams hinweg zu skalieren begannen, stieß unser Kunde auf neue Probleme. Airflow erforderte manuelle Anpassungen für die Skalierung, und die Integrationen verursachten Sicherheits- und Supportrisiken, was zu Bedenken hinsichtlich der Gesamtausfallsicherheit für diese kritischen DataOps-Anforderungen führte.

Hier kommt Astronomer with IBM ins Spiel: Astronomer with IBM hat seine Airflow-Umgebung aktualisiert, um den Anforderungen des Unternehmens in Bezug auf Skalierbarkeit, Sicherheit, Support und Ausfallsicherheit bei der Bereitstellung gerecht zu werden.

Astronomer with IBM erweitert Airflow um mehrere Funktionen, um eine unternehmensweite, zentralisierte Bereitstellung zu unterstützen, die die betriebliche Effizienz erhöht.

Zu diesen exklusiven Funktionen gehören:

• Multi-tenant Airflow: Maximieren Sie die Ressourcenauslastung und die betriebliche Effizienz mit isolierten Airflow-Umgebungen, die bereitstellungsübergreifende Kommunikation haben.
• Inplace-Upgrades und Upgrade-Dienstprogramme: Aktualisieren Sie Airflow unter Beibehaltung von DAGs, Konfigurationen und Daten, um Ausfallzeit zu minimieren.
• Bereitstellungs-Rollback: Machen Sie Ihre Airflow-Bereitstellungen ganz einfach auf eine frühere Version oder Code-Bereitstellung rückgängig.
• DB Archival: Nutzen Sie automatisierte und API-basierte Archivierungsjobs für die Airflow-Datenbank.
• Universeller Protokollexporter: Vektor-Sidecar-Methode zum Versenken von Protokollen auf mehrere unterstützte externe Systeme.

Der ursprüngliche Scheduler des Kunden unterstützte keine Cloud-First-Sicherheit, was die Nutzung von Cloud-basierten Assets einschränkte. Dies führte zu ineffizienten Betriebsabläufen und erhöhten Sicherheitsrisiken, da die Teams begannen, diese Einschränkungen zu umgehen.

Infolgedessen wurde Airflow aufgrund seiner Kompatibilität mit Cloud-Umgebungen zum bevorzugten Orchestrator für mehr Teams. Mit der wachsenden Anzahl von Airflow-Projekten und -Teams ergaben sich jedoch große Herausforderungen. Es gab keine zentralisierte Methode für die sichere Bereitstellung von Airflow im gesamten Unternehmen.

Astronom mit IBM verschaffte ihnen solide Sicherheit auf Unternehmensebene, mit Funktionen wie:

• Multi-Mieter-Sicherheit: Rollenbasierte Zugriffskontrolle (RBAC) isolierte Bereiche auf Arbeitsbereichen, Bereitstellungen und Systemebenen für DAGs.
• SSO [OIDC/SCIM]: OIDC- UND SCIM-Unterstützung für ereignisbasierte Authentifizierung und automatische Entfernung von Benutzern und Teams.
• Cloud Identity: Integration von Bereitstellungen mit den cloudnativen Identitätsmechanismen (AWS IAM und GKE Workload Identity).

Dem ursprünglich vom Kunden verwendeten Planer fehlte die Transparenz und der Umfang der Integrationen, die moderne Datenteams benötigen, um Aufträge und Fehler effektiv zu verwalten und zu überwachen. In Verbindung mit seiner steilen Lernkurve bot der Scheduler nicht die erforderliche Ausfallsicherheit, um die Produktivität der Entwickler zu steigern.

Airflow hat sich als brauchbare Alternative zu ihrem bisherigen Scheduler erwiesen. Allerdings treten immer wieder Probleme auf, weil Airflow nicht über den nötigen Support verfügt, um Probleme schnell zu lösen und Ausfallzeiten zu minimieren. Der Kunde hat sich in Zusammenarbeit mit IBM für Astronomer entschieden, weil Astronomer einzigartige Funktionen bietet, wie z.B.:

• Bereitstellungsübergreifende Transparenz und Zustand: Verschaffen Sie sich einen vollständigen Überblick über Ihre DAGs und Metadaten in allen Ihren Airflow-Bereitstellungen.
• Datenzentrierte Warnungen: Konfigurieren Sie Warnungen für DAG-Ausführungs- und Aufgabenzustände und erhalten Sie Echtzeitbenachrichtigungen per SMTP oder SMS.
• Protokollierungslebenszyklus: ElasticSearch-basierter Protokollierungsspeicher mit externen Export- und Aufbewahrungsbereinigungsaufträgen.
• Aufbewahrung von Metriken: Prometheus Metriken Aufbewahrung für alle Airflow-Bereitstellungen.
• Airflow-Unterstützung: Astronomer betreibt 100 % der Airflow-Releases und schreibt etwa 60 % des Airflow-Codes. Ihre Airflow-Unterstützung ist einfach besonders.

Am Ende half ihnen die Entscheidung des Teams, von ihrer Altlast zu Astronomer zu wechseln, mehr Einblick in ihre Workload zu gewinnen und die Ausführungszeit um 20 % zu reduzieren. Darüber hinaus verbessern Kunden ihre Bereitstellungsresilienz mit Daten-Observability by Databand von IBM, für eine durchgängige Daten-Observability für Airflow und andere Pipelines.

Databand unterstützt Teams bei:

• Erhalten Sie verwertbare Ansichten und Alerts, um den Zustand zu verstehen und die erforderlichen Maßnahmen zu ergreifen.
• Schalten Sie umfassende Überwachungs-, Nachverfolgungs- und Alertfunktionen für Datenprodukte und deren Abhängigkeiten frei.
• Sie erhalten proaktive Empfehlungen, die die Best Practices von Airflow nutzen, um Möglichkeiten zur Optimierung und Kosteneinsparung aufzuzeigen.
• Legen Sie SLAs für alle Datenprodukte fest, verfolgen Sie sie, erkennen Sie Engpässe und Anomalien und ergreifen Sie fundierte Maßnahmen, bevor Probleme die Lieferung beeinträchtigen.

Die Vielseitigkeit von Airflow in Kombination mit der Unternehmenstauglichkeit von Astronomer und der robusten Datenverwaltungstechnologie von IBM macht Astronomer mit IBM zur idealen Wahl für den Betrieb von Airflow in großem Maßstab.

Unsere Zusammenarbeit mit Astronomer vereinfacht die Einführung und Verwaltung von Airflow und bietet eine nahtlose und unterstützte Erfahrung für Kunden, die Datenpipelines über mehrere Teams hinweg aufbauen, bereitstellen und skalieren möchten.

Laden Sie den State of Airflow Report 2025 herunter, um mehr darüber zu erfahren, wie Unternehmen Airflow nutzen, und kontaktieren Sie Ihren IBM Ansprechpartner.