Astronomer dengan IBM: Tingkatkan lingkungan Airflow Anda dengan skalabilitas, keamanan, dan dukungan kelas enterprise

IBM baru-baru ini mengumumkan kolaborasi kami dengan Astronomer, perangkat lunak Apache Airflow kelas enterprise,  untuk mempromosikan dan meningkatkan adopsi Airflow di lingkungan perusahaan. Ekspansi contoh penggunaan Airflow yang cepat, mencakup beban kerja MLOps dan alur kerja GenAI, di samping penyerapan dan orkestrasi data modern, telah menghasilkan lebih dari 31 unduhan setiap bulan. Airflow sumber terbuka kemungkinan besar digunakan di perusahaan Anda saat ini oleh banyak tim yang melakukan analitik dan operasi bisnis. Mengapa perusahaan Anda beralih dari Airflow ke Astronomer dengan IBM? Empat alasan utama: skalabilitas, keamanan, dukungan, dan ketahanan penerapan.

Untuk memahami jawaban ini, kami akan membahas cerita klien perbankan AS baru-baru ini tentang perpindahan dari penjadwal data lama ke Airflow dan akhirnya memilih Astronom dengan IBM.

Penjadwal data standar milik klien perbankan AS kami gagal memenuhi persyaratan DataOps mereka. Lingkungan baru klien yang berpusat pada cloud dan pelaporan peraturan yang terus berubah menciptakan tantangan bagi banyak tim yang mencoba memenuhi kebutuhan penjadwalan mereka. Alat penjadwal yang ada tidak dioptimalkan untuk penggunaan cloud dan tidak memiliki fleksibilitas untuk mengakomodasi jadwal khusus yang tidak berdasarkan kalender.

Akibatnya, beberapa tim mulai menjelajahi Airflow yang menyediakan kemampuan orkestrasi alur kerja terprogram dan ramah cloud untuk contoh penggunaan analitik dan pelaporan mereka yang terbatas. Namun, ketika alur kerja dan saluran ini mulai berkembang di berbagai proyek dan tim, klien kami mengalami masalah baru. Airflow memerlukan penyesuaian manual untuk meningkatkan dan integrasi menyebabkan risiko keamanan dan dukungan yang mengarah pada kekhawatiran tentang ketahanan keseluruhan untuk persyaratan DataOps yang penting ini.

Di sinilah Astronomer dengan IBM menawarkan bantuan: Astronomer dengan IBM meningkatkan lingkungan Airflow mereka agar sesuai dengan kebutuhan perusahaan seputar skalabilitas, keamanan, dukungan, dan ketahanan penerapan.

Astronomer dengan IBM meningkatkan Airflow dengan beberapa fitur untuk mendukung penerapan terpusat skala perusahaan yang meningkatkan efisiensi operasional.

Beberapa fitur eksklusif ini meliputi:

• Airflow dengan banyak penyewa: Memaksimalkan pemanfaatan sumber daya dan efisiensi operasional dengan lingkungan Airflow terisolasi yang memiliki komunikasi lintas penerapan.
• Peningkatan di tempat dan peningkatan utilitas: Meningkatkan Airflow sekaligus mempertahankan DAG, konfigurasi, dan data untuk meminimalkan waktu henti.
• Pengembalian penerapan: Mengembalikan penerapan Airflow Anda dengan mudah ke versi atau penerapan kode sebelumnya.
• DB Archival: Manfaatkan pekerjaan pengarsipan otomatis dan berbasis API untuk basis data Airflow.
• Eksportir log universal: Metodologi sidecar vektor untuk mengarahkan log ke beberapa sistem eksternal yang didukung.

Alat penjadwal asli klien tidak memiliki dukungan untuk keamanan yang memprioritaskan cloud, yang membatasi kemampuan mereka untuk memanfaatkan aset data berbasis cloud. Hal ini menyebabkan inefisiensi operasional dan peningkatan risiko keamanan saat tim mulai melewati batasan ini.

Akibatnya, Airflow muncul sebagai alat orkestrasi yang disukai oleh lebih banyak tim karena kompatibilitasnya dengan lingkungan cloud. Namun, seiring dengan bertambahnya jumlah proyek dan tim Airflow, muncul tantangan yang signifikan. Tidak ada metode terpusat untuk menyediakan Airflow dengan aman di seluruh perusahaan.

Astronomer dengan IBM memberi mereka keamanan tingkat enterprise yang kuat, dengan berbagai fitur seperti:

• Keamanan untuk banyak penyewa: Role Based Access Control (RBAC) mengisolasi ruang di ruang kerja, penerapan, dan tingkat sistem untuk DAG.
• SSO [OIDC/ SCIM]: Dukungan OIDC dan SCIM untuk autentikasi berbasis peristiwa dan penghapusan otomatis Pengguna dan Tim.
• Identitas Cloud: Mengintegrasikan penerapan dengan mekanisme Identitas cloud native (AWS IAM dan GKE Workload Identity).

Alat penjadwal asli yang digunakan oleh klien tidak memiliki visibilitas dan jangkauan integrasi yang dibutuhkan oleh tim data modern untuk mengelola dan memantau pekerjaan dan kegagalan secara efektif. Dengan kurva pembelajaran yang curam, alat penjadwal ini tidak memberikan ketahanan yang diperlukan untuk meningkatkan produktivitas pengembang.

Airflow telah terbukti menjadi alternatif yang layak untuk alat penjadwal mereka sebelumnya; namun, masalah terus bermunculan karena Airflow tidak memiliki dukungan yang diperlukan untuk menyelesaikan masalah dengan cepat dan meminimalkan waktu henti. Klien memilih Astronomer yang berkolaborasi dengan IBM karena berbagai fitur unik Astronomer, seperti:

• Visibilitas dan kesehatan lintas penerapan: Dapatkan visibilitas lengkap DAG dan metadata Anda di semua penerapan Airflow.
• Peringatan yang berpusat pada data: Konfigurasikan peringatan untuk menjalankan DAG dan status tugas, dapatkan notifikasi real-time melalui SMTP atau SMS.
• Siklus hidup pencatatan: Penyimpanan pencatatan berbasis ElasticSearch dengan pekerjaan ekspor dan pembersihan retensi eksternal.
• Retensi metrik: Retensi Metrik Prometheus untuk semua Penerapan Airflow.
• Dukungan Airflow: Astronomer mendorong 100% rilis Airflow dan menulis sekitar 60% kode Airflow. Dukungan Airflow mereka tidak tertandingi.

Pada akhirnya, keputusan tim untuk beralih ke Astronomer dari penjadwal lama membantu mereka mendapatkan lebih banyak visibilitas tentang beban kerja dan mengurangi waktu eksekusi sebesar 20%. Selain itu, klien meningkatkan ketahanan penerapan mereka dengan Observabilitas Data IBM oleh Databand, guna mendapatkan observabilitas data menyeluruh untuk Airflow dan saluran lainnya.

Databand membantu tim untuk:

• Dapatkan gambaran dan peringatan yang dapat ditindaklanjuti untuk memahami kesehatan dan mengambil tindakan sesuai kebutuhan.
• Buka pemantauan, pelacakan, dan peringatan yang komprehensif di seluruh produk data dan dependensinya.
• Mendapatkan rekomendasi proaktif yang memanfaatkan praktik terbaik Airflow untuk memberi sinyal peluang optimalisasi dan penghematan biaya.
• Menetapkan dan melacak SLA di seluruh produk data, mendeteksi kemacetan dan anomali, serta mengambil tindakan yang tepat sebelum masalah berdampak pada pengiriman.

Keserbagunaan Airflow, dikombinasikan dengan kesiapan perusahaan Astronomer dan teknologi manajemen data IBM yang kuat, menjadikan Astronomer dengan IBM pilihan ideal untuk menjalankan Airflow dalam skala besar.

Kolaborasi kami dengan Astronomer merampingkan adopsi dan pengelolaan Airflow, memberikan pengalaman yang mulus dan didukung bagi klien yang ingin membangun, menerapkan, dan menskalakan saluran data di beberapa tim.

Unduh Laporan Status Airflow 2025 untuk mempelajari lebih lanjut tentang bagaimana perusahaan menggunakan Airflow dan menghubungi perwakilan IBM Anda.