Astronomer dengan IBM: Tingkatkan lingkungan Airflow Anda dengan skalabilitas, keamanan, dan dukungan kelas enterprise

IBM baru-baru ini mengumumkan kolaborasi kami dengan Astronomer, perangkat lunak Apache Airflow kelas perusahaan,  untuk mempromosikan dan meningkatkan adopsi Airflow dalam perusahaan. Perluasan cepat contoh penggunaan Airflow, termasuk beban kerja MLOPS dan alur kerja GenAI, selain penyerapan dan orkestrasi data modern telah menghasilkan lebih dari 31 unduhan setiap bulan. Airflow sumber terbuka kemungkinan besar digunakan di dalam perusahaan Anda saat ini oleh beberapa tim yang melakukan analisis dan operasi bisnis. Mengapa perusahaan Anda beralih dari Airflow ke Astronomer dengan IBM? Empat alasan utama: skalabilitas, keamanan, dukungan, dan ketahanan penerapan.

Untuk memahami jawaban ini, kami akan membahas cerita klien perbankan AS terkini mengenai perpindahan dari penjadwal data lama ke Airflow dan akhirnya memilih Astronomer dengan IBM.

Penjadwal data standar milik klien perbankan AS kami gagal memenuhi persyaratan DataOps mereka. Lingkungan baru klien yang berpusat pada cloud dan pelaporan kepada badan regulasi yang terus berubah menciptakan tantangan bagi banyak tim yang mencoba memenuhi kebutuhan penjadwalan mereka. Penjadwal yang ada tidak dioptimalkan untuk penggunaan cloud dan tidak memiliki fleksibilitas untuk mengakomodasi jadwal khusus yang tidak didasarkan pada kalender.

Akibatnya, beberapa tim mulai menjelajahi Airflow yang menyediakan kemampuan orkestrasi alur kerja yang terprogram dan ramah cloud untuk contoh penggunaan analitis dan pelaporan terbatas mereka. Namun, ketika alur kerja dan saluran ini mulai meningkat di berbagai proyek dan tim, klien kami mengalami berbagai masalah baru. Airflow memerlukan penyesuaian manual untuk menskalakan dan integrasi menyebabkan risiko keamanan dan dukungan yang menimbulkan kekhawatiran tentang ketahanan keseluruhan untuk persyaratan DataOps penting ini.

Di sinilah Astronomer dengan IBM berperan untuk membantu: Astronomer dengan IBM meningkatkan lingkungan Airflow mereka untuk memenuhi kebutuhan perusahaan seputar skalabilitas, keamanan, dukungan, dan ketahanan penerapan.

Astronomer dengan IBM meningkatkan Airflow dengan banyak fitur untuk mendukung penerapan terpusat berskala perusahaan yang meningkatkan efisiensi operasional.

Beberapa fitur eksklusif ini meliputi:

• Airflow dengan banyak penyewa: Memaksimalkan pemanfaatan sumber daya dan efisiensi operasional dengan lingkungan Airflow terisolasi yang memiliki komunikasi lintas penerapan.
• Peningkatan tanpa menghapus versi lama dan peningkatan utilitas: Meningkatkan Airflow sekaligus mempertahankan DAG, konfigurasi, dan data untuk meminimalkan waktu henti.
• Pengembalian penerapan: Mengembalikan penerapan Airflow Anda dengan mudah ke versi atau penerapan kode sebelumnya.
• DB Archival: Memanfaatkan pekerjaan pengarsipan otomatis dan berbasis API untuk basis data Airflow.
• Eksportir log universal: Metodologi sidecar vektor untuk memasukkan log ke beberapa sistem eksternal yang didukung.

Penjadwal asli klien tidak memiliki dukungan untuk keamanan yang memprioritaskan cloud, yang membatasi kemampuan mereka untuk memanfaatkan aset data berbasis cloud. Hal ini menyebabkan inefisiensi operasional dan peningkatan risiko keamanan karena tim mulai melewati batasan ini.

Akibatnya, Airflow muncul sebagai pengatur yang disukai oleh lebih banyak tim karena kompatibilitasnya dengan lingkungan cloud. Namun, seiring bertambahnya jumlah proyek dan tim Airflow, tantangan yang signifikan muncul. Tidak ada metode terpusat untuk menyediakan Airflow secara aman di seluruh perusahaan.

Astronomer dengan IBM memberikan keamanan kelas perusahaan yang tangguh, dengan berbagai fitur seperti:

• Keamanan untuk banyak penyewa: Role Based Access Control (RBAC) mengisolasi ruang di ruang kerja, penerapan, dan tingkat sistem untuk DAG.
• SSO [OIDC/ SCIM]: Dukungan OIDC dan SCIM untuk autentikasi berbasis peristiwa dan penghapusan otomatis Pengguna dan Tim.
• Identitas Cloud: Mengintegrasikan penerapan dengan mekanisme Identitas cloud native (AWS IAM dan GKE Workload Identity).

Penjadwal asli yang digunakan oleh klien tidak memiliki visibilitas dan jangkauan integrasi yang dibutuhkan oleh tim data modern untuk mengelola dan memantau pekerjaan dan kegagalan secara efektif. Dilengkapi dengan kurva pembelajarannya yang curam, penjadwal ini tidak memberikan ketahanan yang diperlukan untuk meningkatkan produktivitas pengembang.

Airflow telah terbukti menjadi alternatif yang layak bagi penjadwal mereka sebelumnya; namun, masalah terus bermunculan karena Airflow tidak memiliki dukungan yang diperlukan untuk menyelesaikan masalah dengan cepat dan meminimalkan waktu henti. Klien memilih Astronom dalam kerja sama dengan IBM karena fitur unik Astronomer, seperti:

• Visibilitas dan kesehatan lintas penerapan: Dapatkan visibilitas lengkap DAG dan metadata Anda di semua penerapan Airflow.
• Peringatan yang berpusat pada data: Konfigurasikan peringatan untuk menjalankan DAG dan status tugas, dapatkan notifikasi real-time melalui SMTP atau SMS.
• Siklus hidup pencatatan: Penyimpanan pencatatan berbasis ElasticSearch dengan pekerjaan ekspor dan pembersihan retensi eksternal.
• Retensi metrik: Retensi Metrik Prometheus untuk semua Penerapan Airflow.
• Dukungan Airflow: Astronomer menggerakkan 100% rilis Airflow dan menulis sekitar 60% kode Airflow. Dukungan Airflow mereka tidak tertandingi.

Pada akhirnya, keputusan tim untuk beralih ke Astronomer dari penjadwal lama membantu mendapatkan lebih banyak visibilitas tentang beban kerja mereka dan mengurangi waktu eksekusi hingga 20%. Selain itu, klien meningkatkan ketahanan penerapan mereka dengan Observabilitas Data IBM oleh Databand, untuk observabilitas data menyeluruh Airflow dan saluran lainnya.

Databand membantu tim untuk:

• Mendapatkan gambaran dan peringatan yang dapat ditindaklanjuti untuk memahami kesehatan dan mengambil tindakan sesuai kebutuhan.
• Membuka pemantauan, pelacakan, dan peringatan yang komprehensif di seluruh produk data dan dependensinya.
• Mendapatkan rekomendasi proaktif yang memanfaatkan praktik terbaik Airflow untuk memberi sinyal peluang optimalisasi dan penghematan biaya.
• Menetapkan dan melacak SLA di seluruh produk data, mendeteksi kemacetan dan anomali, serta mengambil tindakan yang tepat sebelum masalah berdampak pada pengiriman.

Keserbagunaan Airflow, dikombinasikan dengan kesiapan kelas perusahaan dari Astronomer, dan teknologi manajemen data IBM yang tangguh, menjadikan Astronomer dengan IBM pilihan ideal untuk menjalankan Airflow dalam skala besar.

Kolaborasi kami dengan Astronomer merampingkan proses adopsi dan pengelolaan Airflow, memberikan pengalaman yang mulus dan didukung bagi klien yang ingin membangun, menerapkan, dan menskalakan saluran data di antara beberapa tim.

Unduh Laporan Status Airflow 2025 untuk mempelajari lebih lanjut tentang bagaimana perusahaan menggunakan Airflow dan menghubungi perwakilan IBM Anda.