Astronomer with IBM: قم بترقية بيئة Airflow الخاصة بك مع قابلية التوسع، والأمان، والدعم من فئة المؤسسات

أعلنت IBM مؤخرًا عن شراكتها مع Astronomer، وهي برمجيات Apache Airflow على مستوى المؤسسات، لتعزيز وتوسيع اعتماد Airflow في المؤسسات. أدى التوسع السريع لاستخدامات Airflow، بما في ذلك مهام أعباء عمل MLOps وعمليات الذكاء الاصطناعي التوليدي، بالإضافة إلى عمليات استيعاب البيانات الحديثة والتنظيم، إلى أكثر من 31 عملية تنزيل شهريًا. من المحتمل أن يكون Airflow مفتوح المصدر مستخدمًا في مؤسستك اليوم من قِبَل فرق متعددة تقوم بأعمال التحليلات وعمليات الأعمال. لماذا ستنتقل مؤسستك من Airflow إلى Astronomer with IBM؟ هناك أربعة أسباب رئيسية: قابلية التوسع، والأمان، والدعم، ومرونة النشر.

ولفهم هذا الجواب، سنناقش قصة أحد العملاء في القطاع المصرفي الأمريكي الذين انتقلوا من جدولة البيانات التقليدية إلى Airflow وفي النهاية اختاروا Astronomer with IBM.

كان نظام جدولة البيانات الموحد لدى عميلنا في القطاع المصرفي الأمريكي غير قادر على تلبية متطلبات عمليات البيانات الخاصة بهم. شكَّلت بيئة العميل الجديدة المعتمدة على السحابة والتقارير التنظيمية المتغيرة باستمرار تحديات للعديد من الفرق التي كانت تحاول تلبية احتياجات الجدولة. لم يكن النظام الحالي مُحسَّنًا للاستخدام السحابي ويفتقر إلى المرونة لاستيعاب الجداول الزمنية المخصصة غير المعتمدة على التقويم.

نتيجةً لذلك، بدأت عدة فرق في استكشاف Airflow، الذي يوفر قدرات تنظيم سير العمل البرمجية والصديقة للسحابة لحالات الاستخدام التحليلية والتقريرية المحدودة. ومع ذلك، مع توسع مهام سير العمل والمسارات الإنتاجية هذه عبر مشاريع وفرق متعددة، واجه عميلنا مشكلات جديدة. كان Airflow يتطلب تعديلات يدوية لتوسيع النطاق، وتسببت التكاملات في مخاطر تتعلق بالأمان والدعم، ما أدى إلى قلق بشأن القدرة الإجمالية على التحمل لهذه المتطلبات الحاسمة في عمليات البيانات.

وهنا يأتي دور Astronomer with IBM للمساعدة: عمِل Astronomer with IBM على ترقية بيئة Airflow الخاصة بهم لتلبية احتياجات المؤسسة من حيث القابلية للتوسع، والأمن، والدعم، ومرونة النشر.

يعمل Astronomer with IBM على تحسين Airflow بميزات متعددة لدعم النشر المركزي على نطاق المؤسسة والذي يزيد من الكفاءة التشغيلية.

تتضمن بعض هذه الميزات الحصرية ما يلي:

• Airflow متعدد المستأجرين: زيادة استخدام الموارد وكفاءة العمليات من خلال بيئات Airflow معزولة تتمتع بالتواصل عبر النشر.
• الترقيات في المكان وأدوات الترقية: ترقية Airflow مع الحفاظ على الرسوم البيانية الموجهة غير الدورية (DAG) والإعدادات والبيانات لتقليل فترات التعطل.
• التراجع عن النشر: يمكنك التراجع عن عمليات نشر Airflow بسهولة إلى أي إصدار سابق أو نشر للتعليمات البرمجية.
• أرشفة قاعدة البيانات: الاستفادة من الوظائف المؤتمتة والمعتمدة على واجهة برمجة التطبيقات لأرشفة قاعدة بيانات Airflow.
• مُصدِّر السجل العالمي: "منهجية Vector Sidecar لنقل السجلات إلى أنظمة خارجية متعددة مدعومة.

.

كان برنامج الجدولة الأصلي للعميل يفتقر إلى دعم الأمان الموجه نحو السحابة، ما قيَّد قدرتهم على استخدام أصول البيانات المستندة إلى السحابة. أدى ذلك إلى عدم كفاءة تشغيلية وزيادة المخاطر الأمنية مع بدء الفرق في تجاوز هذه القيود.

نتيجةً لذلك، أصبح Airflow هو المنسِّق المفضل للعديد من الفرق بسبب توافقه مع بيئات السحابة. ومع ذلك، مع زيادة عدد مشاريع وفرق Airflow، ظهرت تحديات كبيرة. لم تكن هناك طريقة مركزية لتوفير Airflow بشكل آمن عبر المؤسسة.

قدَّم لهم Astronomer with IBM أمانًا قويًا على مستوى المؤسسات، مع ميزات مثل:

• أمان متعدد المستأجرين: التحكم في الوصول القائم على الدور (RBAC) مع وجود مساحات معزولة على مستويات أماكن العمل، وعمليات النشر، والنظام لملفات DAG.
• تسجيل الدخول الأحادي [OIDC/SCIM]: OIDC وSCIM لدعم المصادقة المستندة إلى الأحداث والإزالة التلقائية للمستخدم والفريق.
• هوية السحابة: دمج عمليات النشر مع آليات الهوية الأصلية في السحابة (AWS IAM وGKE Workload Identity).

.

كان برنامج الجدولة الأصلي الذي يستخدمه العميل يفتقر إلى الرؤية ووجود التكاملات الكافية التي تحتاجها فرق البيانات الحديثة لإدارة الوظائف ومراقبة الأخطاء بشكل فعَّال. بالإضافة إلى منحنى التعلم الحاد، فإن برنامج الجدولة لم يوفر المرونة اللازمة لتحسين إنتاجية المطورين.

لقد أظهر Airflow أنه بديل قابل للتطبيق لبرنامج الجدولة السابق؛ ومع ذلك، استمرت المشكلات في الظهور؛ لأن Airflow يفتقر إلى الدعم اللازم لحل المشكلات بسرعة وتقليل فترات التعطل. اختار العميل التعاون بين Astronomer وIBM بفضل ميزاته الفريدة، مثل:

• رؤية وسلامة عمليات النشر: احصل على رؤية كاملة لملفات DAG والبيانات الوصفية عبر جميع عمليات نشر Airflow الخاصة بك.
• التنبيه المرتكز على البيانات: تمكَّن من تكوين التنبيهات لحالات تشغيل DAG والمهام، واحصل على إشعارات في الوقت الفعلي عبر SMTP أو SMS.
• دورة حياة التسجيل: تخزين السجلات المعتمد على ElasticSearch مع تصدير خارجي ووظائف تنظيف الاحتفاظ.
• الاحتفاظ بالمقاييس: الاحتفاظ بالمقاييس في Prometheus لجميع عمليات نشر Airflow.
• دعم Airflow: تدير Astronomer نسبة 100% من إصدارات Airflow وتكتب حوالي 60% من تعليمات Airflow البرمجية. ودعمها لـ Airflow لا مثيل له.

.

في النهاية، ساعد قرار الفريق بالتحول إلى Astronomer من جدوله القديم في الحصول على رؤية أكبر في الأعمال وتقليل وقت التنفيذ بنسبة 20%. علاوةً على ذلك، تمكَّن العملاء من تحسين مرونة النشر من خلال قابلية ملاحظة البيانات من IBM بواسطة Databand، للحصول على مراقبة شاملة للبيانات عبر Airflow والمسارات الأخرى.

يساعد Databand الفرق على:

• احصل على وجهات نظر قابلة للتنفيذ وتنبيهات لفهم السلامة واتخاذ الإجراءات اللازمة.
• استكشِف إمكانيات المراقبة المتقدمة، والتتبُّع، والتنبيهات عبر منتجات البيانات وتبعياتها.
• الحصول على توصيات استباقية تستفيد من أفضل ممارسات Airflow للإشارة إلى الفرص المتاحة للتحسين وتوفير التكاليف.
• تعيين وتتبُّع اتفاقيات مستوى الخدمة (SLAs) عبر منتجات البيانات، واكتشاف الاختناقات وحالات الخلل، واتخاذ الإجراءات المستنيرة قبل أن تؤثر المشكلات في التسليم.

تجعل مرونة Airflow، مع جاهزية Astronomer على مستوى المؤسسات وتقنيات إدارة البيانات المتطورة من IBM، من Astronomer with IBM الخيار المثالي لتشغيل Airflow على نطاق واسع.

يساعد تعاوننا مع Astronomer على تبسيط تبني وإدارة Airflow، ما يوفر تجربة سلسة ومدعومة للعملاء الذين يريدون بناء ونشر وتوسيع مسارات البيانات عبر العديد من الفرق.

نزِّل تقرير حالة Airflow لعام 2025 لمعرفة المزيد حول كيفية استخدام المؤسسات لـ Airflow والتواصل مع ممثل IBM الخاص بك.