Autodesk + IBM Databand
يشغل Steve Gotlieb منصب المدير الأول لهندسة البيانات وتصويرها في شركة Autodesk، وهي شركة برمجيات عالمية توفر منتجات برمجية عبر مجالات متعددة. وهو يدير فريق هندسة البيانات والمنصات العالمي عبر أمريكا الشمالية وسنغافورة. يركز فريقه على إنشاء عناصر قابلة لإعادة الاستخدام كجزء من منصة بيانات فائقة وموثوقة تدعم الحلول القائمة على البيانات.
وفي ظل قيادته، بدأ Steve في دعم جودة البيانات كعنصر أساسي من عناصر المنصات لدعم مفاهيم شبكة البيانات التي تعزز نهج "أحضر بياناتك الخاصة" وتمكين تكامل البيانات واستخدامها بسلاسة عبر المؤسسة.
ومن كبرى التحديات التي واجهت فريق Steve وفرق هندسة البيانات الأخرى في Autodesk بشكل متكرر: أنهم غالبًا ما كانوا آخر من يعرف بحدوث مشكلات البيانات. اضطر فريق Steve إلى اتباع نهج تفاعلي لحل المشكلات، سواء كانت متعلقة ببيانات مفقودة، أو بيانات متأخرة أو قديمة، أو بيانات غير صحيحة ذات قيم فارغة.
وعندما يعلم الفريق بوجود مشكلة في البيانات، ربما يكون قد مضى على المشكلة شهر أو أكثر، ما يكلف الشركة وقتًا وموارد ثمينة.
يقول Steve: "لقد كان لدينا في السابق نظام مخصص لإدارة جودة البيانات (DQM)، ولكنه كان حلاً سلبيًا وغير قابل للتوسع". وأضاف: "اعتمد نظام إدارة جودة البيانات (DQM) على إجراء الاستعلامات لمراقبة عدد مرات التشغيل، لكنه لم يتمكن من الكشف بشكل استباقي عن مشاكل جودة البيانات. لقد كانت الإشعارات حول مشاكل البيانات غير متسقة ومتأخرة، وغالبًا ما تصل عبر رسائل البريد الإلكتروني أو رسائل Slack من دون توضيح صاحبها."
بدأ Steve وفريقه في تقييم حلول مراقبة البيانات، مدركين الحاجة إلى نهج أكثر استباقية. ولقد استكشفوا خيارات مختلفة، منها Monte Carlo Data وDatafold، لكن برنامج المراقبة IBM® Databand® كان هو الأبرز. قادت ثقافة الابتكار لدى شركة Autodesk إلى تنظيم سباق ابتكار يجمع فرقًا متعددة الوظائف لاستكشاف الحلول المحتملة وعرضها. وأدت Preeti Taneja، كبيرة مهندسي البيانات في Autodesk، دورًا محوريًا في هذا التقييم. كان أمام فريقها أسبوع واحد فقط لتوضيح كيف يمكن لحل Databand تحويل عمليات جودة البيانات بالشركة.
لقد قيّموا ما إذا كان بإمكان Databand اكتشاف التغييرات في أنظمة المصدر وإرسال تنبيهات في الوقت الفعلي في حال حدوث أعطال في مهام سير العمل. وكانت النتيجة مدهشة. لقد ترك التكامل السلس لحل Databand مع مجموعة البيانات الحديثة من Autodesk، على سبيل المثال، Apache Airflow وdbt وSpark وSnowflake، وإمكانات إرسال تنبيهات فورية انطباعًا جيدًا.
تقول Preeti: "سمحت لنا سهولة تكامل Databand مع مجموعة البيانات الحديثة لدينا برؤية النتيجة على الفور". "عندما بدأنا في تلقي تنبيهات فورية، كانت لحظة رائعة حقًا تبرز إمكانات جودة البيانات الاستباقية في Databand".
وبعد إجراء تقييم داخلي، برز Databand كالحل الفائز بلا منافس، ما دفع الفريق إلى المضي قدمًا في استخدامه.
يستخدم فريق Steve برنامج Databand يوميًا لمراقبة حوادث البيانات عبر حالات الاستخدام المختلفة، بما في ذلك ما يلي:
- تقليل الوقت اللازم للكشف: تقليل الوقت اللازم للكشف، والذي كان يستغرق أسابيع وأيامًا، إلى صفر.
- مراقبة معالجة الدفعات: يُستخدم Databand على نطاق واسع في مراقبة معالجة دفعات الإنتاج. يراقب Databand أكثر من 1000 DAG بشكل فعال.
- الاختبار المضمن: يستخدم الفريق إمكانات الاختبار المضمن في Databand للكشف عن مشكلات جودة البيانات في الوقت الفعلي، وهو أمر بالغ الأهمية للحفاظ على سلامة البيانات.
- دعم منتجات البيانات: يدعم Databand المسارات التي توفر معارف ورسائل حول المنتجات لعملاء Autodesk.
- مراقبة مسارات التعلم الآلي والذكاء الاصطناعي: يراقب Databand أيضًا المسارات التي تدعم فرق التعلم الآلي والذكاء الاصطناعي، ما يساعد على ضمان الحفاظ على جودة البيانات في جميع مراحل معالجة البيانات.
أدى استخدام Databand إلى تحسينات فورية ومهمة في إدارة جودة البيانات بشركة Autodesk، ومنها ما يلي:
- تقليل الوقت اللازم للكشف: قلل Databand من الوقت اللازم للكشف عن مشكلات جودة البيانات من أيام إلى دقائق. وقد سمح هذا الاكتشاف الفوري للفريق بمعالجة المشكلات قبل أن تسبب اضطرابات كبيرة.
- تقليل متوسط الوقت اللازم للمعالجة (MTTR): بفضل Databand، انخفض متوسط الوقت اللازم لمعالجة مشكلات البيانات من أسابيع إلى أيام. يساعد اكتشاف الحوادث، مثل تأخر وصول البيانات وتغييرات المخططات وفشل المسارات، على الحفاظ على الثقة والكفاءة داخل المؤسسة
- تحليل السبب الأساسي: قدم Databand تحليلاً متقدمًا للأسباب الأساسية، ما مكّن الفريق من تحديد المشكلات وإصلاحها بسرعة من جذورها
- سلاسة التكامل: يتكامل الحل بسلاسة مع منصات Autodesk الحالية من دون الحاجة إلى إعادة برمجة مسارات Spark وAirflow وDbt الأساسية. تضمن هذا التكامل مراقبة معالجة الدُفعات والمسارات الداخلية والبيانات المخزنة في بيئات Snowflake
- توفير التكاليف: شهدت شركة Autodesk انخفاضًا في تكاليف استهلاك السحابة من خلال الكشف المبكر عن المشكلات وتجنب عمليات إعادة التشغيل.
شهدت Autodesk نتائج ملموسة في تحسين جودة البيانات والكفاءة التشغيلية. وقد أدى التتبع الشفاف لطلبات المزايا إلى تعزيز الشراكة، ما أتاح إجراء تحسينات وابتكارات مستمرة.
يثق المصممون والمهندسون والبناة والمبدعون حول العالم في شركة Autodesk (الرابط ينقلك خارج موقع ibm.com) حيث تساعدهم على تصميم وإنشاء أي شيء—من المباني التي نعيش ونعمل فيها، إلى السيارات التي نقودها والجسور التي نسير فوقها. حتى المنتجات التي نستخدمها ونعتمد عليها كل يوم والأفلام والألعاب التي تلهمنا موجودة بفضل Autodesk. تطلق منصة Autodesk للتصميم والإنشاء "Design and Make Platform" العنان لإمكانات البيانات التي من شأنها تسريع المعارف وأتمتة العمليات، ما يزود عملاءنا بالتقنيات التي تساعدهم على إعمار العالم من حولنا وتحقيق نتائج أفضل لأعمالهم وكوكبهم. للاطلاع على المزيد من المعلومات، تفضل بزيارة autodesk.com (الرابط ينقلك خارج موقع ibm.com).
قانوني
حقوق النشر © محفوظة لصالح شركة IBM Corporation لعام 2024. IBM وشعار IBM وDataband هي علامات تجارية أو علامات تجارية مسجلة تابعة لشركة IBM Corp.، في الولايات المتحدة و/أو دول أخرى.
يصبح هذا المستند ساريًا بدءًا من تاريخ النشر الأول، ويجوز لشركة IBM تغييره في أي وقت. لا تتوفر بعض العروض في بعض الدول التي تعمل بها شركة IBM.
نماذج العملاء معروضة كتوضيحات لكيفية استخدام هؤلاء العملاء لمنتجات IBM والنتائج التي من المحتمل أن يكونوا قد حققوها. قد يختلف الأداء الفعلي أو التكلفة أو الوفورات أو النتائج الأخرى في من بيئة تشغيل إلى أخرى.