الانتقال من جودة البيانات التفاعلية إلى جودة البيانات الاستباقية

Autodesk + IBM

شخصان -أحدهما واقف والآخر جالس- يعملان على أجهزة الكمبيوتر المحمولة في غرفة مكتبية
نهج تفاعلي لمعالجة حوادث البيانات

يشغل Steve Gotlieb منصب المدير الأول لهندسة البيانات وتصويرها في شركة Autodesk، وهي شركة برمجيات عالمية توفر منتجات برمجية عبر مجالات متعددة. وهو يدير فريق هندسة البيانات والمنصات العالمي عبر أمريكا الشمالية وسنغافورة. يركز فريقه على إنشاء عناصر قابلة لإعادة الاستخدام كجزء من منصة بيانات فائقة وموثوقة تدعم الحلول القائمة على البيانات.

وفي ظل قيادته، بدأ Steve في دعم جودة البيانات كعنصر أساسي من عناصر المنصات لدعم مفاهيم شبكة البيانات التي تعزز نهج "أحضر بياناتك الخاصة" وتمكين تكامل البيانات واستخدامها بسلاسة عبر المؤسسة.

ومن كبرى التحديات التي واجهت فريق Steve وفرق هندسة البيانات الأخرى في Autodesk بشكل متكرر: أنهم غالبًا ما كانوا آخر من يعرف بحدوث مشكلات البيانات. اضطر فريق Steve إلى اتباع نهج تفاعلي لحل المشكلات، سواء كانت متعلقة ببيانات مفقودة، أو بيانات متأخرة أو قديمة، أو بيانات غير صحيحة ذات قيم فارغة.

وعندما يعلم الفريق بوجود مشكلة في البيانات، ربما يكون قد مضى على المشكلة شهر أو أكثر، ما يكلف الشركة وقتًا وموارد ثمينة.

يقول Steve: "لقد كان لدينا في السابق نظام مخصص لإدارة جودة البيانات (DQM)، ولكنه كان حلاً سلبيًا وغير قابل للتوسع". وأضاف: "اعتمد نظام إدارة جودة البيانات (DQM) على إجراء الاستعلامات لمراقبة عدد مرات التشغيل، لكنه لم يتمكن من الكشف بشكل استباقي عن مشاكل جودة البيانات. لقد كانت الإشعارات حول مشاكل البيانات غير متسقة ومتأخرة، وغالبًا ما تصل عبر رسائل البريد الإلكتروني أو رسائل Slack من دون توضيح صاحبها."

سئمنا تكرار المفاجأة بأنواع متشابهة من حوادث البيانات، من دون وجود جهة مسؤولة تتولى معالجتها. ومع IBM watsonx.data integration (المعروفة سابقًا باسم Databand)، تمكنا من خفض متوسط وقت الاكتشاف إلى ما يقارب الصفر. في Autodesk، نشجع الابتكار، لذلك رأينا في ذلك فرصة داخلية لتطبيق إمكانية ملاحظة البيانات في الشركة.
Steve Gotlieb المدير الأول لهندسة البيانات وتصويرها Autodesk
Autodesk تُحدث تحولًا في عمليات جودة البيانات

بدأ Steve وفريقه في تقييم حلول مراقبة البيانات، مدركين الحاجة إلى نهج أكثر استباقية. وقد درسوا خيارات متعددة، من بينها Monte Carlo Data وDatafold، لكن قدرات إمكانية ملاحظة البيانات المتاحة في برنامج IBM® watsonx.data® integration (المعروف سابقًا باسم Databand) برزت بوضوح. ودفعت ثقافة الابتكار في Autodesk الشركة إلى تنظيم سباق ابتكار جمع فرقًا متعددة الوظائف لاستكشاف الحلول المحتملة وعرضها. وأدت Preeti Taneja، كبيرة مهندسي البيانات في Autodesk، دورًا محوريًا في هذا التقييم. وكان أمام فريقها أسبوع واحد فقط لإظهار كيف يمكن لإمكانية ملاحظة البيانات أن تُحدث تحولًا في عمليات جودة البيانات لديهم.

وقيّموا ما إذا كان IBM watsonx.data Integration (المعروف سابقًا باسم Databand) قادرًا على اكتشاف التغيرات في الأنظمة المصدرية، وتوفير تنبيهات في الوقت الفعلي عند حدوث إخفاقات في مهام سير العمل. وكانت النتيجة لافتة. وقد ترك التكامل السلس مع مجموعة تقنيات البيانات الحديثة في Autodesk، مثل Apache Airflow وdbt وSpark وSnowflake، إلى جانب القدرة على تقديم تنبيهات فورية، انطباعًا قويًا.

وتقول Preeti: "لقد أتاحت لنا سهولة التكامل مع مجموعة تقنيات البيانات الحديثة لدينا أن نلمس القيمة مباشرة. وعندما بدأنا نتلقى تنبيهات فورية، كانت تلك لحظة مبهرة بالفعل، وأظهرت بوضوح قدراته الاستباقية في مجال جودة البيانات."

وبعد تقييم داخلي، برز IBM watsonx.data integration (المعروف سابقًا باسم Databand) بوصفه الخيار الأوضح، ما دفع الفريق إلى المضي قدمًا في تنفيذه.

ويستخدم فريق Steve حل IBM watsonx.data integration (المعروف سابقًا باسم Databand) يوميًا لمراقبة حوادث البيانات عبر مجموعة متنوعة من حالات الاستخدام، ومنها:

  • تقليل الوقت اللازم للكشف: تقليل الوقت اللازم للكشف، والذي كان يستغرق أسابيع وأيامًا، إلى صفر.

  • مراقبة معالجة الدفعات: تتم مراقبة أكثر من 1000 ملف DAG بصورة نشطة.

  • الاختبار المضمّن: يستخدم الفريق قدرات الاختبار المضمّن لاكتشاف مشكلات جودة البيانات في الوقت الفعلي، وهو ما يعد عاملًا أساسيًا للحفاظ على سلامة البيانات.

  • دعم منتجات البيانات: يدعم المسارات التي تقدم رؤى ورسائل داخل المنتج لعملاء Autodesk.

  • مراقبة مسارات التعلم الآلي (ML) والذكاء الاصطناعي: تراقب المسارات التي تدعم فرق التعلم الآلي والذكاء الاصطناعي، بما يساعد على ضمان الحفاظ على جودة البيانات عبر جميع مراحل معالجتها.
ومن الناحية المثالية، نرغب في أن يستخدم كل فريق لهندسة البيانات في Autodesk حل IBM watsonx.data integration (المعروف سابقًا باسم Databand). وكان فريق IBM شديد التفاعل مع طلباتنا المتعلقة بخارطة الطريق الخاصة بنا، ولدينا ثقة بأن مزيدًا من الفرق سيعتمد هذا الحل قريبًا.
Steve Gotlieb المدير الأول لهندسة البيانات وتصويرها Autodesk
تحسين جودة البيانات والكفاءة التشغيلية

وقد أسهم تنفيذ IBM watsonx.data integration (المعروف سابقًا باسم Databand) في تحقيق تحسينات فورية ومهمة في إدارة جودة البيانات لدى Autodesk:

  1. تقليل وقت الكشف: قلل وقت الكشف لاكتشاف مشاكل جودة البيانات من أيام إلى دقائق. سمح الكشف الفوري للفريق بمعالجة المشاكل قبل أن تسبب اضطرابات كبيرة.

  2. تقليص متوسط وقت الإصلاح (MTTR): انخفض متوسط الوقت اللازم لمعالجة مشكلات البيانات من أسابيع إلى أيام. يساعد اكتشاف الحوادث، مثل تأخر وصول البيانات وتغييرات المخططات وفشل المسارات، على الحفاظ على الثقة والكفاءة داخل المؤسسة

  3. تحليل السبب الأساسي: أتاح تحليلًا متقدمًا للأسباب الأساسية، مما مكّن الفريق من تحديد المشكلات بسرعة ومعالجتها من مصدرها.

  4. سلاسة التكامل: يتكامل الحل بسلاسة مع منصات Autodesk الحالية من دون الحاجة إلى إعادة برمجة مسارات Spark وAirflow وDbt الأساسية. تضمن هذا التكامل مراقبة معالجة الدُفعات والمسارات الداخلية والبيانات المخزنة في بيئات Snowflake

  5. توفير التكاليف: شهدت شركة Autodesk انخفاضًا في تكاليف استهلاك السحابة من خلال الكشف المبكر عن المشكلات وتجنب عمليات إعادة التشغيل.

شهدت Autodesk نتائج ملموسة في تحسين جودة البيانات والكفاءة التشغيلية. وقد أدى التتبع الشفاف لطلبات المزايا إلى تعزيز الشراكة، ما أتاح إجراء تحسينات وابتكارات مستمرة.

شعار Autodesk
نبذة عن شركة Autodesk

يثق المصممون والمهندسون والبناة والمبدعون حول العالم في شركة Autodesk (الرابط ينقلك خارج موقع ibm.com) حيث تساعدهم على تصميم وإنشاء أي شيء—من المباني التي نعيش ونعمل فيها، إلى السيارات التي نقودها والجسور التي نسير فوقها. حتى المنتجات التي نستخدمها ونعتمد عليها كل يوم والأفلام والألعاب التي تلهمنا موجودة بفضل Autodesk. تطلق منصة Autodesk للتصميم والإنشاء "Design and Make Platform" العنان لإمكانات البيانات التي من شأنها تسريع المعارف وأتمتة العمليات، ما يزود عملاءنا بالتقنيات التي تساعدهم على إعمار العالم من حولنا وتحقيق نتائج أفضل لأعمالهم وكوكبهم. للاطلاع على المزيد من المعلومات، تفضل بزيارة autodesk.com (الرابط ينقلك خارج موقع ibm.com).

مكونات الحل IBM® watsonx.data integration IBM Databand
تكامل IBM watsonx.data integration
 

توفير بيانات جديرة بالثقة ويُمكن الاعتماد عليها من خلال إمكانية ملاحظة البيانات باستمرار

  1. استكشف العرض التوضيحي التفاعلي
  2. اقرأ تقرير Gartner
قانوني

حقوق النشر © محفوظة لصالح شركة IBM Corporation لعام 2024. IBM وشعار IBM وDataband هي علامات تجارية أو علامات تجارية مسجلة تابعة لشركة IBM Corp.، في الولايات المتحدة و/أو دول أخرى.

يصبح هذا المستند ساريًا بدءًا من تاريخ النشر الأول، ويجوز لشركة IBM تغييره في أي وقت. لا تتوفر بعض العروض في بعض الدول التي تعمل بها شركة IBM.

نماذج العملاء معروضة كتوضيحات لكيفية استخدام هؤلاء العملاء لمنتجات IBM والنتائج التي من المحتمل أن يكونوا قد حققوها. قد يختلف الأداء الفعلي أو التكلفة أو الوفورات أو النتائج الأخرى في من بيئة تشغيل إلى أخرى.