ما هو انحراف النموذج؟

لكشف الانحراف والتخفيف منه، يمكن للمؤسسات مراقبة وإدارة الأداء على منصة البيانات والذكاء الاصطناعي الخاصة بها. إذا لم تتم مراقبته بشكل صحيح بمرور الوقت، يمكن حتى لنموذج الذكاء الاصطناعي الأكثر تدريباً وغير المتحيز أن "ينحرف" عن معاييره الأصلية وينتج نتائج غير مرغوب فيها عند نشره. يعد اكتشاف الانحراف أحد المكونات الأساسية للحوكمة القوية للذكاء الاصطناعي.

يمكن للنماذج المبنية على البيانات التاريخية أن تصبح راكدة بسرعة. في كثير من الأحيان، تظهر دائمًا نقاط بيانات جديدة—اختلافات جديدة وأنماط جديدة واتجاهات جديدة —لا يمكن للبيانات التاريخية القديمة أن تلتقطها. إذا لم يتطابق تدريب نموذج الذكاء الاصطناعي مع البيانات الواردة، فلن يتمكن من تفسير تلك البيانات بدقة أو استخدام تلك البيانات الحية لإجراء تنبؤات دقيقة موثوقة.

إذا لم يتم اكتشاف الانحراف والتخفيف من حدته بسرعة، يمكن أن ينحرف أكثر من ذلك، مما يزيد من الضرر الذي يلحق بالعمليات. يتيح كشف الانحراف للمؤسسات الحصول على نتائج دقيقة بشكل مستمر من نماذجها.

يتغير العالم باستمرار، لذلك مع البيانات المتغيرة باستمرار، يجب مراجعة النماذج المستخدمة لفهم العالم وتحديثها باستمرار. فيما يلي 3 أنواع من انحراف النموذج التي يجب معالجتها، ولكل منها سبب مختلف.

يحدث انحراف المفهوم عندما يكون هناك اختلاف بين متغيرات الإدخال والمتغير الهدف، وعند هذه النقطة تبدأ الخوارزمية في تقديم إجابات غير صحيحة لأن التعريفات لم تعد صالحة. يمكن أن يسري التحول في المتغيرات المستقلة خلال فترات مختلفة وهي:

يتكرر مفهوم الانحراف المفاهيمي وينحسر بانتظام، كما هو الحال بالنسبة لموسمية السلوك الشرائي استجابةً لتغيرات الطقس. في المناخات الشتوية، عادة ما تزداد مبيعات مجرفة الثلج ومنفاخ الثلج في أواخر الخريف وأوائل الشتاء. يجب أيضًا إجراء تعديلات جغرافية لمواجهة تساقط الثلوج المتوقع.

يمكن أن يؤدي التطور غير المتوقع إلى أنماط شراء جديدة. ومن الأمثلة على ذلك الدعاية المفاجئة حول ChatGPT التي أدت إلى زيادة الطلب على أجهزة الذكاء الاصطناعي ومنتجات البرمجيات، وزيادة قيمة أسهم الشركات المرتبطة بالذكاء الاصطناعي. قد لا يتنبأ نموذج التوقعات الذي تم تدريبه قبل نشر تلك الأخبار بالنتائج اللاحقة.

مثال آخر هو وصول كوفيد-19 ، الذي أحدث أيضا تحولًا مفاجئًا في السلوك: ارتفعت مبيعات الألعاب والمعدات، بينما شهدت المطاعم والفنادق عددًا أقل بكثير من الزوار.

يحدث بعض الانحراف تدريجيًا أو بوتيرة متوقعة. على سبيل المثال، استخدم مرسلو البريد العشوائي والمتسللون أدوات وحيل مختلفة على مر السنين. مع تحسن برامج الحماية وفلاتر البريد العشوائي، تقدمت الجهات الفاعلة السيئة وفقًا لذلك. يحتاج أي ذكاء اصطناعي مصمم لحماية التفاعلات الرقمية إلى مواكبة ذلك. سيكون النموذج الثابت عديم الفائدة قريبًا.

يحدث انحراف البيانات—المعروف أيضا باسم تحول المتغيرات المستقلة —عندما يتغير توزيع البيانات الأساسي لبيانات الإدخال. في مجال البيع بالتجزئة، قد تتأثر مبيعات منتج ما بطرح منتج جديد آخر أو تقاعد منتج منافس. أو إذا تم اعتماد موقع ويب لأول مرة من قِبل الشباب، ولكن بعد ذلك اكتسب قبولًا من كبار السن، فقد لا يعمل النموذج الأصلي المستند إلى أنماط استخدام المستخدمين الأصغر سنًا بشكل جيد مع قاعدة المستخدمين الأكبر سنًا.

يحدث تغيير البيانات الأولية عند حدوث تغيير في مسار البيانات. على سبيل المثال، قد يتم تغيير البيانات الأولية إلى عملة مختلفة، مثل الدولار الأمريكي مقابل اليورو أو القياسات بالأميال بدلا من الكيلومترات أو درجات الحرارة بالفهرنهايت بدلا من درجة مئوية. مثل هذا التغيير من شأنه أن يؤدي إلى إبطال النموذج الذي لم يتم تصميمه لمراعاة التغيير في كيفية تصنيف البيانات.

يمكن للشركات وعلماء البيانات استخدام طرق مختلفة للكشف عن انحراف البيانات للبقاء على اطلاع على انحراف نموذج التعلم الآلي وتصحيح المسار قبل أن تصبح نماذجهم قديمة.

العديد من الطرق الأكثر شيوعًا هي الطرق القائمة على التوزيع الزمني التي تقيس الانحرافات المحتملة بين توزيعين احتماليين. إذا كانت النتائج متباينة بشكل ملحوظ، فمن المحتمل أن تكون الخصائص الإحصائية لإدخال البيانات قد تغيرت، مما أدى إلى انحراف البيانات.

يعد كشف انحراف البيانات أحد الجوانب الأساسية لإمكانية ملاحظة البيانات، والتي تعد ممارسة لمراقبة جودة وموثوقية البيانات المتدفقة عبر المؤسسة بشكل مستمر. لغة البرمجة Python تحظى بشعبية بشكل خاص في علوم البيانات لاستخدامها في إنشاء كواشف الانحراف مفتوحة المصدر.

يقيس اختبار كولموغوروف-سميرنوف (K-S) ما إذا كانت مجموعتا البيانات تأتيان من نفس التوزيع. في مجال علم البيانات، يكون اختبار KS غير معلمي، مما يعني أنه لا يتطلب أن يفي التوزيع بأي افتراضات أو معايير محددة مسبقًا.

يستخدم علماء البيانات اختبار كولموغوروف-سميرنوف لسببين رئيسيين:

• لتحديد ما إذا كانت عينة البيانات تأتي من مجموعة سكانية معينة.

• لمقارنة عينتين من البيانات ومعرفة ما إذا كانتا ينبعان من نفس المجموعة السكانية.

إذا أظهرت نتائج اختبار K-S أن مجموعتين من البيانات تبدوان قادمتين من مجموعات سكانية مختلفة، فمن المحتمل أن يكون قد حدث انحراف في البيانات، مما يجعل اختبار K-S كاشفاً موثوقاً للانحراف.

تستخدم مسافة Wasserstein، التي سميت على اسم عالم الرياضيات Leonid Vaserstein، استعارة بسيطة كتصور لشدة انحراف البيانات. فهي تتخيل كومين صغيرين من التراب، مع انحراف البيانات كمقدار العمل المطلوب لإنشاء كومة واحدة من التراب المأخوذ من الكومة الأخرى. لهذا السبب، تُعرف مسافة Wasserstein أيضا في علوم الكمبيوتر وعلم البيانات باسم مسافة محرك الأرض (EMD).

كطريقة للكشف عن الانحراف، تقارن مسافة Wasserstein بيانات التدريب ببيانات المدخلات الجديدة التي يتم إدخالها في نموذج التعلم الآلي. أنها تتفوق في تحديد العلاقات المعقدة بين السمات ويمكنها التنقل بين النتائج الخارجية للحصول على نتائج متسقة.

يقارن مؤشر الاستقرار السكاني (PSI) توزيع السمة الفئوية عبر مجموعتي بيانات لتحديد درجة تغير التوزيع بمرور الوقت.

يشير الاختلاف الأكبر في التوزيع، الذي تمثله قيمة PSI أعلى، إلى وجود انحراف في النموذج. يمكن لمؤشر الاستقرار السكاني تقييم كل من السمات المستقلة والتابعة، تلك التي تتغير بناءً على متغيرات أخرى.

إذا كان توزيع سمة واحدة أو أكثر من السمات الفئوية يرجع PSI مرتفع، فمن المحتمل أن يحتاج نموذج الآلة إلى إعادة المعايرة أو حتى إعادة البناء.

يمكن للشركات إدارة اكتشاف انحراف البيانات ومعالجتها بشكل أفضل باتباع أفضل الممارسات التالية:

يمكن أن تتدهور دقة نموذج الذكاء الاصطناعي في غضون أيام من نشره لأن بيانات الإنتاج تختلف عن بيانات تدريب نموذج الذكاء الاصطناعي. يمكن أن يؤدي هذا إلى تنبؤات غير صحيحة والتعرض لمخاطر كبيرة.

للحماية من انحراف النموذج والتحيز، يجب على المؤسسات استخدام كاشف انحراف الذكاء الاصطناعي وأدوات المراقبة التي تكتشف تلقائيًا متى تنخفض دقة النموذج (أو تنحرف) عن حد محدد مسبقًا.

يجب أن يتتبع هذا البرنامج الخاص باكتشاف انحراف النموذج أيضًا المعاملات التي تسببت في الانحراف، مما يتيح إعادة تصنيفها واستخدامها لإعادة تدريب النموذج، واستعادة قدرته التنبؤية أثناء وقت التشغيل.

يستخدم كشف الانحراف الإحصائي المقاييس لمقارنة عينات البيانات وتحليلها. غالبًا ما يكون هذا أسهل في التنفيذ لأن معظم المقاييس مستخدمة بالفعل داخل المؤسسة. يقيس كشف الانحراف المستند إلى النموذج التشابه بين نقطة أو مجموعات من النقاط مقابل خط الأساس المرجعي.

يجب على المؤسسات اختبار نماذج الذكاء الاصطناعي الخاصة بها، وخاصةً نماذج الذكاء الاصطناعي التوليدي، بشكل دوري طوال دورة حياتها. يتضمن هذا الاختبار المثالي ما يلي:

1. التحقق من صحة النماذج في مرحلة ما قبل الإنتاج مع اختبارات للكشف عن التحيز والانحراف، ثم إنشاء تقارير الاختبار.
2. نقل تكوينات اختبار ما قبل النشر الناجحة لنموذج إلى الإصدار المنشور من النموذج والاستمرار في الاختبار الآلي.
3. مزامنة معلومات النموذج والبيانات ونتائج الاختبار مع أنظمة التسجيل.
4. الأتمتة التي يمكن أن توفر إشعارات متسقة وموثوقة وتوفر المزيد من الوقت للفرق للتركيز على تطوير النموذج بدلاً من مراقبة النموذج.

وفقًا لدراسة Forrester Total Economic Impact، "من خلال بناء النماذج وتشغيلها وإدارتها في بيئة موحدة للبيانات والذكاء الاصطناعي، يمكن [للمؤسسات] ضمان بقاء نماذج الذكاء الاصطناعي عادلة وقابلة للتفسير ومتوافقة في أي مكان. يساهم هذا النهج المتكامل للذكاء الاصطناعي بشكل فريد في تمكين المؤسسة من اكتشاف ومعالجة انحرافات التحيز في النموذج، وإدارة مخاطر النموذج عند تشغيله في الإنتاج.

أفضل ممارسة هي إدارة كافة النماذج من لوحة معلومات مركزية. يمكن أن يساعد النهج المتكامل المؤسسة على تتبع المقاييس بشكل مستمر وتنبيه الفرق إلى الانحراف في الدقة وتناسق البيانات من خلال التطوير والتحقق و النشر. يمكن للرؤية المركزية والشاملة أن تساعد المؤسسة على كسر الصوامع وتوفير المزيد من الشفافية عبر دورة حياة البيانات بأكملها.

كشف سيناريوهات الانحراف ومقدارها من خلال نموذج الذكاء الاصطناعي الذي يقارن بين بيانات الإنتاج وبيانات التدريب وتوقعات النموذج في الوقت الفعلي. بهذه الطريقة، يمكن العثور على الانحراف بسرعة ويمكن أن تبدأ إعادة التدريب على الفور. يعد هذا الكشف تكراريًا، تمامًا كما أن عمليات التعلم الآلي (MLOps) تكرارية.

يساعد التحليل المبني على الوقت على رؤية كيفية تطور الانحراف ومتى حدث. على سبيل المثال، إذا تم إجراء الفحوصات أسبوعيًا، فسيظهر ذلك كيفية تطور الانحراف كل يوم.

يمكن أن يكون تحليل الجداول الزمنية مفيدًا أيضا في تحديد ما إذا كان الانحراف تدريجيًا أم مفاجئًا. ويطبق نهج الذكاء الاصطناعي القابل للتفسير هذه الشفافية على استخدام الذكاء الاصطناعي ويساعد المؤسسات على مراقبة كيفية ولماذا قدمت نماذجها النتائج.

استخدم مجموعة بيانات تدريب جديدة تحتوي على عينات أحدث وأكثر صلة مُضافة إليها. الهدف هو إعادة النماذج اللغوية الكبيرة (LLM) إلى الإنتاج بسرعة وبشكل صحيح. إذا لم تحل إعادة تدريب النموذج المشكلة، فقد تكون هناك حاجة إلى نموذج جديد. يمكن أن تساعد تقنيات عمليات النماذج اللغوية الكبيرة (LLMOps) المؤسسات في مراقبة وإعادة تدريب نماذجها اللغوية الكبيرة.

بدلاً من تدريب نموذج باستخدام بيانات دفعة واحدة، يمكن للمؤسسات ممارسة "التعلم عبر الإنترنت" من خلال تحديث نماذج التعلم الآلي (ML) الخاصة بها باستخدام أحدث البيانات الواقعية عند توفرها.

قد يبدو أن النموذج ينحرف عن مساره لأن البيانات المستخدمة للتدريب تختلف عن بيانات الإنتاج الفعلية التي سيتم استخدامها. في حالة الاستخدام الطبي، إذا تم استخدام عمليات فحص عالية الدقة في التدريب، ولكن كانت عمليات الفحص منخفضة الدقة فقط متاحة في الميدان، فإن النتائج تكون غير صحيحة.