ما المقصود بأداء النموذج؟

تتم عملية تقييم أداء النموذج أثناء مراحل تقييم النموذج ومراقبته في مسار التعلم الآلي. بعد أن يعمل ممارسو الذكاء الاصطناعي على المراحل الأوَّلية لمشاريع التعلم الآلي، يقومون بعد ذلك بتقييم أداء النموذج عبر مجموعات بيانات ومهام ومقاييس متعددة لقياس مدى فاعليته. بمجرد نشر النموذج، تراقب فرق عمليات التعلم الآلي (MLOps) أداء النموذج لتحسينه بشكل مستمر.

يتم قياس أداء نموذج الذكاء الاصطناعي بشكل عام باستخدام مجموعة اختبار، حيث تعمل على مقارنة مخرجات نموذج الذكاء الاصطناعي بالتنبؤات الموجودة في مجموعة الاختبار الأساسية. تساعد الرؤى المكتسبة من تقييم الأداء على تحديد إذا ما كان النموذج جاهزًا للنشر في العالم الحقيقي أو إذا كان يحتاج إلى تعديل أو تدريب إضافي.

فيما يلي بعض العوامل التي يمكن أن تؤثِّر في أداء نموذج التعلم الآلي:

• جودة البيانات
• تسرب البيانات
• اختيار السمات
• ملاءمة النموذج
• انجراف النموذج
• التحيز

لا يكون النموذج جيدًا إلا بقدر البيانات المستخدمة لتدريبه. ينخفض أداء النموذج عندما تكون بيانات التدريب الخاصة به معيبة، وتحتوي على معلومات غير دقيقة أو تناقضات مثل التكرارات والقيم المفقودة وتصنيفات البيانات أو التعليقات التوضيحية الخاطئة. إن الافتقار إلى التوازن -مثل وجود الكثير من القيم لسيناريو واحد على آخر أو مجموعة بيانات تدريبية غير كافية أو غير متنوعة بما يكفي لالتقاط الارتباطات بشكل صحيح- يمكن أن يؤدي أيضًا إلى نتائج منحرفة.

يحدث تسرُّب البيانات في التعلم الآلي عندما يستخدم النموذج معلومات أثناء التدريب لن تكون متاحةً في وقت التنبؤ. يمكن أن يحدث هذا؛ بسبب أخطاء معالجة البيانات مسبقًا أو التلوث؛ بسبب تقسيم البيانات بشكل غير صحيح إلى مجموعات التدريب والتحقق والاختبار. يتسبب تسرُّب البيانات في صعوبة عمل النموذج التنبؤي عند التعميم على بيانات غير مرئية، أو تقديم نتائج غير دقيقة أو غير موثوق بها، أو تضخيم أو تقليص مقاييس الأداء.

يتضمن اختيار الميزة اختيار الميزات الأكثر صلة بمجموعة البيانات لاستخدامها في تدريب النموذج. تؤثِّر ميزات البيانات في كيفية تكوين خوارزميات التعلم الآلي لأوزانها أثناء التدريب، ما يؤدي بدوره إلى تحسين الأداء. بالإضافة إلى ذلك، فإن تقليل مساحة الميزة إلى مجموعة فرعية محددة يمكن أن يساعد على تحسين الأداء مع خفض المتطلبات الحسابية. ومع ذلك، فإن اختيار الميزات غير ذات الصلة أو غير المهمة قد يُضعف أداء النموذج.

يحدث الإفراط في التخصيص عندما يكون نموذج التعلم الآلي معقدًا للغاية ويتناسب بشكل كبير للغاية أو حتى تمامًا مع بيانات التدريب الخاصة به، وبالتالي لا يمكن تعميمه بشكل جيد على البيانات الجديدة. وعلى العكس من ذلك، يحدث النقص في التخصيص عندما يكون النموذج بسيطًا للغاية لدرجة أنه يفشل في التقاط الأنماط الأساسية في كلٍّ من بيانات التدريب والاختبار.

يشير انحراف النموذج إلى تدهور أداء النموذج؛ بسبب التغييرات في البيانات أو في العلاقات بين متغيرات الإدخال والإخراج. ويمكن أن يؤثِّر هذا التدهور سلبًا في أداء النموذج، ما يؤدي إلى اتخاذ قرارات خاطئة وتوقعات سيئة.

يمكن أن يظهر التحيز في الذكاء الاصطناعي في أي مرحلة من مراحل سير عمل التعلم الآلي، ولكنه شائع بشكل خاص في مراحل معالجة البيانات وتطوير النموذج. يحدث تحيُّز البيانات عندما تؤثِّر الطبيعة غير التمثيلية لمجموعات البيانات التدريبية والضبط الدقيق سلبًا في سلوك النموذج وأدائه. وفي الوقت نفسه، لا ينشأ التحيُّز الخوارزمي عن الخوارزمية نفسها، بل عن كيفية قيام فرق علم البيانات بجمع بيانات التدريب وترميزها وكيفية تصميم مبرمجي الذكاء الاصطناعي وتطوير خوارزميات التعلم الآلي. يمكن أن يؤدي تحيُّز الذكاء الاصطناعي إلى مخرجات غير دقيقة وربما نتائج ضارة.

من المهم مواءمة المقاييس مع أهداف الأعمال التي يهدف النموذج إلى تحقيقها. على الرغم من أن كل نوع من نماذج التعلم الآلي لديه مجموعة خاصة به من مقاييس التقييم، فإن العديد من النماذج تشترك في بعض المقاييس المشتركة:

• الدقة
• الاستدعاء
• الدقة (Precision)
• درجة F1

يتم حساب الدقة على أنها عدد التنبؤات الصحيحة مقسومًا على العدد الإجمالي للتنبؤات. هذه النسبة هي مقياس شائع جدًا.

غالبًا ما يتم تشبيه دقة النموذج بأداء النموذج، إلا إن دقة النموذج هي مجرد جزء واحد من أداء النموذج. وعلى الرغم من تشابكها، فإن التنبؤات الدقيقة وحدها لا يمكن أن توفِّر رؤية شاملة لمدى جودة أداء النموذج.

يقيس الاستدعاء عدد الإيجابيات الحقيقية - التنبؤات الصحيحة الفعلية. يُعرف أيضًا باسم معدل الحساسية أو المعدل الإيجابي الحقيقي (TPR).

يُعَد هذا المقياس بالغ الأهمية في مجال الرعاية الصحية، على سبيل المثال، عند تشخيص الأمراض أو اكتشاف السرطان. يمكن لنموذج التعلم الآلي ذي الاستدعاء العالي تحديد الحالات الإيجابية بشكل صحيح مع تقليل النتائج السلبية الزائفة (الحالات الإيجابية الفعلية التي تم التنبؤ بها بشكل خاطئ على أنها سلبية). 

$Recall=\frac{TP}{TP+FN}$

الدقة هي نسبة التنبؤات الإيجابية التي تكون صحيحة فعليًا. يمكن لنموذج التعلم الآلي ذي الدقة العالية تقليل الإيجابيات الكاذبة (الحالات السلبية الفعلية التي تم التنبؤ بها بشكل خاطئ كحالات إيجابية).

هذه المقاييس مهمة في التمويل، على سبيل المثال، عند اكتشاف الاحتيال. يجب أن تكون المعاملات التي تم الإبلاغ عنها احتيالية بالفعل (إيجابيات حقيقية)؛ لأن وضع علامة على المعاملات المشروعة باعتبارها احتيالية (إيجابيات كاذبة) يمكن أن تكون له عواقب سلبية.

 $Precision=\frac{TP}{TP+FP}$ 

تُعد درجة F1 هي المتوسط التوافقي للاستدعاء والدقة، حيث تمزج كِلا المقياسين في مقياس واحد. فهي تُعامل كلا المقياسين بالأهمية نفسها، لتوفير توازن بين الإيجابيات الخاطئة والسلبيات الخاطئة. وهي مفيدة بشكل خاص لمجموعات البيانات غير المتوازنة، كما هو الحال عند الكشف عن الأمراض النادرة، حيث إن الحالات السلبية تفوق بكثير الحالات الإيجابية.

 $F1=\frac{2*Precision*Recall}{Precision+Recall}$ 

توفر العديد من أطر عمل الذكاء الاصطناعي، مثل PyTorch القائم على Python وscikit-learn وTensorFlow، وظائف مدمجة لحساب الدقة والاستدعاء والدقة ودرجة F1. كما أنها توفِّر تصورات لتوقعات النموذج على هيئة مصفوفة ارتباك - جدول يمثِّل القيم المتوقعة والفعلية، مع مربعات تصوِّر عدد الإيجابيات الحقيقية والإيجابيات الكاذبة والسلبيات الحقيقية والسلبيات الكاذبة.

تقوم نماذج التصنيف بفرز نقاط البيانات إلى مجموعات محددة مسبقًا تُسمَّى الفئات. وفيما يلي بعض المقاييس الخاصة بنماذج التصنيف:

• منحنى ROC: منحنى خاصية التشغيل المُستقبِل (ROC) يصوِّر نسبة الإيجابيات الحقيقية إلى السلبيات الحقيقية. يرسم الرسم البياني معدل الإيجابية الحقيقي مقابل معدل السلبية الحقيقي لكل عتبة مستخدمة في تصنيف النموذج. تنشأ إحصائية المساحة تحت المنحنى (AUC) من منحنى ROC وتقيس مدى احتمالية حصول نتيجة إيجابية تم اختيارها عشوائيًا على درجة ثقة أعلى من نتيجة سلبية عشوائية. AUC-ROC هو مقياس مفيد للمهام التي تتضمن تصنيفًا ثنائيًا (فرز البيانات إلى فئتين حصريتين).

• الخسارة اللوغاريتمية: تقيِّم الخسارة اللوغاريتمية ثقة تصنيفات النموذج، وتعاقب التصنيفات الواثقة غير الصحيحة بشكل أكبر من التصنيفات الأقل ثقة. ويُعَد هذا مفيدًا بشكل خاص عند التعامل مع المخرجات الاحتمالية، حيث تتعلم النماذج أن تكون واثقة من التصنيفات الصحيحة وغير متأكدة من التصنيفات غير الصحيحة. وتُشير قيم الخسارة اللوغاريتمية المنخفضة إلى أداء أفضل.

يتم استخدام نماذج الانحدار للتنبؤات التي تتضمن قيمًا مستمرة، مثل تقديرات مبيعات البيع بالتجزئة وتوقعات أسعار الأسهم. ونظرًا لأن هذه الخوارزميات تتعامل مع مفاهيم قابلة للقياس، فإن مقاييسها تقيس الأخطاء في التنبؤات:

• يتم حساب متوسط الخطأ المطلق (MAE) على أنه مجموع القيمة المطلقة لجميع الأخطاء مقسومًا على حجم العينة. وهو يقيس متوسط الفرق المطلق بين القيمة المتوقعة والقيمة الفعلية.

• يتم حساب متوسط الخطأ التربيعي (MSE) كمتوسط الاختلافات التربيعية بين القيمة المتوقعة والقيمة الفعلية عبر جميع عينات التدريب. يؤدي تربيع الخطأ إلى معاقبة الأخطاء الكبيرة وتحفيز النموذج على تقليلها.

• الجذر التربيعي لمتوسط مربع الخطأ (RMSE) هو ببساطة الجذر التربيعي لـ MSE. تربيع الأخطاء قبل حساب المتوسط يزيد من عقوبة الأخطاء الكبيرة، ما يحفز النماذج مرة أخرى على تقليلها.

تقيّم هذه المقاييس أداء نماذج معالجة اللغة الطبيعية (NLP). كما يتم استخدامها أيضًا كمعايير للنماذج اللغوية الكبيرة (LLMs).

فيما يلي بعض مقاييس نماذج معالجة اللغة الطبيعية (NLP) الكمية:

• يقيس الارتباك مدى كفاءة النموذج في التنبؤ. كلما انخفض معدل ارتباك النموذج اللغوي الكبير (LLM)، تحسّ أداؤه في فهم المهمة.

• يقيّم معيار التقييم ثنائي اللغة قيد الدراسة (BLEU) جودة الترجمة الآلية عن طريق حساب عدد النماذج النونية المتطابقة (تسلسل من الرموز النصية المتجاورة ن) بين الترجمة المتوقعة من النموذج اللغوي الكبير (LLM) والترجمة البشرية.

• المقياس المخصص لتقييم التلخيص مع التركيز على الاستدعاء (ROUGE) يقيِّم تلخيص النصوص وله عدة أنواع. يُجري ROUGE-N، على سبيل المثال، حسابات مُشابهة لتلك التي يجريها معيار BLEU للتلخيصات، في حين يَحسب ROUGE-L أطول تسلسل جزئي مُشترك بين التلخيص المُتوقَّع والتلخيص الذي أعدّه الإنسان.

تشمل المقاييس النوعية مقاييس مثل التماسك، والملاءمة، والمعنى الدلالي، وعادةً ما تتطلب من المقيّمين البشريين فحص النماذج وتقييمها. يمكن أن يؤدي التوازن بين المقاييس الكمية والنوعية إلى إجراء تقييم أكثر دقة.

يتم تقييم نماذج رؤية الكمبيوتر، وخاصةً تلك الخاصة بتجزئة المثيلات واكتشاف الكائنات، باستخدام مقياسَي الأداء الشائعين التاليين:

• تقيس قيمة التقاطع على الاتحاد (IoU) نسبة مساحة التقاطع إلى مساحة الاتحاد. يشير التقاطع إلى الأجزاء المتداخلة بين صندوق الإحاطة الذي يحدِّد كائنًا مكتشفًا كما تنبأ به النموذج والكائن الفعلي. يُشير الاتحاد إلى المساحة الإجمالية لكلٍّ من المربع المحيط والكائن الفعلي. تستخدم نماذج رؤية الكمبيوتر مقياس IoU لتقييم دقة تحديد مواقع الكائنات التي تم اكتشافها.

• يحسِب المتوسط الحسابي للدقة المتوسطة (mAP) متوسط جميع قيم الدقة المتوسطة عبر جميع فئات الكائنات. تستخدم نماذج رؤية الكمبيوتر مقياس IoU لتقييم دقة التنبؤ والكشف عن الكائنات.

يتم تطبيق معظم التقنيات لتحسين أداء التعلم الآلي أثناء مراحل تطوير النموذج، وتدريبه، وتقييمه. بمجرد نشر النموذج في العالم الحقيقي، يجب مراقبة أدائه باستمرار. توفِّر مراقبة النموذج معلومات تساعد على اتخاذ قرارات لتحسين الأداء مع مرور الوقت. 

تحسين أداء نماذج التعلم الآلي يشمل واحدة أو أكثر من هذه التقنيات:

• المعالجة المسبقة للبيانات
• منع تسرُّب البيانات
• اختيار الميزات المناسبة
• ضبط المعلمات الفائقة
• التعلم الجماعي
• نقل التعلم
• تحقيق التوافق الأمثل للنموذج
• الحماية من انحراف النموذج
• معالجة التحيز

تحتوي العديد من أطر عمل الذكاء الاصطناعي على ميزات جاهزة تدعم معظم هذه التقنيات.

إن وضع إجراءات صارمة لتحضير أو معالجة البيانات والحفاظ على تطبيقها يمكن أن يساعد على تجنُّب مشكلات جودة البيانات. بينما يُعَد تنظيف البيانات وإزالة الضوضاء وتطبيع البيانات من أساسيات معالجة البيانات، يمكن لعلماء البيانات أيضًا استخدام أدوات أتمتة البيانات وأدوات مدعومة بالذكاء الاصطناعي لتوفير الوقت والجهد ومنع الأخطاء البشرية. بالنسبة إلى المجموعات غير الكافية أو غير المتوازنة من البيانات، يمكن للبيانات الاصطناعية سد الفجوات.

يُعَد التعامل الدقيق مع البيانات المفتاح لمنع تسرُّب البيانات. يجب تقسيم البيانات بشكل صحيح إلى مجموعات التدريب، والتحقق، والاختبار، مع إجراء المعالجة المسبقة لكل مجموعة بشكل منفصل.

يمكن أن يساعد التحقق المتبادل أيضًا. يقوم التحقق المتبادل بتقسيم البيانات إلى عدة مجموعات فرعية ويستخدِم مجموعات مختلفة للتدريب والتحقق عبر عدد محدد من التكرارات.

قد يكون اختيار السمات تحديًا، ويتطلب خبرة في المجال لتحديد أهم وأبرز السمات المؤثِّرة. من المهم فهم أهمية كل سمة وفحص العلاقة بين السمات والمتغيّر المستهدف (المتغيّر التابع الذي يتم تكليف النموذج بالتنبؤ به).

تتضمن طرق اختيار الميزات الخاصة بالتعلم الخاضع للإشراف طرق الالتفاف والطرق المضمَّنة. تقوم طرق الالتفاف بتدريب خوارزمية التعلم الآلي باستخدام مجموعات فرعية مختلفة من الميزات، وإضافتها أو إزالتها واختبار النتائج في كل تكرار لتحديد مجموعة الميزات التي تؤدي إلى الأداء الأمثل للنموذج. تُدمج الطرق المضمَّنة اختيار الميزة في تدريب النموذج، ما يؤدي إلى تحديد الميزات ذات الأداء الضعيف وإزالتها من التكرارات المستقبلية.

في التعلم غير الخاضع للإشراف، تكتشف النماذج ميزات البيانات وأنماطها وعلاقاتها من تلقاء نفسها. تتضمن طرق اختيار الميزات للتعلم غير الخاضع للإشراف تحليل المكونات الأساسية (PCA)، وتحليل المكونات المستقلة (ICA) وبرامج التشفير التلقائي.

يُعرَف ضبط المَعلمات الفائقة، المعروف أيضًا بتحسين المَعلمات الفائقة أو ضبط النموذج، بأنها عملية تحديد واختيار وتحسين المعاملات الفائقة لنموذج التعلم العميق للحصول على أفضل أداء أثناء التدريب. تتحكم المَعلمات الفائقة في عملية تعلُّم النموذج، وإيجاد التوليفة الصحيحة وتكوين المَعلمات الفائقة يمكن أن يعزز أداء النموذج في العالم الحقيقي.

تشمل طرق ضبط المَعلمات الفائقة الشائعة البحث عن الشبكة والبحث العشوائي والتحسين البايزي والنطاق الفائق. يمكن لعلماء البيانات أيضًا تطبيق أساليب آلية لاكتشاف المَعلمات الفائقة المُثلى خوارزميًا التي تتناسب مع حالة استخدامهم.

يجمع التعلم الجماعي بين نماذج متعددة لتعزيز الأداء التنبؤي، مع افتراض أن مجموعة من النماذج يمكن أن تُنتج تنبؤات أفضل من نموذج واحد بمفرده.

فيما يلي بعض تقنيات التعلم الجماعي الشائعة:

• يُعرَف Bagging، أو التجميع العشوائي بالتشغيل التمهيدي، بأنه تدريب النماذج بشكل متوازٍ ومستقل عن بعضها. بعد ذلك، يتم أخذ المتوسط (لمهام الانحدار) أو الأغلبية (لمشكلات التصنيف) للتوقعات للحصول على تقدير أدق.

• يقوم Boosting بتدريب النماذج بشكل متسلسل، مع تصحيح الأخطاء السابقة في كل تكرار. فهو يُعطي وزنًا أكبر للحالات الخاطئة أو المصنَّفة بشكل غير صحيح في النماذج التالية، ما يركِّز على نقاط البيانات الصعبة ويعزز الأداء تدريجيًا.

• يقوم Stacking بتدريب نماذج من نفس مجموعة البيانات، لكنه يستخدم خوارزمية تدريب مختلفة لكل نموذج. ثم يستخدم التنبؤات المجمَّعة أو المكدَّسة لتدريب النموذج النهائي.

يقوم التعلم الانتقالي بنقل المعرفة التي اكتسبها نموذج مدرَّب مسبقًا على مهمة أو مجموعة بيانات أوَّلية وتطبيقها على مهمة أو مجموعة بيانات جديدة لكنها ذات صلة. إن إعادة استخدام نموذج مدرَّب مسبقًا لمهمة مختلفة يعزز من قدرات التعميم لهذا النموذج، ما يساعد على تحسين الأداء.

تُعَد إدارة الإفراط في التخصيص ونقص التخصيص تحديًا رئيسيًا في التعلم الآلي. يتعرَّف النموذج المناسب على النحو الأمثل بدقة على الأنماط في البيانات دون أن يكون حساسًا جدًا للتقلبات العشوائية أو الضوضاء.

تشمل التقنيات لتجنُّب الإفراط في التخصيص أو نقص التخصيص في التعلم تحديد مدة التدريب المناسبة لمنح النماذج الوقت الكافي للتعلم، وتعزيز البيانات لزيادة حجم مجموعة التدريب، والتنظيم لتقليل التباين في النموذج من خلال تطبيق عقوبة على مَعلمات الإدخال ذات القيم الكبيرة.

يُعَد كشف الانحراف (Drift detection) جانبًا أساسيًا من مراقبة النموذج وقابلية ملاحظته، ويمكن أن يساعد على الحماية من انحراف النموذج. على سبيل المثال، تكتشف أدوات كشف انحراف الذكاء الاصطناعي تلقائيًا متى تنخفض دقة النموذج أو ينحرف عن حد معيَّن مسبقًا، بينما تراقب أدوات المراقبة سيناريوهات الانحراف بشكل مستمر.

بمجرد اكتشاف الانحراف، يمكن تحديث نماذج التعلم الآلي في الوقت الفعلي أو إعادة تدريبها باستخدام مجموعة بيانات جديدة تحتوي على عينات أحدث وأكثر صلة.

يبدأ التخفيف من تحيُّز الذكاء الاصطناعي بحوكمة الذكاء الاصطناعي، والتي تشمل ضوابط وإجراءات ومعايير تساعد على ضمان أن تكون أنظمة وأدوات الذكاء الاصطناعي أخلاقية وآمنة. وفيما يلي بعض ممارسات الذكاء الاصطناعي المسؤول التي يمكنها الحماية من التحيز:

• تنويع مصادر البيانات وإدراج بيانات تمثِّل مجموعة واسعة من الظروف والسياقات والتركيبة السكانية.
• تكوين فرق متنوعة لتعزيز تصميم وتطوير الذكاء الاصطناعي الشامل.
• استخدِم تقنيات الذكاء الاصطناعي القابلة للتفسير لتحقيق الشفافية، مثل التفسيرات المحلية المستقلة عن النموذج (LIME) لشرح التنبؤ بالمصنِّفات بواسطة خوارزميات التعلم الآلي وتفسيرات Shapley الإضافية (SHAP) لشرح مخرجات أي نموذج تعلُّم آلي.
• دمج مقاييس الإنصاف في عملية التطوير واستخدام أدوات وأطر عمل الإنصاف الخوارزمية.
• إجراء عمليات تدقيق منتظمة لتقييم البيانات والخوارزميات بحثًا عن التحيزات.
• تنفيذ المراقبة المستمرة لأداء نماذج التعلم الآلي التي تم نشرها للكشف السريع عن التحيز في النتائج وتصحيحه.