ما هي دالة الخسارة؟

دالة الخسارة هي نوع من الدوال الموضوعية التي تشير، في سياق علم البيانات، إلى أي دالة يمثل تقليلها أو تكبيرها هدف التدريب على النموذج. يشير مصطلح "دالة الخسارة"، الذي عادة ما يكون مرادفًا لمصطلح دالة التكلفة أو دالة الخطأ، على وجه التحديد إلى الحالات التي يمثل فيها التقليل هدف التدريب لنموذج التعلم الآلي.

بعبارة أبسط، تتعقب دالة الخسارة درجة الخطأ في إخراجات نموذج الذكاء الاصطناعي. وتقوم الدالة بهذه العملية من خلال تحديد الفرق ("الخسارة") بين القيمة المتوقعة –أي إخراجات النموذج– لإدخال معين والقيمة الفعلية أو الحقيقة الأساسية. إذا كانت توقعات النموذج دقيقة، فستكون الخسارة قليلة. وإذا لم تكن توقعاته دقيقة، فستكون الخسارة كبيرة.

الهدف الأساسي من التعلم الآلي هو تدريب النماذج على إخراج تنبؤات جيدة. تمكننا دوال الخسارة من تحديد هذا الهدف ومتابعته رياضيًا. أثناء التدريب ، "تتعلم" النماذج إخراج تنبؤات أفضل عن طريق ضبط المعلمات بطريقة تقلل من الخسارة. يعتبر نموذج التعلم الآلي مُدرب بشكل كافٍ عندما يتم تقليل الخسارة إلى أقل من الحد الأدنى المحدد مسبقًا.

في إعداد تدريبي نموذجي، يقوم النموذج بعمل تنبؤات على مجموعة من نقاط بيانات العينة المستمدة من مجموعة بيانات التدريب، وتقيس دالة الخسارة متوسط الخطأ لكل مثال. ثم تُستخدم هذه المعلومات لتحسين معلمات النموذج.

تعتبر دوال الخسارة خاصة بالتعلم الخاضع للإشراف، حيث تفترض مهام التدريب الخاصة بها وجود إجابة صحيحة: الحقيقة الأساسية. لا تتضمن خوارزميات التعلم التقليدية غير الخاضعة للإشراف، مثل التجميع أو الارتباط، إجابات "صحيحة" أو "خاطئة"، لأنها تسعى فقط إلى اكتشاف الأنماط الجوهرية في البيانات غير المصنفة.

يتطلب التعلم الخاضع للإشراف مجموعات بيانات مصنفة، حيث توفر التعليقات التوضيحية اليدوية بيانات ميدانية فعلية لكل عينة تدريب. على سبيل المثال، تحتاج نماذج تقسيم الصور إلى عينات تدريبية مع توضيح كل بكسل وفقًا لفئته الصحيحة. في التعلم الخاضع للإشراف الذاتي الذي يُخفي أو يُحوِّل أجزاءً من عينات البيانات غير المصنفة ويُكلِّف النماذج ببناء تلك الأجزاء المفقودة، تعتبر العينة الأصلية نفسها بمثابة الحقيقة الأساسية.

دوال الخسارة ليست مجرد مقاييس للتقييم. والغرض الصريح منها ليس فقط قياس نجاح النموذج، ولكن أيضًا بمثابة مدخلات لخوارزمية تعمل على تحسين معلمات النموذج لتقليل الخسارة.

تستخدم خوارزميات التحسين مثل النزول الاشتقاقي عادةً تدرج دالة الخسارة. التدرج هو مشتق دالة ذات متغيرات متعددة. في الأساس، يصف المشتق بشكل أساسي معدل ومقدار تغير القيمة المخرجة للدالة عند أي نقطة. لذلك، من المهم أن تكون دوال الخسارة قابلة للاشتقاق: بعبارة أخرى، أن يكون لها مشتق عند جميع النقاط.

تتعلم نماذج التعلم الآلي كيفية إجراء تنبؤات دقيقة من خلال التعديلات على معلمات نماذج معينة. على سبيل المثال، تقوم خوارزمية الانحدار الخطي البسيط بنمذجة البيانات بالدالة y = wx+b، حيث y هي مخرجات النموذج، و x هي المدخلات، و w هو الوزن، و b هو الانحياز. يتعلم النموذج عن طريق تحديث معاملات الوزن والانحياز حتى يتم تقليل دالة الخسارة بشكل كافٍ.

وباستخدام تدرج دالة الخسارة، تحدد خوارزميات التحسين الاتجاه الذي "تخطو" فيه معلمات النموذج من أجل التحرك نزولاً بالتدرج وبالتالي تقليل الخسارة.

تستخدم نماذج التعلم العميق شبكات عصبية اصطناعية كبيرة، تتألف من طبقات من الخلايا العصبية المترابطة، ولكل منها دالة تنشيط غير خطية خاصة بها، بدلاً من الاعتماد على دالة مفردة. يتطلب اشتقاق الشبكة بأكملها حساب المشتقات الجزئية لمئات أو آلاف أو حتى ملايين المتغيرات المنفصلة ودوال التنشيط بالنسبة للمتغيرات الأخرى.

للقيام بذلك، تستخدم الشبكات العصبية الانتشار العكسي لإيجاد تدرج دالة الخسارة بعد عملية التمرير الأمامي التي تنتهي بتنبؤ على نقطة بيانات من مجموعة بيانات التدريب. اختصارًا لانتشار الخطأ العكسي، يبدأ الانتشار العكسي بمخرجات دالة الخسارة. في عملية التمرير الخلفي عبر الشبكة من طبقة الإخراج إلى طبقة الإدخال، يستخدم الانتشار العكسي قاعدة السلسلة لحساب كيفية مساهمة كل وزن وانحياز فردي في الشبكة في الخسارة الإجمالية.

يمكن بعد ذلك استخدام التدرج الناتج للمشتقات الجزئية للشبكة بأكملها بواسطة خوارزميات النزول الاشتقاقي لتحديث أوزان الشبكة بشكل متكرر حتى يتم تقليل الخسارة بشكل كافٍ.

على الرغم من أن النماذج يتم تدريبها والتحقق من صحتها من خلال إجراء تنبؤات على مجموعة بيانات التدريب، إلا أن الأداء الجيد في أمثلة التدريب ليس هو الهدف النهائي. الهدف الحقيقي من التعلم الآلي هو تدريب النماذج التي تعمم بشكل جيد على الأمثلة الجديدة.

يُطلق على الاعتماد فقط على تقليل دالة خسارة مفردة "تقليل المخاطر التجريبية". ورغم أن هذا يبدو جذابًا وبسيطًا، إلا أنه ينطوي على خطر الإفراط في ملاءمة النموذج لبيانات التدريب وبالتالي التعميم بشكل سيئ. لتقليل هذا الخطر، من بين أغراض أخرى، تقدم العديد من الخوارزميات والبنى شروط التنظيم التي تعدل دالة الخسارة الأساسية.

على سبيل المثال، يمكن استخدام متوسط الخطأ المطلق (MAE) - والذي يُطلق عليه في هذا السياق اسم تنظيم L1 - لفرض التباعد عن طريق معاقبة عدد الخلايا العصبية المُنشَّطة في الشبكة العصبية أو تعظيم تنشيطها.

ثمة مجموعة واسعة من دوال الخسارة المختلفة، تناسب كل منها أهدافًا وأنواع بيانات وأولويات مختلفة. تنقسم دوال الخسارة الأكثر استخدامًا عند أعلى مستوى إلى دوال الخسارة في الانحدار ودوال الخسارة في التصنيف.

• تقيس دوال الخسارة في الانحدار الأخطاء في التوقعات التي تتضمن قيمًا مستمرة. على الرغم من أن دالة الخسارة في الانحدار تنطبق بصورة بديهية على النماذج التي تقدِّر المفاهيم القابلة للقياس الكمي مباشرة، مثل السعر أو العمر أو الحجم أو الوقت، فإن لهذه الدالة مجموعة واسعة من الاستخدامات. على سبيل المثال، يمكن استخدام هذه الدالة لتحسين نموذج صورة تنطوي مهمته على تقدير القيمة اللونية لوحدات البكسل الفردية.
   

• تقيس دوال الخسارة الأخطاء في التنبؤات التي تتضمن قيمًا منفصلة، مثل الفئة التي تنتمي إليها نقطة البيانات أو ما إذا كان البريد الإلكتروني بريدًا عشوائيًا أم لا. يمكن تقسيم أنواع فقدان التصنيف إلى أنواع مناسبة للتصنيف الثنائي وأنواع مناسبة للتصنيف متعدد الفئات.

يجب أن يعتمد اختيار أي دالة خسارة واحدة من ضمن هاتين الفئتين العريضتين على طبيعة حالة استخدام الفرد. تتطلب بعض خوارزميات التعلّم الآلي دالة خسارة محددة تتناسب مع بنيتها الرياضية، ولكن بالنسبة لمعظم بنيات النماذج، هناك خيارات متعددة على الأقل من الناحية النظرية.

تعطي دوال الخسارة المختلفة الأولوية لأنواع مختلفة من الأخطاء. على سبيل المثال، قد تفرض بعض هذه الدوال عقوبات قاسية على القيم الخارجية بينما تتحكم دوال أخرى في التباين الطفيف. يوفر بعضها دقة أكبر ولكن على حساب تعقيد العمليات الحسابية، وبالتالي المزيد من الوقت والموارد الحسابية اللازمة للحساب.

في النهاية، يجب أن يعكس اختيار دالة الفقد المهمة التعلمية المحددة، وطبيعة البيانات التي يحللها النموذج، مع الأخذ في الاعتبار أنواع الأخطاء الأكثر تكلفة والموارد الحسابية المتاحة.

تنتج مسائل الانحدار، مثل الانحدار الخطي أو الانحدار متعدد الحدود، قيمًا مستمرة من خلال تحديد العلاقة بين متغير مستقل واحد أو أكثر (x) ومتغير تابع (y): given x, predict the value of y. وبالتالي، يجب أن تكون خسارة الانحدار حساسة ليس فقط لما إذا كان الناتج غير صحيح أم لا، ولكن أيضًا لدرجة اختلافه عن الحقيقة الأساسية.

دالة خسارة متوسط الخطأ التربيعي، وتسمى أيضاً خسارة L2 أو الخسارة التربيعية، هي بشكل عام الافتراضية لمعظم خوارزميات الانحدار. كما يوحي اسمها، يتم حساب متوسط الخطأ التربيعي كمتوسط الفروق التربيعية بين القيمة المتوقعة والقيمة الحقيقية عبر جميع أمثلة التدريب. صيغة حساب متوسط الخطأ التربيعي عبر n نقطة بيانات تُكتب على صورة 1n∑i=1n(yi-yi^)2، حيث y هي القيمة الحقيقية و ŷ هي القيمة المتوقعة.

تربيع الخطأ يعني أن القيمة الناتجة تكون دائما موجبة: على هذا النحو، تقوم MSE بتقييم مقدار الخطأ فقط وليس اتجاهه. كما أن تربيع الخطأ يعطي الأخطاء الكبيرة تأثيرًا كبيرًا بشكل غير متناسب على الخسارة الإجمالية، مما يعاقب بشدة على القيم الخارجية ويحفز النموذج على تقليلها. وبالتالي يكون متوسط الخطأ التربيعي مناسبًا عندما يُفترض أن المخرجات المستهدفة لها توزيع طبيعي (غاوسية).

متوسط الخطأ التربيعي دائمًا قابلاً للاشتقاق، مما يجعله عمليًا لتحسين نماذج الانحدار من خلال الانحدار التدرجي.

في مسائل الانحدار حيث تكون مخرجات الهدف ذات نطاق واسع جدًا من القيم المحتملة، مثل تلك التي تتضمن نموًا أسيًا، قد يكون فرض عقوبة شديدة على الأخطاء الكبيرة غير مثمر. يُعالج متوسط الخطأ اللوغاريتمي التربيعي (MSLE) هذه المشكلة عن طريق حساب متوسط مربعات اللوغاريتم الطبيعي للفروق بين القيم المتوقعة والقيم المتوسطة. ومع ذلك، تجدر الإشارة إلى أن متوسط الخطأ اللوغاريتمي التربيعي يخصص عقوبة أكبر للتوقعات المنخفضة للغاية مقارنةً بالتوقعات المرتفعة للغاية.

تتم كتابة صيغة MSLE كـ 1n∑i=1n(loge(1+yi)-loge(1+yi^))2

جذر متوسط الخطأ التربيعي هو الجذر التربيعي لمتوسط الخطأ التربيعي، مما يجعله مرتبطًا ارتباطًا وثيقا بصيغة الانحرافات المعيارية. على وجه التحديد، يتم حساب جذر متوسط الخطأ التربيعي (RMSE) على الطريقة التالية

$\sqrt{\frac{\sum _{i=1}^n(y_i-\widehat{y_i}{)}^2}{n}}$ .

وبالتالي فإن RMSE تعكس إلى حد كبير صفات MSE من حيث الحساسية للقيم الخارجية ولكنها أسهل في التفسير لأنها تعبر عن الخسارة بنفس وحدات قيمة المخرجات نفسها. ويخفف من هذه الميزة إلى حد ما حقيقة أن حساب RSME يتطلب خطوة أخرى مقارنة بحساب MSE، مما يزيد من تكاليف الحساب.

متوسط الخطأ المطلق أو خسارة L1، يقيس متوسط الفرق المطلق بين القيمة المتوقعة والقيمة الفعلية. مثل متوسط الخطأ التربيعي، يكون متوسط الخطأ المطلق دائمًا إيجابيًا ولا يميز بين التقديرات العالية جدًا أو المنخفضة جدًا. يتم حسابه على أنه مجموع القيمة المطلقة لجميع الأخطاء مقسومًا على حجم العينة:  $\frac{1}{n}\sum _{i=1}^n|y_i-\widehat{y_i}|$

لأن متوسط الخطأ المطلق (MAE) لا يربع قيمة كل خسارة، فهو أكثر مقاومة للقيم المتطرفة من متوسط الخطأ التربيعي (MSE). وبالتالي يكون متوسط الخطأ المطلق مثاليًا عندما تحتوي البيانات على بعض القيم الخارجية التي لا ينبغي أن تؤثر بشكل مفرط على النموذج. تؤدي خسارة L1 أيضًا إلى معاقبة الأخطاء الصغيرة أكثر من خسارة L2.

دالة خسارة متوسط الخطأ المطلق (MAE) غير قابلة للاشتقاق في الحالات التي يتطابق فيها المخرجات المتوقعة مع الناتج الفعلي. لذلك، يتطلب متوسط الخطأ المطلق المزيد من خطوات الحل البديل أثناء التحسين.

تهدف خسارة Huber، وتسمى أيضًا خسارة L1 السلسة، إلى تحقيق التوازن بين نقاط قوة كل من متوسط الخطأ المطلق (MAE) ومتوسط الخطأ التربيعي (MSE). إنه يتضمن معاملًا فائقًا قابلًا للتعديل، δ، والذي يعمل كنقطة انتقال: بالنسبة لقيم الخسارة الأقل من أو تساوي δ، تكون خسارة Huber تربيعية (مثل MSE)؛ بالنسبة لقيم الخسارة الأكبر من δ، تكون خسارة Huber خطية (مثل MAE).

 $L_{\delta }=\{<!--\; -->\begin{array}{cc}\frac{1}{2}(y-\hat{y}{)}^2& if\left|(y-\hat{y})\right|<\delta \\ \delta (\left|(y-\hat{y})\right|-\frac{1}{2}\delta )& otherwise\end{array}$

وبالتالي، توفر خسارة Huber دالة قابلة للاشتقاق بالكامل مع متانة متوسط الخطأ المطلق في التعامل مع القيم الخارجية وسهولة تحسين متوسط الخطأ التربيعي من خلال النزول الاشتقاقي. يؤدي الانتقال من السلوك التربيعي إلى السلوك الخطي عند δ أيضًا إلى تحسين أقل عرضة لمشاكل مثل التلاشي أو التدرجات المتفجرة عند مقارنته بخسارة متوسط الخطأ التربيعي.

ويخفف من هذه الميزات الحاجة إلى تحديد δ بعناية، مما يزيد من تعقيد عملية تطوير النموذج. تكون خسارة Huber أكثر ملاءمة عندما لا يمكن أن يسفر أي من متوسط الخطأ التربيعي أو متوسط الخطأ المطلق عن نتائج مرضية، مثل عندما يجب أن يكون النموذج قويًا في مواجهة القيم الخارجية ولكن مع ذلك يعاقب بشدة القيم القصوى التي تتجاوز حد معين.

تنقسم مشاكل التصنيف، ودوال الخسارة المستخدمة لتحسين النماذج التي تحلها، إلى تصنيف ثنائي—على سبيل المثال، "بريد عشوائي" أو "ليس بريدًا عشوائيًا"، "موافقة" أو "رفض"—أو تصنيف متعدد الفئات .

يمكن التعامل مع مشكلات التصنيف متعدد الفئات بطريقتين. تتمثل إحدى الطرق في حساب الاحتمال النسبي لنقطة بيانات تنتمي إلى كل فئة محتملة، ثم تحديد الفئة التي تم تعيين أعلى احتمال لها. يتم استخدام هذا النهج عادةً بواسطة الشبكات العصبية باستخدام دالة التنشيط softmax للخلايا العصبية في طبقة المخرجات. يتمثل النهج البديل في تقسيم المشكلة إلى سلسلة من مشكلات التصنيف الثنائي.

في أغلب الحالات، يتم حساب خسارة التصنيف بناءً على الإنتروبيا. الإنتروبيا، بلغة بسيطة، هي مقياس لعدم اليقين داخل النظام. ولمثال بديهي، قارن بين رمي العملات المعدنية ورمي النرد: الأولى لها إنتروبيا أقل، حيث أن النتائج المحتملة في رمي العملة المعدنية (2) أقل من رمي النرد (6).

في التعلم الخاضع للإشراف، تتم مقارنة تنبؤات النماذج بتصنيفات الحقائق الأساسية التي توفرها تصنيفات البيانات. تصنيفات الحقائق الأساسية هي مؤكدة وبالتالي لها قصور منخفض أو معدوم في الإنتروبيا. وعلى هذا النحو، يمكننا قياس حجم الخسارة من حيث الاختلاف في اليقين الذي سنحصل عليه باستخدام تسميات الحقائق الأساسية مقارنة بيقين التصنيفات التي يتنبأ بها النموذج.

تُشتق معادلة خسارة الأنتروبيا المتقاطعة (CEL) من مقياس تباعد كولباك - ليبلير (KL divergence)، الذي يقيس الفرق بين توزيعين احتماليين. في نهاية المطاف، يستلزم تقليل الخسارة إلى الحد الأدنى تقليل الفرق بين التوزيع الحقيقي الأساسي للاحتمالات المعينة لكل تسمية محتملة والاحتمالات النسبية لكل تسمية متوقعة بواسطة النموذج.

خسارة الإنتروبيا المتقاطعة الثنائية، التي تسمى أيضًا الخسارة اللوغاريتمية، تُستخدم للتصنيف الثنائي. عادةً ما تُنتج خوارزميات التصنيف الثنائي قيمة احتمالية بين 0 و1. على سبيل المثال، في نموذج كشف البريد الإلكتروني العشوائي، قد يتم تصنيف إدخالات البريد الإلكتروني التي تؤدي إلى إخراجات أقرب إلى 1 على أنها "بريد عشوائي". ويتم تصنيف الإدخالات التي تُنتج إخراجات أقرب إلى 0 على أنها "ليست بريدًا عشوائيًا". يشير إخراج 0.5 إلى أقصى قدر من الشكوك أو الإنتروبيا.

على الرغم من أن الخوارزمية ستُنتج قيمًا بين 0 و 1، فإن قيم الحقائق الأساسية للتنبؤات الصحيحة هي "0" أو "1" بالضبط. ومن ثَمَّ فإن تقليل خسارة الإنتروبيا المتقاطعة الثنائية لا يستلزم فقط المعاقبة بسبب التنبؤات غير الصحيحة ولكن أيضًا المعاقبة بسبب التنبؤات ذات اليقين المنخفض. هذا يحفز النموذج على تعلم المعلمات التي تسفر عن تنبؤات ليست صحيحة فحسب، بل جديرة بالثقة أيضًا. علاوة على ذلك، التركيز على لوغاريتمات قيم الاحتمالات المتوقعة يؤدي إلى تقدير خطاء الخوارزميات التي تكون بالتأكيد خاطئة بشكل أكبر.

للحفاظ على العرف الشائع بأن قيم الخسارة الأقل تعني خطأ أقل، يتم ضرب الناتج في -1. يتم حساب الخسارة اللوغاريتمية لمثال واحد i على النحو التالي: –(yi·log(p(yi))+(1-yi)·log(1-p(yi)))، حيث y_i هو الاحتمال الحقيقي -إما 0 أو 1- وp(y_i) هو الاحتمال المتوقع. وبالتالي يتم حساب متوسط الخسارة عبر مجموعة كاملة من أمثلة التدريب n على أنه 1n∑i=1nyi·log(p(yi))+(1-yi)·log(1-p(yi)).

خسارة الإنتروبيا المتقاطعة الفئوية (CCEL) تتبع نفس المبدأ في التصنيف المتعدد الفئات. عادةً ما يقوم نموذج التصنيف متعدد الفئات بإخراج قيمة لكل فئة محتملة، تمثل احتمال انتماء المدخلات إلى كل فئة معنية. وبعبارة أخرى، فإنها تنتج التنبؤات كتوزيع احتمالي.

في التعلم العميق، عادةً ما تستخدم مصنِّفات الشبكة العصبية دالة تنشيط softmax للخلايا العصبية في طبقة الإخراج. يتم تعيين قيمة كل خلية عصبية ناتجة إلى رقم بين 0 و1، ويصل مجموع القيم معًا إلى 1.

على سبيل المثال، في نقطة بيانات تحتوي على فئة محتملة واحدة فقط، فإن قيم الحقيقة الأساسية لكل تنبؤ تتكون من "1" للفئة الصحيحة و"0" لكل فئة غير صحيحة. يستلزم تقليل CCEL زيادة قيمة المخرجات للفئة الصحيحة وتقليل قيم المخرجات للفئات غير الصحيحة، وبالتالي تقريب توزيع الاحتمالات من الحقيقة الأساسية. بالنسبة لكل مثال، يجب حساب خسارة اللوغاريتم لكل تصنيف محتمل يتنبأ به النموذج.

خسارة المفصلة هي دالة خسارة بديلة لمشاكل التصنيف الثنائي، وهي مناسبة بشكل خاص لتحسين نماذج آلة دعم المتجه (SVM) . على وجه التحديد، إنها دالة خسارة فعالة لتحسين حدود القرار التي تفصل بين فئتين: يمكن بعد ذلك تصنيف النقاط وفقًا للجانب الذي تقع عليه من حدود القرار.

في الخوارزميات التي تستخدم دالة فقد الهينج (hinge loss)، يتم تعيين القيمة الحقيقية لكل تصنيف ثنائي إلى {-1, 1} بدلاً من {0,1}. يتم تعريف دالة فقد الهينج ℓ كالتالي ℓ(𝑦)=max(0,1−𝑡⋅𝑦)، حيث 𝑡 هو التصنيف الحقيقي و 𝑦 هو ناتج المصنِّف. نتيجة هذه المعادلة دائمًا غير سالبة: إذا كانت 1−𝑡⋅𝑦 سالبة - وهو ما يحدث فقط عندما تكون t و y لهما نفس الإشارة لأن النموذج تنبأ بالفئة الصحيحة - فإن الفقد يُعرف حينها على أنه 0.

هذا يوفر إمكانيات وحوافز مختلفة:

• عندما تكون تنبؤات النموذج صحيحة وواثقة - أي عندما تكون y هي الإشارة الصحيحة و|y| ≥ 1 - فإن قيمة 1–t⋅𝑦 ستكون سالبة وبالتالي ℓ = 0.
   

• عندما تكون تنبؤات النموذج صحيحة، ولكنها ليست واثقة—أي عندما تكون y هي الإشارة الصحيحة ولكن |y| < 1—ستكون قيمة ℓ موجبة، بين 0 و 1. وهذا يثبط التوقعات غير الواثقة.
   

• عندما تكون تنبؤات النموذج غير صحيحة - أي عندما تكون y هي الإشارة غير الصحيحة- ستكون قيمة ℓ أكبر من 1 وتزداد خطيًا بقيمة |y|. هذا يثبط بشدة التنبؤات غير الصحيحة.

تستخدم بعض بنيات النماذج، لا سيما تلك المستخدمة في التعلّم العميق، ظاهريًا دوال خسارة فريدة ومتخصصة. على الرغم من أن دوال الأهداف هذه فريدة من نوعها من حيث سياقها ومنطقها، إلا أنها غالبًا ما تكون—ولكن ليس دائمًا—مجرد تطبيق متخصص لدالة خسارة مشتركة على هدف تدريبي محدد.

على سبيل المثال:

• المُرمِّزات التلقائية هي نماذج غير خاضعة للإشراف تتعلم كيفية تشفير تمثيل مضغوط لبيانات المدخلات بكفاءة عن طريق ضغط هذه البيانات من خلال "عنق زجاجة"، ثم استخدام هذا التمثيل المضغوط لإعادة بناء المدخلات الأصلية. تتعلم المُرمِّزات التلقائية عن طريق تقليل خسارة إعادة البناء إلى الحد الأدنى: الفرق بين المدخلات الأصلية والمدخلات المعاد بناؤها، وعادةً ما يتم حسابه من خلال متوسط الخطأ التربيعي (MSE). تتضمن المُرمِّزات التلقائية المتغيرة تباعد KL كمصطلح تنظيمي.
   

• تقلل نماذج اكتشاف الكائنات من نوعين من الخسارة: انحدار المربع المحيط وخسارة الأنتروبيا المتقاطعة. يستخدم الأول MSE أو MAE أو خسارة متخصصة مثل التقاطع فوق الاتحاد (IoU) لمقارنة إحداثيات المربع المحيط المتوقع بإحداثيات الحقيقة الأساسية. يقيس هذا الأخير تصنيف الكائن نفسه.
   

• التعلّم التبايني، وهو شكل من أشكال التعلم الخاضع للإشراف الذاتي، يقوم بتدريب نموذج لإخراج تضمينات متجهة مماثلة لنقاط بيانات مماثلة. ويهدف إلى تقليل الخسارة التباينية أو المتغيرات المتخصصة مثل الخسارة الثلاثية.