ما المقصود بالتعلم الجماعي؟

التعلم التجميعي هو تقنية تعلم آلي تجمع اثنين أو أكثر من نماذج التعلم (مثل: نماذج الانحدار والشبكات العصبية) لإنتاج تنبؤات أفضل. بمعنى آخر، يجمع النموذج التجميعي عدة نماذج فردية لإنتاج توقعات أكثر دقة من نموذج واحد فقط.¹ وفي بعض الأحيان، قد تشير المصادر إلى هذه التقنية باسم التعلم القائم على اللجنة. يعتمد التعلم التجميعي على مبدأ أن مجموعة نماذج التعلم تُنتج دقة شاملة أكبر من المتعلم الفردي.² وفي الواقع، تدعم الأبحاث فعاليتها من خلال نماذج التعلم الآلي والشبكات العصبية التلافيفية (CNN).

ملاحظة حول المصطلحات: تشير مصطلحات نموذج التعلم الأساسي، والنموذج الأساسي، وفي بعض الحالات، المقدِّر الأساسي إلى النموذج الفردي أو النماذج المستخدمة في الخوارزميات التجميعية. وفي الكتابات والمؤلفات المعنية بهذا المجال، يتم أيضًا تقسيم نماذج التعلم الأساسي إلى نماذج تعلم قوية ومتعلمين ضعفاء. يتم تعريف النماذج الضعيفة أو نماذج التعلم الضعيفة على أنها النماذج التي تؤدي أداءً أفضل قليلًا من التخمين العشوائي. بالنسبة إلى مشاكل التصنيف الثنائي، فإن المصنِّفات الضعيفة هي تلك التي تحقِّق دقة بنسبة خمسين بالمئة تقريبًا. على النقيض من ذلك، تحقِّق النماذج القوية أو نماذج التعلم الأقوياء أداءً تنبؤيًا ممتازًا، والذي يُعتبر في التصنيف الثنائي مساويًا لدقة قدرها ثمانون بالمئة أو أكبر منها.³

لاحظ أن بعض المصادر تخلط بين نموذج التعلم الضعيف ونموذج التعلم الأساسي نظرًا لأن الأساليب التجميعية، وخاصة الأساليب المتسلسلة منها، تعزز بشكل فعال نماذج التعلم الضعيفة إلى نماذج تعلم قوية.⁴

تُعَد مقايضة التحيز والتباين مشكلة معروفة في التعلم الآلي ومبدأ محفزًا للعديد من تقنيات التنظيم . ويمكننا تعريفها على النحو التالي:

- التحيز يقيس متوسط الفرق بين القيم المتوقعة والقيم الحقيقية. فمع زيادة التحيز، يتنبأ النموذج بدقة أقل في مجموعة بيانات التدريب. ويشير التحيز العالي إلى الخطأ الكبير في التدريب. ويشير التحسين إلى محاولات تقليل التحيز.

- التباين يقيس الفرق بين التنبؤات في الإحداثات المتنوعة في نموذج واحد معين. ومع زيادة التباين، يتنبأ النموذج بدقة أقل بشأن البيانات غير المرئية. ويشير التباين العالي إلى خطأ كبير في أثناء الاختبار والتحقق من الصحة. ويشير التعميم إلى محاولات تقليل التباين.

وبالتالي فإن التحيز والتباين يمثلان دقة النموذج عكسيًا في بيانات التدريب والاختبار على التوالي.⁵ يوجد حدَّان من ثلاثة حدود يشكِّلان معدل الخطأ الإجمالي للنموذج، والثالث هو الخطأ غير القابل للاختزال. يشير هذا الحد الثالث إلى الخطأ الناتج عن العشوائية المتأصلة في مجموعة البيانات. ويمكن تعريف إجمالي خطأ النموذج بالصيغة:⁶

تتكون أي خوارزمية تدريب نموذج واحد من العديد من المتغيرات، على سبيل المثال، بيانات التدريب والمَعلمات الفائقة وما إلى ذلك- التي تؤثِّر في الخطأ الكلي للنموذج اللاحق. وبالتالي، يمكن حتى لخوارزمية تدريب واحدة أن تُنتج نماذج مختلفة، لكل منها تحيزها وتباينها ومعدلات الخطأ غير القابلة للاختزال الخاصة بها. ومن خلال الجمع بين العديد من النماذج المتنوعة، يمكن أن تؤدي خوارزميات المجموعة إلى معدل خطأ إجمالي أقل مع الاحتفاظ بالتعقيدات والمزايا الخاصة بكل نموذج فردي، مثل التحيز المنخفض بشكل ملحوظ لمجموعة فرعية محددة من البيانات.⁷

تشير الأبحاث إلى أنه بشكل عام، كلما زاد التنوع بين النماذج المدمجة، زادت دقة النموذج التجميعي الناتج. وبالتالي يمكن للتعلم التجميعي معالجة مشكلات الانحدار مثل التجهيز الزائد دون التخلي عن تحيز النموذج. في الواقع، تشير الأبحاث إلى أن المجموعات المكونة من نماذج متنوعة غير منتظمة (أي النماذج التي تتناسب مع بيانات التدريب الخاصة بها) تتفوق على النماذج الفردية المنظمة.⁸ بالإضافة إلى ذلك، تساعد تقنيات التعلم التجميعي على حل المشكلات الناتجة عن البيانات عالية الأبعاد، وبالتالي تعمل بشكل فعَّال كبديل لتقليل الأبعاد.

تصنِّف المراجع على نطاق واسع طرق التعلم الجماعي في التعلم الآلي إلى مجموعتين: متوازية ومتسلسلة.

- تقوم الطرق المتوازية بتدريب كل متعلم أساسي بصرف النظر عن غيره من المتعلمين الآخرين. ووفقًا لاسمها، تقوم المجموعات المتوازية بتدريب المتعلمين الأساسيين بالتوازي وبشكل مستقل عن بعضهم.

- تقوم الأساليب المتسلسلة بتدريب متعلم أساسي جديد بحيث يقلل من الأخطاء التي ارتكبها النموذج السابق الذي تم تدريبه في الخطوة السابقة. بمعنى آخر، تقوم الأساليب المتسلسلة ببناء نماذج الأساس بشكل متسلسل على مراحل.⁹

تنقسم الأساليب المتوازية إلى أساليب متجانسة وغير متجانسة. تستخدم المجموعات المتوازية المتجانسة خوارزمية التعلم الأساسية نفسها لإنتاج جميع نماذج التعلم الأساسية. تستخدم المجموعات المتوازية غير المتجانسة خوارزميات مختلفة لإنتاج نماذج تعلم أساسية.¹⁰

كيف تجمع أساليب التجميع المتعلمين الأساسيين في متعلم نهائي؟ بعض التقنيات -على سبيل المثال، التكديس- تستخدم خوارزميات تعلم آلي منفصلة لتدريب متعلم جماعي من المتعلمين الأساسيين. لكن إحدى الطرق الشائعة لتوحيد توقعات المتعلم الأساسي هي التصويت، وبشكل أكثر دقة، التصويت بالأغلبية.

يأخذ التصويت بالأغلبية في الاعتبار تنبؤ كل نموذج تعلم أساسي لمثيل بيانات معين ويُنتج تنبؤًا نهائيًا يحدده ما يتوقعه غالبية نماذج التعلم. على سبيل المثال، في مشكلة التصنيف الثنائي، يأخذ التصويت بالأغلبية التنبؤات من كل مصنِّف أساسي لمثيل بيانات معين ويستخدم تنبؤ الأغلبية كتنبؤ نهائي. التصويت بالأغلبية المرجحة هو امتداد لهذه التقنية التي تعطي وزنًا أكبر لتنبؤات بعض نماذج التعلم مقارنةً بالآخرين.¹¹

ربما تكون ثلاثة من أكثر أساليب التعلم الجماعي شيوعًا هي التعبئة والتعزيز والتخزين. في الواقع، هذه الأساليب معًا تجسِّد الفروق بين الأنواع المتسلسلة والمتوازية والمتجانسة وغير المتجانسة من أساليب التجميع.

لاحظ أن هذه النظرة العامة ليست شاملة؛ فهناك العديد من أساليب التجميع الإضافية، مثل المزج والمجموعات المتوسطة المرجحة. وهذا مجرد توضيح لبعض الأساليب البارزة في المراجع.

التعبئة هي طريقة متوازية متجانسة تُسمَّى أحيانًا التجميع التمهيدي. وهي تستخدم نسخًا مكررة معدلة لمجموعة بيانات تدريب معينة لتدريب العديد من نماذج التعلم الأساسية بخوارزمية التدريب نفسها.¹² تحتوي وحدة مجموعة Scikit-learn في Python على وظائف لتنفيذ التعبئة، مثل BaggingClassifier.

وبشكل أكثر تحديدًا، تستخدم التعبئة تقنية تُسمَّى إعادة أخذ عينات التمهيد لاشتقاق مجموعات بيانات جديدة متعددة من مجموعة بيانات تدريب أولية واحدة من أجل تدريب العديد من نماذج التعلم الأساسية. كيف يعمل هذا؟ لنفترض أن مجموعة بيانات التدريب تحتوي على n من الأمثلة التدريبية. تقوم عملية أخذ عينات التمهيد بنسخ n من مثيلات البيانات من تلك المجموعة إلى مجموعة بيانات عينة فرعية جديدة، مع ظهور بعض المثيلات الأولية أكثر من مرّة واستبعاد البعض الآخر تمامًا. هذه هي عينات التمهيد. يؤدي تكرار هذه العملية x من المرّات إلى إنتاج x من التكرارات لمجموعة البيانات الأصلية، يحتوي كل منها على n من العينات من المجموعة الأولية. ثم يتم استخدام كل تكرار للمجموعة الأولية لتدريب نموذج تعلم أساسي منفصل بخوارزمية التعلم نفسها.¹³

الغابة العشوائية هي امتداد للتعبئة التي تشير على وجه التحديد إلى استخدام التعبئة لبناء مجموعات من أشجار القرار العشوائية. يختلف هذا عن أشجار القرار القياسية في أن الأخيرة تأخذ عينات من كل سمة لتحديد الأفضل للتقسيم. على النقيض من ذلك، تقوم الغابات العشوائية بأخذ عينات متكررة من مجموعات فرعية عشوائية من السمات لإنشاء عقدة قرار.¹⁴

التكديس، أو التعميم المكدس¹⁵ هو أسلوب موازٍ غير متجانس يُجسِّد ما يُعرَف باسم التعلم الفوقي. يتكون التعلم الفوقي من تدريب متعلم فوقي من مخرجات العديد من نماذج التعلم الأساسية. في التكديس يتم تدريب العديد من نماذج التعلم الأساسية بشكل خاص من مجموعة البيانات نفسها باستخدام خوارزمية تدريب مختلفة لكل متعلم. يقوم كل نموذج تعلم أساسي بإجراء تنبؤات على مجموعة بيانات غير مرئية. يتم بعد ذلك تجميع تنبؤات النموذج الأولية هذه واستخدامها لتدريب النموذج النهائي، وهو النموذج الفوقي.¹⁶

لاحظ أهمية استخدام مجموعة بيانات مختلفة عن تلك المستخدمة لتدريب نماذج التعلم الأساسية من أجل تدريب نموذج تعلم ميتا. يمكن أن يؤدي استخدام مجموعة البيانات نفسها لتدريب نماذج التعلم الأساسية ونموذج تعلم ميتا إلى التجهيز الزائد. وقد يتطلب ذلك استبعاد مثيلات البيانات من بيانات تدريب نموذج التعلم الأساسي لتكون بمثابة بيانات مجموعة الاختبار الخاصة به، والتي بدورها تصبح بيانات تدريب لنموذج تعلم ميتا. غالبًا ما توصي المراجع بتقنيات مثل التحقق المتقاطع لضمان عدم تداخل مجموعات البيانات هذه.¹⁷

ومثل التعبئة، توفِّر وحدة sklearn.ensemble في Python وظائف مختلفة لتنفيذ تقنيات التكديس.

خوارزميات التعزيز هي طريقة تجميع متسلسلة. يحتوي التعزيز على العديد من الاختلافات، لكنها جميعًا تتبِّع الإجراء العام نفسه. يعمل التعزيز على تدريب المتعلم على بعض مجموعات البيانات الأولية، d. عادةً ما يكون المتعلم الناتج ضعيفًا، ويخطئ في تصنيف العديد من العينات في مجموعة البيانات. وعلى غرار التعبئة إلى حد كبير، يتم تعزيز المثيلات ثم أخذ عينات من مجموعة البيانات الأولية لإنشاء مجموعة بيانات جديدة (d₂). ولكن على عكس التعبئة، فإن التعزيز يعطي الأولوية لمثيلات البيانات المصنَّفة بشكل خطأ من النموذج أو المتعلم الأول. يتم تدريب متعلم جديد على مجموعة البيانات الجديدة d₂. ثم يتم تجميع مجموعة بيانات ثالثة (d₃) من d₁وd ₂، مع إعطاء الأولوية للعينات المصنَّفة بشكل خطأ للمتعلم الثاني والحالات التي تختلف فيها d₁ عن d₂. تتكرر العملية في n من المرّات لإنتاج عدد n من نماذج التعلم. ثم يجمع التعزيز بين جميع نماذج التعلم ويقوم بوزنها معًا لإنتاج تنبؤات نهائية.¹⁸

تختلف خوارزميات التعزيز إلى حد كبير في كيفية تحديد أولويات مثيلات البيانات المتوقعة بشكل خطأ عند إنشاء مجموعة بيانات جديدة. وقد توضح اثنتان من أبرز أساليب التعزيز ذلك:

- التعزيز التكيفي (AdaBoost) يزن أخطاء النموذج. أي عند إنشاء تكرار جديد لمجموعة بيانات لتدريب المتعلم التالي، يضيف التعزيز التكيفي أوزانًا إلى عينات المتعلم السابق المصنَّفة بشكل خطأ، ما يتسبب في قيام المتعلم التالي بتحديد أولويات تلك العينات المصنَّفة بشكل خطأ.

- يستخدم التعزيز بالتدرج الأخطاء المتبقية عند تدريب نماذج التعلم الجديدة. فبدلًا من وزن العينات المصنفة بشكل خطأ، يستخدم التعزيز بالتدرج الأخطاء المتبقية من نموذج سابق لتعيين تنبؤات الهدف للنموذج التالي. وبهذه الطريقة، تحاول سد فجوة الخطأ التي خلفها أحد النماذج.¹⁹

للأسف، لا يحتوي sklearn على وظائف محددة مسبقًا لتنفيذ التعزيز. ومع ذلك، توفِّر مكتبة Extreme Gradient Boosting (اختصارًا XGBoost) مفتوحة المصدر رمزًا برمجيًا لتنفيذ التعزيز بالتدرج في Python.

نظرًا للصعوبات في الحصول على مجموعات بيانات كبيرة وذات استخدام عادل ومصنَّفة لتدريب نماذج التعلم، شهد التعلم التجميعي العديد من التطبيقات في محاولة لتحسين أداء المتعلم ببيانات أقل. على سبيل المثال، تظهر العديد من الدراسات الحديثة نتائج واعدة فيما يتعلق بتحسين قابلية تعميم النموذج باستخدام أساليب المجموعة لرؤية الكمبيوتر، مثل تدريب العديد من النماذج باستخدام تمثيلات مختلفة لمجموعة البيانات²⁰ أو الجمع بين العديد من النماذج المتحيزة.²¹

على الرغم من قدرة أساليب التجميع على تحسين قابلية التعميم، إلا أنها قد تعاني من عدم الإنصاف. في التعلم الآلي، يشير الإنصاف إلى محاولات التخفيف من التحيز الخوارزمي (غالبًا ضد مجموعات الأقليات) في الأنظمة الآلية، وعادةً ما ينتج عن نماذج التعلم التي تدربت على البيانات الحساسة. بعض الدراسات تقترح مقاييس معينة وأساليب معالجة مسبقة ومعالجة لاحقة لتحسين الإنصاف في النماذج التجميعية.²² ولا تزال الجهود المستمرة لتحسين الإنصاف والممارسات الأخلاقية في مجال الذكاء الاصطناعي مطلوبة وتشتد الحاجة إليها في البحوث المستقبلية.