ما هو التعزيز؟

في عملية التعزيز، يتم اختيار عينة عشوائية من البيانات، وتزويدها بنموذج ثم يتم تدريبه بشكل تسلسلي—أي أن كل نموذج يحاول التعويض عن نقاط الضعف الموجودة في سابقه. ومع مع كل تكرار، يتم دمج القواعد الضعيفة من كل مصنِّف فردي لتكوين قاعدة تنبؤ واحدة قوية.

يمنح التعلم التجميعي مصداقية لفكرة «الحِكمة الجماعية»، مما يشير إلى أن عملية اتخاذ القرار بتعاون مجموعة أكبر من الأشخاص عادةً ما يكون أفضل من القرار الذي يتخذه شخص واحد ولو كان خبيرًا. وبالمثل، يشير التعلم التجميعي إلى مجموعة من المتعلمين الأساسيين، أو النماذج، التي تعمل بشكل جماعي لتحقيق تنبؤ نهائي أفضل. قد لا يؤدي النموذج الواحد، المعروف أيضًا باسم نموذج التعلم الأساسي أو نموذج التعلم الضعيف، أداءً جيدًا بشكل فردي بسبب التباين العالي أو التحيز العالي. ومع ذلك، عندما يتم تجميع المتعلمين الضعفاء، يمكن أن يشكلوا متعلمًا قويًا، حيث يقلل تجميعهم من التحيز أو التباين، مما يؤدي إلى أداء أفضل للنموذج.

غالبًا ما يتم توضيح طرق المجموعة باستخدام أشجار القرار لأن هذه الخوارزمية قد تكون عرضة لفرط التخصيص (تباين مرتفع وتحيز منخفض) عندما لم يتم تهذيبها، وقد تكون عرضة أيضًا لنقص التخصيص (تباين منخفض وتحيز مرتفع) عندما تكون صغيرة جدًا، مثل جذع القرار، وهو شجرة قرار بمستوى واحد. تذكّر أنه عندما تفرط الخوارزمية في تخصيص أو عدم تخصيص مجموعات بيانات التدريب الخاصة بها، لا يمكنها التعميم بشكل جيد على مجموعات البيانات الجديدة، لذا تُستخدم طرق التجميع لمواجهة هذا السلوك للسماح بتعميم النموذج على مجموعات البيانات الجديدة. في حين أن أشجار القرار يمكن أن تُظهر تباينًا كبيرًا أو تحيزًا كبيرًا، تجدر الإشارة إلى أنها ليست تقنية النمذجة الوحيدة التي تستفيد من التعلم الجماعي للعثور على "النقطة المثالية" في مفاضلة التحيز والتباين.

تعد كل من التعبئة والتعزيز نوعين رئيسيين من أساليب التعلم التجميعي. كما أوضحت هذه الدراسة، فإن الاختلاف الرئيسي بين طرق التعلم هذه هو الطريقة التي يتم تدريبها بها. في عملية التعبئة، يتم تدريب نماذج التعلم الضعيفة بالتوازي، بينما في عملية التعزيز، تتعلم النماذج بالتتابع. وهذا يعني أنه يتم إنشاء سلسلة من النماذج، ومع كل تكرار لنموذج جديد، تتم زيادة الأوزان الترجيحية للبيانات التي تم تصنيفها بشكل خطأ في النموذج السابق. إعادة توزيع الأوزان الترجيحية هذا يساعد هذه الخوارزمية على تحديد المعلمات التي تحتاج إلى التركيز عليها لتحسين أدائها. تُعد خوارزمية AdaBoost، وتعني "خوارزمية التعزيز التكيّفي"، واحدة من أكثر خوارزميات التعزيز شيوعًا لأنها كانت الأولى من نوعها. تشمل الأنواع الأخرى من خوارزميات التعزيز XGBoost وGradientBoost وBrownBoost.

هناك فرق آخر بين طريقة التعبئة وطريقة التعزيز من ناحية كيفية استخدامهما. على سبيل المثال، تُستخدم طرق التعبئة عادةً على نماذج التعلم الضعيفة التي تعرض تباينًا كبيرًا وتحيزًا منخفضًا، بينما تُستخدم طرق التعزيز عند ملاحظة تباين منخفض وتحيز كبير. في حين يمكن استخدام التعبئة لتجنب الإفراط في التجهيز، إلا أن طرق التعزيز قد تكون أكثر عرضة لذلك على الرغم من أن الأمر يعتمد حقًا على مجموعة البيانات. ومع ذلك، يساعد ضبط المعلمة على تجنب المشكلة.

ونتيجة لذلك، فإن التعبئة والتعزيز لهما تطبيقات مختلفة في العالم الحقيقي أيضًا. تمت الاستفادة من عملية التعبئة في عمليات الموافقة على القروض وعلم الجينوم الإحصائي، بينما تم استخدام التعزيز بشكل أكبر في تطبيقات التعرف على الصور ومحركات البحث.

تركز أساليب التعزيز على الجمع بشكل متكرر بين نماذج التعلم الضعيفة لبناء نموذج تعلم قوي يمكنه التنبؤ بالنتائج بدقة أكبر. كتذكير، يستطيع نموذج التعلم الضعيف تصنيف البيانات بشكل أفضل قليلًا من التخمين العشوائي. يمكن أن يوفر هذا النهج نتائج قوية لمشاكل التنبؤ، ويمكنه حتى التفوق على الشبكات العصبية وآلات دعم المتجهات لمهام مثل استرجاع الصور

تختلف خوارزميات التعزيز في كيفية إنشاء وتجميع نماذج التعلم الضعيفة أثناء العملية التسلسلية. وهناك ثلاثة أنواع شائعة من طرق التعزيز، منها ما يلي:

• التعزيز التكيّفي أو AdaBoost: يعود الفضل في إنشاء خوارزمية AdaBoost إلى علماء الحاسوب Yoav Freund وRobert Schapire. وتعمل هذه الطريقة بشكل تكراري، حيث تحدد نقاط البيانات المصنَّفة تصنيفًا غير صحيح وتعدِّل أوزانها الترجيحية لتقليل خطأ التدريب. ثم يستمر النموذج في التحسين بطريقة تسلسلية حتى ينتج لنا أقوى متغير توقع.
  
  
• التعزيز التدريجي: إكمالًا لأعمال عالِم الإحصاء Leo Breiman، قام أستاذ الإحصاء Jerome H. Friedman بتطوير التعزيز التدريجي، والذي يعمل عن طريق إضافة متغير توقعين بشكل تسلسلي إلى مجموعة مع تصحيح كل منهما لأخطاء سابقه. ومع ذلك، بدلًا من تغيير الأوزان الترجيحية لنقاط البيانات مثل AdaBoost، نجد أن التعزيز التدريجي يدرِّب على الأخطاء المتبقية من متغير التوقع السابق. يتم استخدام الاسم، تعزيز التدرج، لأنه يجمع بين خوارزمية الانحدار التدرجي (النزول الاشتقاقي) وطريقة التعزيز.
  
  
• التعزيز التدرجي الشديد أو XGBoost: يعد XGBoost تنفيذًا للتعزيز التدرجي المصمم لتحقيق السرعة الحوسبية وقابلية التوسع. حيث يستفيد XGBoost من الأنوية العديدة في وحدة المعالجة المركزية، مما يسمح بحدوث التعلم بالتوازي أثناء التدريب.

هناك عدد من المزايا والعقبات الرئيسية لطريقة التعزيز عند استخدامها في حل مشاكل التصنيف أو الانحدار.

من المزايا الرئيسية للتعزيز ما يلي:

• سهولة التنفيذ: يمكن استخدام التعزيز مع العديد من خيارات ضبط المعلمات الفائقة لتحسين التخصيص. حيث لا حاجة إلى معالجة مسبقة للبيانات، كما أن الخوارزميات المعزَّزة تحتوي على إجراءات مضمنة للتعامل مع البيانات المفقودة. في Python، تتوفر مكتبة scikit-learn الخاصة بالأساليب التجميعية (تُعرف أيضًا باسم sklearn.ensemble) والتي تجعل من السهل تنفيذ طرق التعزيز الشائعة، وتشمل AdaBoost وXGBoost ونحوهما.
  
  
• تقليل التحيز: تعمل خوارزميات التعزيز على الجمع بين العديد من نماذج التعلم الضعيفة بطريقة متسلسلة، مما يؤدي إلى تحسين الملاحظات بشكل متكرر. وهذا النهج يساعد على تقليل التحيز العالي، الذي يظهر بشكل شائع في أشجار القرار الضحلة ونماذج الانحدار اللوجستي.
  
  
• الكفاءة الحاسوبية: لأن خوارزميات التعزيز تختار فقط السمات التي تزيد من قوتها التنبؤية أثناء التدريب، فإن التعزيز يساعد على تقليل الأبعاد بالإضافة إلى زيادة الكفاءة الحاسوبية.

فيما يلي بعض التحديات الرئيسية التي تواجه التعزيز:

•  الإفراط في التجهيز: هناك بعض الخلاف في البحث حول ما إذا كان التعزيز يساعد على تقليل الإفراط في الملاءمة أو تفاقمه أم لا. نقوم بإدراجه تحت بند التحديات لأنه في الحالات التي يحدث فيها ذلك، لا يمكن تعميم التنبؤات على مجموعات البيانات الجديدة.
  
  
•  الحساب المكثف: من الصعب توسيع نطاق التدريب المتسلسل في التعزيز. نظرًا لأن كل مقدر مبني على سابقيه، يمكن أن تكون نماذج التعزيز مكلفة حسابيًا، على الرغم من أن XGBoost يسعى إلى معالجة مشكلات قابلية التوسع التي تظهر في أنواع أخرى من طرق التعزيز. يمكن أن تكون خوارزميات التعزيز أبطأ في التدريب مقارنةً بالتكديس لأن عددًا كبيرًا من المعلمات يمكن أن يؤثر أيضًا على سلوك النموذج.

تعتبر خوارزميات التعزيز مناسبة تمامًا لمشاريع الذكاء الاصطناعي في مجموعة كبيرة من الصناعات، تشمل ما يلي:

• الرعاية الصحية: يتم استخدام التعزيز لتقليل الأخطاء في تنبؤات البيانات الطبية، كالتنبؤ مثلًا بعوامل خطر أمراض القلب والأوعية الدموية ومعدلات بقاء مرضى السرطان على قيد الحياة. على سبيل المثال، البحثتُظهر الدراسة أن الأساليب التجميعية تعمل على تحسين الدقة بشكل كبير في تحديد المرضى الذين يمكن أن يحصلوا على فائدة من العلاج الوقائي لأمراض القلب والأوعية الدموية، مع تجنب العلاج غير الضروري للآخرين. وبالمثل، وجدت دراسة أخرى أن تطبيق التعزيز على منصات الجينوم المتعددة يمكن أن يحسن التنبؤ بوقت البقاء على قيد الحياة من السرطان.

• تكنولوجيا المعلومات: تُستخدم أشجار الانحدار التدريجي المعزَّزة في محركات البحث لترتيب الصفحات، بينما تُستخدم خوارزمية التعزيز Viola-Jones لاسترجاع الصور. كما لاحظ Cornell، تسمح المصنفات المعززة بإيقاف الحسابات في وقت أقرب عندما يكون من الواضح الطريقة التي يتجه بها التنبؤ. وهذا يعني أن محرك البحث يمكنه إيقاف تقييم الصفحات ذات التصنيف الأدنى، في حين أن ماسحات الصور الضوئية سوف تنظر فقط في الصور التي تحتوي بالفعل على الكائن المطلوب.
  
  
• التمويل: يتم استخدام التعزيز مع نماذج التعلم العميق لأتمتة المهام الحساسة، كاكتشاف الاحتيال وتحليل الأسعار وغير ذلك الكثير. على سبيل المثال، يعمل تعزيز الأساليب في الكشف عن الغش في بطاقات الائتمان وتحليل التسعير  تحسين دقة تحليل مجموعات البيانات الضخمة لتقليل الخسائر المالية.