تعزيز التدرج هو خوارزمية تعلم تجميعي تعمل على إنتاج تنبؤات دقيقة من خلال الجمع بين عدة شجرات قرار في نموذج واحد. وهذا النهج الخوارزمي للنمذجة التنبؤية، الذي قدمه أول مرة Jerome Friedman، يستخدم النماذج الأساسية للبناء على نقاط قوتها وتصحيح الأخطاء وتحسين القدرات التنبؤية. فمن خلال التقاط الأنماط المعقدة في البيانات، يتفوق تعزيز التدرج في مهام النمذجة التنبؤية المتنوعة والمتباينة.1
الرسالة الإخبارية الخاصة بالمجال
احصل على رؤى منسقة حول أهم أخبار الذكاء الاصطناعي وأكثرها إثارةً للاهتمام. اشترِك في خدمة رسائل Think الإخبارية الأسبوعية. راجع بيان الخصوصية لشركة IBM.
سيتم تسليم اشتراكك باللغة الإنجليزية. ستجد رابط إلغاء الاشتراك في كل رسالة إخبارية. يمكنك إدارة اشتراكاتك أو إلغاء اشتراكك هنا. راجع بيان خصوصية IBM لمزيد من المعلومات.
التعلم التجميعي هو نهج تعلم آلي يجمع بين نماذج متعددة أو طرق متعددة لتعزيز الأداء التنبؤي. وغالبًا ما يتم استخدام أساليب مثل التعبئة والتعزيز. حيث تتضمن التعبئة تدريب العديد من النماذج على مجموعات بيانات فرعية مختلفة بشيء من العشوائية، مما يساعد على تقليل التباين عن طريق حساب متوسط الأخطاء الفردية. ومن الأمثلة الرائعة على هذا النهج الغابات العشوائية.
في المقابل، نجد أن التعزيز أسلوب تجميعي يعتمد على التدريب المتكرر للنماذج لتصحيح الأخطاء السابقة. فهو يعطي وزنًا أكبر للحالات التي تم تصنيفها بشكل غير صحيح في النماذج اللاحقة، مما يسمح له بالتركيز على نقاط البيانات الصعبة ويعزز الأداء العام في نهاية المطاف. AdaBoost، هذه الخوارزمية توضيح كلاسيكي لهذه الطريقة، وتعتبر على نطاق واسع أول خوارزمية تعزيز قابلة للتطبيق. حيث تعمل التعبئة والتعزيز على تحسين الموازنة بين التباين والتحيز في النماذج، مما يؤدي إلى أداء أكثر قوة. 2
تُستخدم هذه الأساليب على نطاق واسع في التعلّم الآلي لتحسين دقة النموذج، خاصةً عند التعامل مع مجموعات بيانات معقدة أو كثيرة التشويش. ومن خلال الجمع بين طرق معالجة متعددة، يوفر التعلم التجميعي طريقة للتغلب على قيود النماذج الفردية وتحقيق تحسين محسن. 3
تعزيز التدرج هو أسلوب تعلم آلي يجمع بين نماذج تنبؤ ضعيفة متعددة في تجميع واحد. وعادةً ما تكون هذه النماذج الضعيفة عبارة عن شجرة القرار، يتم تدريبها بالتتابع لتقليل الأخطاء وتحسين الدقة. فمن خلال الجمع بين العديد من مُحدِّدات شجرة القرار أو مصنِّفات شجرة القرار، يمكن لتعزيز التدرج أن يلتقط العلاقات المعقدة بين السمات بشكل فعال.
السمة الرئيسية لتعزيز التدرج هو قدرته على تقليل دالة الخسارة بشكل متكرر، مما يؤدي إلى تحسين دقة التنبؤ. ومع ذلك، يجب على المرء الحذر من الإفراط في التجهيز، والذي يحدث عندما يصبح النموذج متخصصًا جدًا في بيانات التدريب ويفشل في التعميم جيدًا على الحالات الجديدة. لتخفيف هذا الخطر، يجب على الممارسين ضبط المعلمات الفائقة بعناية، ومراقبة أداء النموذج أثناء التدريب واستخدام تقنيات مثل التنظيم أو التهذيب أو التوقف المبكر. من خلال فهم هذه التحديات واتخاذ خطوات لمعالجتها، يمكن للممارسين تسخير قوة تعزيز التدرج بنجاح - بما في ذلك استخدام أشجار الانحدار - لتطوير نماذج تنبؤ دقيقة وقوية لمختلف التطبيقات. 4,5
متوسط الخطأ التربيعي (MSE) هو إحدى دوال الخسارة المستخدمة لتقييم مدى تطابق تنبؤات نموذج التعلم الآلي مع البيانات الفعلية. حيث يقوم متوسط الخطأ التربيعي (MSE) بحساب متوسط الفروق التربيعية بين القيم المتوقعة والملاحظة. فيما يلي معادلة متوسط الخطأ التربيعي (MSE): حيث تقدم القيمة الفعلية، هي القيمة المتوقعة، و هو عدد الملاحظات.
بالتوسع أكثر قليلًا، يقيس MSE الفرق بين القيم المتوقعة والقيم الفعلية الممثلة في مجموعة البيانات لمشاكل الانحدار. تساعد خطوة التربيع على ضمان أن تساهم الأخطاء الإيجابية والسلبية في القيمة النهائية دون إلغاء بعضها البعض. تعطي هذه الطريقة وزنًا أكبر للأخطاء الأكبر، حيث يتم تربيع الأخطاء.
لتفسير متوسط الخطأ التربيعي (MSE)، تشير القيمة المنخفضة بشكل عام إلى توافق أفضل بين التنبؤات والملاحظات. ومع ذلك، من الصعب تحقيق معدل متوسط خطأ تربيعي (MSE) أقل في سيناريوهات العالم الحقيقي بسبب العشوائية المتأصلة، الموجودة ليس فقط في مجموعة البيانات بل في المجتمع الإحصائي كذلك. وبدلًا من ذلك، تساعد مقارنة قيم متوسط الخطأ التربيعي (MSE) مع مرور الوقت أو عبر نماذج مختلفة على تحديد التحسينات في الدقة التنبؤية. ومن المهم أيضًا ملاحظة أن استهداف متوسط الخطأ التربيعي (MSE) على وجه التحديد من الصفر يدل دائمًا على الإفراط في التجهيز. 6
تتضمن بعض التطبيقات الشائعة لطرق التعزيز داخل Python Extreme Gradient Boosting (XGBoost) وآلة تعزيز التدرج الخفيف (LightGBM). تم تصميم XGBoost للسرعة والأداء ويُستخدَم لمشاكل الانحدار والتصنيف. استخدم LightGBM خوارزميات التعلم المستندة إلى الشجرة وهو مناسب لمعالجة البيانات على نطاق واسع. تعمل كلتا الطريقتين على زيادة الدقة، خاصة عند التعامل مع مجموعات البيانات المعقدة أو الصاخبة. يستخدم LightGBM تقنية تسمى أخذ العينات أحادية الجانب المستندة إلى التدرج (GOSS) لتصفية مثيلات البيانات للعثور على نقاط الانقسام، مما يقلل بشكل كبير من النفقات الحسابية. دمج تقنيات التعلم التجميعي المتعددة، وإزالة قيود النماذج الفردية وتحقيق نتائج متفوقة في سيناريوهات علم البيانات.7,8
فيما يلي تقسيم تفصيلي لكيفية عمل عملية تعزيز التدرج.
التهيئة: تبدأ باستخدام مجموعة تدريب لإنشاء أساس مع نموذج تعلم أساسي، والذي غالبًا يكون نموذج شجرة قرار، يتم إنشاء تنبؤاته الأولية عشوائيًا. وعادة لا تحتوي شجرة القرار إلا على عدد قليل من العُقد أو العقدة. وغالبًا يتم اختيارها بسبب قابليتها للتفسير، حيث تعمل نماذج التعلم الضعيفة أو الأساسية هذه كنقطة بدء مثالية. وهكذا يمهد هذا الإعداد الأولي الطريق أمام التكرارات اللاحقة للبناء عليها.
حساب المتبقيات: لكل مثال تدريب، احسب الخطأ المتبقي عن طريق طرح القيمة المتوقعة من القيمة الفعلية. حيث تحدد هذه الخطوة المجالات التي تحتاج فيها تنبؤات النموذج إلى تحسين.
التنقيح مع التنظيم: بعد حساب المتبقي وقبل تدريب نموذج جديد، تتم عملية التنظيم. حيث تتضمن هذه المرحلة تخفيض حجم تأثير كل نموذج تعلم ضعيف جديد يُدمج في المجموعة التجميعية. ومن خلال معايرة هذا المقياس بعناية، يمكن للمرء التحكم في مدى سرعة تقدم خوارزمية التعزيز، وبالتالي تجنب الإفراط في التجهيز وتحسين الأداء بشكل عام.
تدريب النموذج التالي: استخدم الأخطاء المتبقية المحسوبة في الخطوة السابقة كقيم مستهدفة، ودرّب نموذجًا جديدًا أو نموذج تعلم ضعيفًا للتنبؤ بها بدقة. وينصب تركيز هذه الخطوة على تصحيح الأخطاء التي وقعت فيها النماذج السابقة، وتحسين التنبؤ العام.
تحديثات المجموعة: في هذه المرحلة، عادةً ما يتم تقييم أداء المجموعة المُحدّثة (بما في ذلك النموذج المُدرّب حديثًا) باستخدام مجموعة اختبار منفصلة. وفي حال كان الأداء على مجموعة البيانات المعلقة هذه جيدًا ومُرضيًا، يمكن تحديث المجموعة من خلال دمج نموذج التعلم الضعيف الجديد؛ وإلا فقد يكون من الضروري إجراء تعديلات على المعلمات الفائقة.
التكرار: كرر الخطوات المقدمة مسبقًا حسب الضرورة. حيث يعتمد كل تكرار على النموذج الأساسي ويصقله من خلال تدريب الأشجار الجديدة، مما يزيد من تحسين دقة النموذج. فإذا كان تحديث المجموعة والنموذج النهائي مُرضيًا مقارنةً بالنموذج الأساسي بناءً على الدقة، فانتقل إلى الخطوات التالية.
معايير الإيقاف: أوقف عملية التعزيز عند استيفاء معيار إيقاف محدد مسبقًا، مثل الوصول إلى الحد الأقصى لعدد التكرارات أو دقة الهدف أو عندما لا ينتج إلا تحسن ضئيل جدًا. تساعد هذه الخطوة على ضمان أن التنبؤ النهائي للنموذج يحقق التوازن المتوقع بين التعقيد والأداء.
يمكن أن يؤدي الجمع بين تعزيز التدرج مع خوارزميات التعلم الآلي الأخرى من خلال طرق التجميع أو التكديس إلى تحسين الدقة التنبؤية. على سبيل المثال، يمكن أن يؤدي مزج تعزيز التدرج مع آلات ناقلات الدعم (SVMs) أو الغابات العشوائية أو أقرب جيران (KNN) إلى الاستفادة من نقاط القوة في كل نموذج وإنشاء مجموعة أكثر قوة. يتضمن التكديس تدريب العديد من المتعلمين الأساسيين واستخدام إنتاجهم كإدخال لنموذج تعلم ميتا، والذي يجمع بين التنبؤات لتوليد المخرجات النهائية. 9
تساعد مراقبة أداء النموذج أثناء التدريب وتنفيذ تقنيات الإيقاف المبكر على تجنب إفراط التجهيز عن طريق إيقاف عملية التعزيز بمجرد أن يتوقف الأداء في مجموعة التحقق عن التحسن أو يبدأ في التدهور. بالإضافة إلى ذلك، فإن استخدام استراتيجيات التحقق المتقاطع، مثل التحقق المتقاطع K-Fold، يوفر تقديرات موثوقًا بها بشكل أكبر للأداء وضبط المعلمات الفائقة، مما يزيد من تعزيز القدرات التنبؤية لتعزيز التدرج.
يعد تعزيز التدرج حساسًا لاختلال توازن الفئات، مما قد يؤدي إلى تنبؤات متحيزة لصالح فئة الأغلبية. لمعالجة هذه المشكلة، يمكن للممارسين توظيف أساليب مثل الإفراط في معاينة فئة الأقلية، أو النقص في معاينة فئة الأغلبية، أو استخدام دوال خسارة مُرجَّحة تُسند عقوبات أعلى للأخطاء في تصنيف حالات الأقلية.
ومن خلال تنفيذ هذه الإستراتيجيات والضبط الدقيق للمعلمات الفائقة، يمكن للممارسين تعزيز الدقة التنبؤية لتعزيز التدرج ومتانته بشكل كبير في مختلف التطبيقات، بدءًا من تحليل البيانات عالية الأبعاد إلى مهام المراقبة البيئية المعقدة.
يقدم GradientBoostingClassifier وGradientBoostingRegressor في مكتبة scikit-learn نهجًا متعدد الاستخدامات لتنفيذ خوارزمية تعزيز التدرج، وتلبية مهام التصنيف والانحدار. فمن خلال السماح للمستخدمين بإجراء الضبط الدقيق للعديد من المعلمات، تتيح هذه التنفيذات تخصيص عملية التعزيز وفقًا للمتطلبات وخصائص البيانات المحددة.
عمق الشجرة (max_depth): يتحكم في الحد الأقصى لعمق شجرة القرار ويجب ضبطه للحصول على الأداء. حيث يمكن للأشجار العميقة التقاط علاقات أكثر تعقيدًا لكنها أيضًا عرضة للإفراط في التجهيز.
معدل التعلم (learning_rate): يحدد مساهمة كل شجرة في المجموعة الشاملة. يعمل معدل التعلم الأصغر على إبطاء التقارب ويقلل من خطر الإفراط في التجهيز، في حين أن القيمة الأكبر قد تؤدي إلى تدريب أسرع على حساب الإفراط المحتمل.
عدد الأشجار (n_estimators): يحدد العدد الإجمالي للأشجار في المجموعة. يمكن أن تؤدي زيادة هذه المعلمة إلى تحسين الأداء ولكنها تزيد أيضًا من خطر الإفراط في التجهيز.
بالإضافة إلى ذلك، توفر تنفيذات تعزيز التدرج الخاصة بـ scikit-learn تقديرات خارج الحقيبة (OOB)، وهي تقنية لتقييم أداء النموذج دون الحاجة إلى مجموعات بيانات تحقق منفصلة. علاوة على ذلك، تتيح طرق التنبؤ المرحلية في scikit-learn التنبؤات المتزايدة مع توفر بيانات جديدة، مما يجعل المعالجة في الوقت الفعلي ممكنة وفعالة. باختصار، توفر تطبيقات تعزيز التدرّج في برنامج scikit-learn مجموعة غنية من السمات لضبط النماذج وفقًا للاحتياجات الخاصة وخصائص مجموعة البيانات، مما يعزز في النهاية الأداء التنبؤي المتفوق. 10
التعامل مع البيانات الطبية عالية الأبعاد: إن تعزيز التدرج قادر على التعامل بفعالية مع مجموعات البيانات التي تحتوي على العديد من السمات بالنسبة لعدد الملاحظات. على سبيل المثال، في التشخيص الطبي، يمكن استخدام التعزيز المتدرج لتشخيص الأمراض بناءً على بيانات المريض، والتي قد تحتوي على أكثر من 100 سمة. من خلال الاستفادة من شجرة القرار كنماذج تعلم ضعيفة، قد تكون الخوارزمية قادرة على إدارة الأبعاد العالية، حيث قد تواجه نماذج الانحدار الخطي التقليدية صعوبة في ذلك. وقد تستخرج الخوارزمية أيضًا معلومات قيّمة من البيانات المتناثرة، مما يجعلها مناسبة لتطبيقات معينة كما في مجال المعلوماتية الحيوية مثلًا أو مشاكل تصنيف النصوص. 11،12
تقليل معدلات تخلي العملاء عن الخدمة: عندما يكون هناك نموذج موجود بالفعل لكن الأداء دون المستوى الأمثل، يمكن استخدام تعزيز التدرج لتحسين التنبؤات بشكل متكرر من خلال تصحيح الأخطاء السابقة. أحد الأمثلة على ذلك هو التنبؤ بتسرب العملاء في مجال الاتصالات السلكية واللاسلكية وتخليهم عن الخدمة، حيث تم استخدام نموذج انحدار لوجستي تقليدي. حيث يمكن للشركة تطبيق خوارزميات تعزيز التدرج لتحديد العوامل الرئيسية التي تسهم في عزوف العملاء وتخليهم عن الخدمة وانتقالهم إلى خدمة أخرى، مثل ارتفاع حجم المكالمات أو ضعف أداء الشبكة. ومن خلال دمج هذه العوامل في النموذج، قد يصبح قادرًا على تحسين الدقة وتقليل معدلات التخلي عن الخدمة. 13
التنبؤ ببقاء أشجار الزان على قيد الحياة: في النظام البنائي للغابات، يشكل مرض تبقُّع أوراق الزان تهديدًا كبيرًا لسلامة أشجار الزان. فمن الممكن أن يطور الباحثون نموذجًا تنبؤيًا لتحديد الأشجار المعرضة لخطر الإصابة بمرض تبقُّع أوراق الزان والتنبؤ باحتمالية بقائها على قيد الحياة. وقد يمكن تطوير نموذج تعلم آلي يمكنه تحليل العوامل البيئية مثل البيانات المناخية وجودة التربة وخصائص الأشجار لحساب احتمالية بقاء شجرة الزان على قيد الحياة لمدة 5 سنوات. وباستخدام أساليب تعزيز التدرج، من الممكن التقاط أنماط معقدة قد يتم تجاهلها لو استخدمنا طرقًا أبسط. يمكن للنموذج أن يحدد الأشجار المعرضة لخطر الإصابة بمرض تبقُّع أوراق الزان بدقة عالية ويتنبأ بدقة بمدى تعرضها لخطر الإصابة بهذا المرض؛ مما يمكِّن الباحثين من تحديد أولويات التدخلات وحماية أشجار الزان المعرضة للخطر، بكفاءة وفاعلية. توضح حالة الاستخدام هذه كيف يمكن لتعزيز التدرج أن يعزز القدرة التنبؤية لنماذج التعلم الآلي في مهام المراقبة البيئية المعقدة. 14
تدريب الذكاء الاصطناعي التوليدي والتحقق من صحته وضبطه ونشره، وكذلك قدرات نماذج الأساس والتعلم الآلي باستخدام IBM watsonx.ai، وهو استوديو الجيل التالي من المؤسسات لمنشئي الذكاء الاصطناعي. أنشئ تطبيقات الذكاء الاصطناعي بسرعة أكبر وببيانات أقل.
استفد من الذكاء الاصطناعي في عملك بالاستعانة بخبرة IBM الرائدة في مجال الذكاء الاصطناعي ومحفظة حلولها المتوفرة لك.
أعدّ ابتكار عمليات ومهام سير العمل الحساسة بإضافة الذكاء الاصطناعي لتعزيز التجارب وصنع القرارات في الوقت الفعلي والقيمة التجارية.
1 Friedman, Jerome H. “Greedy Function Approximation: A Gradient Boosting Machine.” The Annals of Statistics 29, no. 5 (2001): 1189–1232. http://www.jstor.org/stable/2699986.
2 Schapire, R.E. (2013). Explaining AdaBoost. In: Schölkopf, B., Luo, Z., Vovk, V. (eds) Empirical Inference. Springer, Berlin, Heidelberg. https://link.springer.com/chapter/10.1007/978-3-642-41136-6_5
3 Fan, Wenjie, et al. "A Survey of Ensemble Learning: Recent Trends and Future Directions." arXiv preprint arXiv:2501.04871 (2025).
4 Matsubara, Takuo. “Wasserstein Gradient Boosting: A Framework for Distribution- Valued Supervised Learning.” arXiv.org, August 29, 2024. https://search.arxiv.org/paper.jsp?r=2405.09536&qid=1743170618344ler_nCn N_-2014411830&qs=gradient%2Bboosting.
5 Emami, Seyedsaman, and Gonzalo Martínez-Muñoz. 2023. “Sequential Training of Neural Networks with Gradient Boosting.” IEEE Access 11 (January): 42738–50. https://ieeexplore.ieee.org/document/10110967
6 Chen, Tianqi, et al. "Mean Squared Error." Encyclopedia Britannica, 2023. https://www.britannica.com/science/mean-squared-error.
7 XGBoost Developers. "XGBoost: A Scalable Tree Boosting System." GitHub, 2021. https://github.com/dmlc/xgboost/blob/master/README.md .
8 LightGBM Documentation Team. "LightGBM." 2021. https://lightgbm.readthedocs.io/en/stable/ .
9 Konstantinov, Andrei V., and Lev V. Utkin. “A Generalized Stacking for Implementing Ensembles of Gradient Boosting Machines.” In Studies in Systems, Decision and Control, 3–16, 2021. https://link.springer.com/chapter/10.1007/978-3-030-67892-0_1.
10 Documentation of Scikit-Learn “Scikit-Learn” 2007 https://scikit-learn.org/0.21/documentation.html
11. Lecun, Yann, et al. "Gradient-Based Learning Applied to Document Recognition." Proceedings of the IEEE 86, no. 11 (2007): 2278-2324. doi: 10.1109/PROC.2007.898639
12 Zhang, Zhongheng, Yiming Zhao, Aran Canes, Dan Steinberg, and Olga Lyashevska. 2019. “Predictive Analytics with Gradient Boosting in Clinical Medicine.” Annals of Translational Medicine 7 (7): 152–52. https://atm.amegroups.org/article/view/24543/23475.
13 Al Shourbaji, Ibrahim, Na Helian, Yi Sun, Abdelazim G. Hussien, Laith Abualigah, and Bushra Elnaim. 2023. “An Efficient Churn Prediction Model Using Gradient Boosting Machine and Metaheuristic Optimization.” Scientific Reports 13 (1): 14441. https://www.nature.com/articles/s41598-023-41093-6.
14 Manley, William, Tam Tran, Melissa Prusinski, and Dustin Brisson. “Modeling Tick Populations: An Ecological Test Case for Gradient Boosted Trees.” bioRxiv : the preprint server for biology, November 29, 2023. https://pmc.ncbi.nlm.nih.gov/articles/PMC10054924/#:~:text=The%20rapidly%20expanding%20environmental%20data,development%20of%20public%20health%20strategies.