ما هو انحدار لاسو (lasso)؟

يُعَد انحدار Lasso -المعروف أيضًا باسم التنظيم L1- هو شكل من أشكال التنظيم لنماذج الانحدار الخطي. يُعَد التنظيم أسلوبًا إحصائيًا يهدف إلى تقليل الأخطاء الناتجة عن الإفراط في التكيف مع بيانات التدريب. ويُمكن توضيح هذا النهج باستخدام الصيغة التالية:

w-hat = argmin_w MSE(W ) + ||w||₁

يمكن تتبُّع المفاهيم وراء تقنية لاسو (Lasso) إلى ورقة بحثية في الجيوفيزياء من عام 1986 (يؤدي الرابط إلى صفحة خارج موقع ibm.com) للباحثين Santosa وSymes¹، حيث استخدما جزاء L2 للمعاملات. ومع ذلك، في عام 1996، تمكَّن الإحصائي Robert Tibshirani من تطوير ونشر مصطلح لاسو (lasso) بشكل مستقل² (يؤدي الرابط إلى صفحة خارج موقع ibm.com)، بناءً على عمل Breiman في مجال الغاروت غير السالب ³(يؤدي الرابط إلى صفحة خارج موقع ibm.com).

يُشير مصطلح لاسو (lasso) إلى المشغل الأدنى للانكماش المطلق والاختيار، وهو تقنية تُستخدم بشكل متكرر في تعلم الآلة لمعالجة البيانات عالية الأبعاد لأنها تُسهل اختيار الميزات بشكل تلقائي من خلال تطبيقها، فالتقنية تقوم بذلك عن طريق إضافة عامل جزاء إلى مجموع المربعات المتبقية (RSS)، الذي يتم ضربه في معامل الضبط (لامدا [lambda] أو λ)، حيث يتحكم هذا المعامل في كمية الضبط المطبقة؛ فتزيد القيم الأكبر للامدا [lambda] من الجزاء، مما يؤدي إلى تقليل قيمة المعاملات نحو الصفر؛ وبالتالي يقلل من أهمية بعض الميزات (أو يلغيها تمامًا) من النموذج، مما يؤدي إلى اختيار تلقائي للميزات. وعلى العكس، فإن القيم الأصغر للامدا [lambda] تقلل من تأثير الجزاء، مما يحافظ على مزيد من الميزات داخل النموذج.

تُعزز هذه العقوبة خاصية التباعد في النموذج، ما يساهم في تجنب مشكلات التعدد الخطي وفرط التخصيص في البيانات. فالتعدد الخطي يحدث عندما تكون متغيرات مستقلة متعددة مترابطة بشكل كبير مع بعضها، ما يمكن أن يتسبب في حدوث مشكلة في النمذجة السببية. وبالتالي، النماذج التي تعاني من فرط التخصيص ستكون ضعيفة في تعميم النتائج على البيانات الجديدة، ما يقلل من قيمتها تمامًا. ومن خلال تقليل معاملات الانحدار إلى الصفر، يمكن لانحدار لاسو (lasso) أن يلغي المتغيرات المستقلة من النموذج بشكل فعَّال، متجنبًا هذه المشكلات المحتملة في عملية النمذجة، كما يمكن أن يُسهم التباعد في تحسين النموذج من قابلية تفسيره مقارنةً بتقنيات تنظيمية أخرى مثل انحدار ريدج (المعروف أيضًا بالتنظيم L2).

وكملاحظة، تركِّز هذه المقالة على ضبط نماذج الانحدار الخطي، ولكن يجدر بالذكر أن انحدار لاسو (lasso) قد يُطبق أيضًا في الانحدار اللوجستي.

المقايضة بين التحيز والتباين هي خاصية معروفة جيدًا للنماذج التنبؤية. وفي هذا السياق، التحيز يقيس متوسط الفرق بين القيم المتوقعة والقيم الحقيقية؛ بينما التباين يقيس الفرق بين التنبؤات في الإحداثات المختلفة في نموذج معين. فمع زيادة التحيز، يتنبأ النموذج بدقة أقل في مجموعة بيانات التدريب. ومع زيادة التباين، يتنبأ النموذج بدقة أقل في مجموعات البيانات الأخرى. وبالتالي فإن التحيز والتباين يقيسان دقة النموذج في مجموعات التدريب والاختبار على التوالي. فقد لا يكون من الممكن دائمًا تقليل كلٍ من التحيز والتباين في نفس الوقت–مما يؤدي إلى الحاجة إلى تقنيات الضبط، مثل انحدار لاسو (lasso).

في انحدار لاسو (lasso)، يقوم المعامل الفائق لامدا [lambda] (λ)، المعروف أيضًا باسم جزاء L1، بموازنة التحيز والتباين في المعاملات الناتجة. فمع زيادة λ، يزداد التحيز ويقل التباين، مما يؤدي إلى نموذج أبسط مع عدد أقل من المعلمات. وعلى العكس، مع انخفاض λ، يزداد التباين، مما يؤدي إلى نموذج أكثر تعقيدًا مع عدد أكبر من المعلمات. فإذا كان λ يساوي صفرًا، فإن النتيجة تكون وظيفة المربعات الصغرى العادية (OLS)–أي نموذج انحدار خطي قياسي بدون أي ضبط.

يُلخص هذا القسم كيفية تطبيق انحدار لاسو (lasso) ويُسلط الضوء على الحالات الشائعة لاستخدامه في علم البيانات.

قبل تطبيق خوارزمية الانحدار الخطي على مجموعة بياناتك، استكشف البيانات لفهم المشاكل المحتملة التي قد تكون موجودة. من المهم فهم ما إذا كان(ت):

• توجد بيانات مفقودة

• يوجد عدد كبير من الميزات

• توزيع المتغيرات المستمرة يتمحور حول المتوسط مع انحرافات معيارية مكافئة

• يوجد ارتباط بين أي من المتنبئين

من المهم فهم هذه الأمور حيث يمكن أن تكون مجموعات البيانات ذات الأبعاد العالية والمتغيرات المترابطة عرضة للإفراط في التخصيص. فالبيانات التي لا تكون متمركزة حول المتوسط بانحراف معياري قدره 1 ستحتاج أيضًا إلى إعادة قياس لتحديد تأثير المقاييس الكبيرة على النموذج. وإذا لم تتم إعادة قياس الميزات، فإن هذا يمكن أن يؤثر سلبًا على دالة التكلفة، مما يؤثر بدوره على معاملات بيتا. فببساطة، يمكن أن تؤدي الميزات غير المقاسة إلى تطبيق جزاءات غير مقصودة في انحدار لاسو (lasso) بسبب اختلاف الوحدات.

بمجرد أن نجري تحليلًا استكشافيًا للبيانات، سنقوم بتقسيم البيانات إلى مجموعة تدريبية ومجموعة اختبار. فبعد تقسيم البيانات، يتم تطبيق إعادة التحجيم على البيانات حسب الحاجة. يُعد التحجيم وفق درجة المعيار (Z-score) نهج شائع لإعادة تحجيم الميزات، حيث يتم إعادة تحجيم الميزات لتكون لها انحراف معياري قدره 1 ومتوسط قدره 0.

لَائِم نموذج انحدار لاسو (lasso) على بيانات التدريب واختر قيمة λ بهدف تقليل متوسط خطأ المربعات (MSE)، حيث يُمكن لمتوسط خطأ المربعات (MSE) أن يساعد في تحديد قيمة λ المناسبة، فمتوسط خطأ المربعات (MSE) هو وسيلة لقياس الفرق، في المتوسط، بين القيم المُتَنَبَّأ بها والقيم الحقيقية للمتغير التابع. ويُقلل انحدار لاسو (Lasso) من متوسط خطأ المربعات (MSE) مع موازنة العوامل المتعارضة للتحيز والتباين لبناء النموذج التنبؤي الأكثر دقة. ويتحقق ذلك عن طريق إضافة عامل جزاء إلى مجموع المربعات المتبقية (RSS) يساوي مجموع القيم المطلقة للمعاملات مضروبًا في معامل λ.

يمكن تحديد القيمة المثلى لـ λ باستخدام تقنيات التحقق المتقاطع، مثل التحقق المتقاطع باستخدام k-fold؛ حيث تعمل هذه الطريقة على إيجاد قيمة λ التي تقلل من متوسط مربع الخطأ أو مقاييس الأداء الأخرى.

كما ذُكر سابقًا، فإن قيمة λ الأعلى تطبّق ضبطًا أكبر. ومع زيادة λ، يزداد انحياز النموذج بينما يتناقص التباين. وذلك لأن مع زيادة قيمة λ، يتقلص عدد أكبر من معاملات 𝛽 إلى الصفر.

بشكل عام، قد نعرض بعض القيم لفهم أداء النموذج، خاصةً R² ومتوسط خطأ المربعات (MSE)، فيظهر لنا R² النسبة المئوية للتباين في المتغير التابع (أو المتغير الاستجابي) التي تفسرها المتغيرات المستقلة. وعند مقارنة قيم متوسط خطأ المربعات (MSE) بقيم مختلفة من λ، ستتمكن من معرفة ما إذا تم تحسين النموذج بشكل فعال للوصول إلى الحد الأدنى العام.

يُعد انحدار لاسو (lasso) مثاليًا للمشاكل التنبؤية؛ حيث أن قدرته على القيام بالاختيار التلقائي للمتغيرات يمكن أن يبسط النماذج ويعزز دقة التنبؤ. فمع ذلك، قد يتفوق انحدار ريدج على انحدار لاسو (lasso) بسبب مقدار التحيز الذي يقدمه انحدار لاسو (lasso) عن طريق تقليص المعاملات نحو الصفر، كما أن لديه حدوده وقيوده في التعامل مع الميزات المترابطة في البيانات حيث يختار ميزة بشكل عشوائي لإدراجها في النموذج.

قد يكون انحدار لاسو (lasso) مثاليًا في هذه السيناريوهات.

يُمكن لانحدار لاسو (lasso) التعامل مع بعض التعدد الخطي دون التأثير سلبًا على قابلية تفسير النموذج، لكن لا يمكنه التغلب على التعدد الخطي الشديد⁴. فإذا كانت المتغيرات المشتركة مترابطة بشكل كبير، فإن انحدار لاسو (lasso) سيقوم بحذف إحدى الميزات بشكل عشوائي من النموذج. لذا، يُعد ضبط الشبكة المرنة هو بديل جيد في هذه الحالة.

كلٍ من Python وR مستخدمين بشكل واسع في علم البيانات، حيث يتميز Python بمرونته وتمكنه من التعامل مع مجموعة واسعة من المهام. ومن ناحية أخرى، صُمم R خصيصًا للحوسبة الإحصائية وإنشاء عرض مصور للبيانات، بما في ذلك خيارات الرسوم البيانية الغنية للمخططات والرسوم البيانية.

يمكن تطبيق انحدار لاسو (lasso) في Python باستخدام مكتبات مثل sklearn (يؤدي الرابط إلى صفحة خارج موقع ibm.com) التي توفر الفئة (Lasso) لهذا الغرض. يُعَد R خيارًا ممتازًا حيث يمكن استخدام الحزمة glmnet للتحقق المتقاطع الفعَّال لاختيار λ ويوفر المرونة لتعيين α لقيم مختلفة، وكذلك يتميز R بقدراته التصويرية، التي تلعب دورًا حيويًا في فهم وتفسير نموذج انحدار لاسو (lasso).