الانحدار اللوجستي هو خوارزمية تعلم آلي خاضعة للإشراف في علم البيانات. فهي نوع من خوارزميات التصنيف التي تتنبأ بنتيجة منفصلة أو فئوية. على سبيل المثال، يمكننا استخدام نموذج تصنيف لتحديد ما إذا كان القرض قد تمت الموافقة عليه أم لا بناء على تنبؤات مثل مبلغ الادخار والدخل ودرجة الائتمان.
في هذه المقالة، سنتعمق في جانب الرياضيات التي قامت عليها خوارزمية الانحدار اللوجستي، وهي إحدى خوارزميات التصنيف الأكثر استخدامًا في التعلم الآلي والذكاء الاصطناعي. وسنتناول أيضًا تفاصيل تحليل الانحدار وحالات الاستخدام المتنوعة ومختلف أنواع الانحدارات اللوجستية. في عصر الذكاء الاصطناعي التوليدي، لا تزال الأسس التي تدعم الانحدار اللوجستي تلعب دورًا مهما في تنسيق نماذج الشبكات العصبية المعقدة. كما لا يزال الانحدار اللوجستي وثيق الصلة جدًا في إجراء الاختبارات الإحصائية في سياق أبحاث العلوم السلوكية والاجتماعية، ومجال علم البيانات بشكل عام. كما يمكننا تنفيذ الانحدار اللوجستي بسهولة باستخدام وحدة scikit-learn في لغة Python.
في هذه المقالة التوضيحية، نقدم لك الفرق بين الانحدار الخطي والانحدار اللوجستي، والأسس الرياضية التي قام عليها الانحدار اللوجستي وأنواع الانحدارات اللوجستية المختلفة وحالات الاستخدام المرتبطة به.
الانحدار اللوجستي، مثل الانحدار الخطي، يعد نوعًا من النماذج الخطية التي تدرس العلاقة بين المتغيرات التنبؤية (المتغيرات المستقلة) ومتغير الإخراج (الاستجابة أو الهدف أو المتغير التابع). والفرق الرئيسي هو أن الانحدار الخطي يُستخدم عندما يكون الناتج قيمة مستمرة، مثل التنبؤ بمستوى الجدارة الائتمانية ودرجة ائتمان الشخص. ويتم استخدام الانحدار اللوجستي عندما تكون النتيجة قاطعة، مثلًا هل تمت الموافقة على القرض أم لا.
في الانحدار اللوجستي، يتنبأ النموذج باحتمالية حدوث نتيجة محددة. على سبيل المثال، بالنظر إلى الملف المالي لشخص ما، قد نتوقع احتمال الموافقة على قرضه. ناتج النموذج هو قيمة بين 0 و1. وبناء على قيمة العتبة - والتي غالبًا ما تكون 0.5 - نقوم بتصنيف النتيجة على أنها إما "معتمدة" أو "غير معتمدة". فبدلًا من رسم خط مستقيم عبر البيانات كما نفعل في الانحدار، فإن الانحدار اللوجستي يطابق ويناسب منحنى على شكل حرف S لربط قيم المدخلات باحتمالية ما.
وكل من الانحدار الخطي واللوجستي يستخدم الاختبارات الإحصائية لتقييم المتغيرات المتنبئة التي تؤثر بشكل هادف على المخرجات. في أساليب مثل اختبار t وتحليل التباين (ANOVA) (أو اختبارات نسبة الاحتمالية للانحدار اللوجستي) يتم توليد قيم p لكل معامل، مما يساعدنا على تقييم ما إذا كانت العلاقة ذات دلالة إحصائية أم لا. تشير القيمة المنخفضة (عادة أقل من 0.05) إلى أن المتغير يسهم بشكل هادف في النموذج. ونقوم أيضًا بتقييم جودة الملاءمة؛ أي مدى جودة النموذج في تفسير النتائج المرصودة، باستخدام مقاييس مختلفة اعتمادًا على نوع الانحدار.
أثناء بناء النماذج، من المهم الحماية من الإفراط في التجهيز، حيث يلتقط النموذج التشويش في بيانات التدريب ويعمل بشكل غير جيد على البيانات المستجدة. ويزداد هذا الخطر عندما يكون لدينا العديد من المتغيرات المتنبئة لكن حجم العينة صغير. لمعالجة هذه المشكلة، يمكننا تطبيق التنظيم، وهي طريقة تقلل من تأثير المتغيرات الأقل أهمية عن طريق تقليص معاملاتها. كما يجب الانتباه أيضًا وبعناية للقيم الخارجية لأنها قد تشوه النموذج وتؤدي إلى p-قيم أو معاملات مضللة. من الناحية العملية، نقوم بتحسين النماذج من خلال تكرارات متعددة لاختيار السمات واختبارها وتحسينها.
للمقارنة بين النموذجين بشكل أكثر تحديدًا، ضع في اعتبارك سيناريو الانحدار الخطي حيث نريد التنبؤ بدرجة ائتمان شخص ما، استنادًا إلى سمات مثل مدخراته الحالية. يمكننا أن نمثل ذلك على النحو التالي:
مثل الانحدار الخطي، يعد الانحدار اللوجستي نوعًا من النماذج الخطية التي تندرج تحت عائلة النماذج الخطية المُعمَّمة (GLM). وكما في المثال السابق، إذا أردنا تمثيل احتمال الموافقة أو عدم الموافقة، فإننا نطبق الدالة الخطية.
ولأن الدالة الخطية تفترض علاقة خطية، مع تغير قيم X، فمن الممكن أن تأخذ Y قيمة من (inf- أو inf). الاحتمالات، كما نعلم، تقتصر على [0،1]. وباستخدام مبدأ النموذج الخطي هذا، لا يمكننا نمذجة احتمالات النتيجة الثنائية بشكل مباشر. بل بدلًا من ذلك، نحتاج إلى نموذج لوجستي لفهم الاحتمالات. لذا نريد تطبيق التحول على الإدخال حتى يمكن حصر النتيجة. يُعرف هذا التحول باسم معادلة الانحدار اللوجستي. وقد تبدو هذه المعادلة معقدة، لكننا سنقسمها خطوة بخطوة وكيف يتم اشتقاقها في القسم التالي.
يسمح لنا التحول السيني "سيجمويد" بإجراء تنبؤ ثنائي لحالة الاستخدام السابقة. فبعد تطبيق التحول، يمكن أن تأخذ قيمة (inf- أو inf) وستقتصر y على [0،1]
لفهم دالة الانحدار اللوجستي (أو الدالة السينية "سيجمويد"، نحتاج إلى أساس متين للمفاهيم التالية:
يُعرَف لوغاريتم النسبة بين الاحتمالات باسم دالة اللوغاريتم، ويشكل أساس الانحدار اللوجستي.
وحيث إننا لا نستطيع نمذجة الاحتمالات مباشرة باستخدام دالة خطية؛لأن الاحتمالات مقيدة بين 0 و1 - فإننا نعمل بدلًا من ذلك مع الأرجحية. وفي حين أن كلًّا من الاحتمالية والأرجحية تمثلان احتمالية النتيجة، إلا إنهما يختلفان في التعريف:
تقيس الاحتمالية فرصة وقوع حدث ما من بين جميع النتائج المحتملة.
تقارن الأرجحية بين فرصة وقوع حدث ما وفرصة عدم وقوعه.
لنفترض أن p(x) يمثل احتمالية حدوث نتيجة ما. حينئذٍ، يتم تعريف أرجحية x على النحو التالي:
لنأخذ مثالًا ملموسًا:
لنفترض أن سلة ما تحتوي على 3 تفاحات و5 برتقالات.
- احتمالية التقاط برتقالة واحدة هي 5/(3+5) = 0.625
- أرجحية التقاط برتقالة واحدة هي 5/3 ≈ 1.667
وهذا يعني أن احتمالية التقاط البرتقال أكبر بنحو 1.667 مرة من احتمالية التقاط تفاحة واحدة. وعلى العكس، فإن أرجحية التقاط تفاحة هي 3/5 = 0.6، وهو أقل من 1، مما يشير إلى أن النتيجة (التقاط تفاحة) أقل احتمالًا. باتباع معادلة الاحتمالات، يمكننا أيضًا تخيل الأرجحية على أنها احتمال حدوث النتيجة على 1 - احتمال حدوث النتيجة. لذلك، فإن احتمالات التقاط برتقالة واحدة هي = P(oranges)/(1-P(oranges))=0.625/(1-0.625)≈1.667
يمكن أن تتراوح الأرجحية من 0 إلى ما لا نهاية. قيمة الأرجحية الأكبر من 1 تشير إلى نتيجة إيجابية، والأقل من 1 تشير إلى نتيجة غير مواتية، أما حين تساوي 1 فهذا يعني أن احتمال وقوع الحدث مساوٍ لاحتمال عدم وقوعه.
ومع ذلك، فإن الأرجحية ليست متساوية الأطراف حول الرقم 1. على سبيل المثال، تمثل قيمتا الأرجحية 2 و0.5 "أكثر ترجيحًا بمرتين" و"أقل ترجيحًا بالنصف"، لكنهما تقعان على مقاييس رقمية مختلفة جدًا. لمعالجة عدم التوازن هذا، نأخذ لوغاريتم الأرجحية، الذي يحوّل مقياس الأرجحية [0, ∞) غير المحدود إلى خط الأعداد الحقيقية (−∞, ∞). ويعرف هذا باسم لوغاريتم الأرجحية، أو logit، وهو الأساس الذي يقوم عليه نموذج الانحدار اللوجستي.
نستطيع تعريف لوغاريتم الأرجحية على النحو التالي:
يسمح لنا هذا التحول بالتعبير عن لوغاريتم الأرجحية على شكل دالة خطية من الإدخال:
يمكننا بعد ذلك توسيع كلا الجانبين للعودة إلى الأرجحية:
حل نحصل على الدالة السينية "سيجمويد"، والتي تساعد على ضمان بقاء القيمة المتوقعة بين 0 و1:
هذا التحول يسمح للانحدار بإخراج احتمالات صحيحة، رغم أننا ننمذجها باستخدام دالة خطية بشكل ضمني غير ظاهر.
وأخيرًا، نطرح الآن مقدمة تعريفية بنسبة الأرجحية، وهو مفهوم يساعد على تفسير تأثير معاملات النموذج. تخبرنا نسبة الأرجحية بكيفية تغير الأرجحية عندما تزداد قيمة المتغير المُدخل x1 بوحدة واحدة.
لنفترض أن أرجحية الحدث هي:
فإذا ما زدنا x1 بمقدار وحدة واحدة، تصبح الأرجحية الجديدة:
وهذا يعني أنه مقابل كل زيادة بمقدار وحدة واحدة في x1، يتم ضرب الأرجحية في eb1 . هذا المضاعف هو نسبة الأرجحية.
- إذا كان b1>1، فإن الأرجحية تزداد (يصبح الحدث أكثر ترجيحًا)
- إذا كان b1<1، فإن الأرجحية تنخفض (تصبح الأحداث أقل ترجيحًا)
- إذا كان b1=1، فإن نسبة الاحتمالات تساوي 0، مما يعني أن الإدخال ليس له تأثير على الأرجحية
إذن نسبة الأرجحية تمنح الانحدار قابلية لتفسيره، فهي تخبرك كيف تتغير أرجحية وقوع حدث ما بناءً على الإدخال، وهو أمر مفيد في العديد من الإعدادات التطبيقية كالرعاية الصحية مثلًا والتسويق والتمويل. ومع ذلك، لا يمكننا تفسير المعاملات بنفس الطريقة التي نفسر بها معاملات الانحدار الخطي. في القسم التالي، نلقي نظرة فاحصة على كيفية تحديد المعاملات وتفسيرها.
من خلال ما تمت مناقشته، تذكَّر ما يلي: في الانحدار الخطي، تكون المعاملات سهلة التفسير. خذ مثالًا على انحدار بمتغيرات مستمرة: لزيادة وحدة واحدة في السمة في المدخلات تؤدي إلى زيادة وحدة b1 في النتيجة المتوقعة. فهذه العلاقة المباشرة تؤتي النتيجة المرجوة لأن الانحدار يفترض معدل تغير ثابتًا بين السمات المدخلة والهدف. ومخرجاته غير محدودة وتنمو خطيًا.
ومع ذلك، فإن الانحدار اللوجستي لا يقوم بنمذجة y بشكل مباشر - بل يقوم بنمذجة احتمالية y من خلال لوغاريتم الأرجحية. ولهذا السبب، لا يمكننا القول إن زيادة بمقدار وحدة واحدة في x تؤدي إلى نتائج تغير ثابت في الوحدة في y. بل بدلًا من ذلك، نفسر المعامل من حيث تأثيره على لوغاريتم الأرجحية، وبالتالي على الأرجحية واحتمالية النتائج.
وبشكل أكثر تحديدًا، في الانحدار اللوجستي:
الأهم من ذلك كله، أن حجم المعامل يعكس مدى قوة هذا التأثير، وتخبرنا نسبة الأرجحية (وهي الأسّية للمعامل) تخبرنا بمدى تغير الاحتمالات في حالة زيادة وحدة واحدة في المتغير.
تمامًا مثل خوارزميات التعلم الآلي الأخرى، يمكننا دمج المتغيرات الفئوية لعمل تنبؤات للانحدار اللوجستي. فعند العمل مع المتغيرات الفئوية أو المنفصلة، غالبًا ما نستخدم أساليب هندسة السمات مثل الترميز الأحادي أو المتغيرات الصورية لتحويلها إلى تنسيق ثنائي يمكن للنموذج استخدامه.
على سبيل المثال، باستخدام نفس المفهوم من وقت سابق، لنفترض أننا نريد التنبؤ بما إذا كان الشخص قد تمت الموافقة له للحصول على قرض ( للموافقة عليه، (لعدم الموافقة عليه) بناءً على ما إذا كان لا تزال عليه ديون قائمة لم تُسدد بعد:
- لنفترض أن يعني أنه ليس عليه ديون قائمة
- لنفترض أن يعني أن عليه ديون قائمة
لوغاريتم الأرجحية لـ سيكون
المعامل ، ثم يمثل التغيير في لوغاريتم الأرجحية للموافقة عليه عندما يكون لدى الشخص ديون قائمة، مقارنة بشخص ليست عليه ديون.
لجعل هذا الأمر أكثر قابلية للتفسير، يمكننا رفع b1 أُسيًا للحصول على نسبة الأرجحية:
لذا، على الرغم من أننا نفقد التفسير المباشر للمعاملات من الانحدار الخطي، إلا أن الانحدار اللوجستي لا يزال يقدم رؤى ثرية وقابلة للتفسير؛ خاصة عندما نضعها في إطار الأرجحية والتغيرات الاحتمالية. حجم الزيادة أو النقصان في الاحتمالية كدالة لـ لا يتوافق مع وحدة واحدة من الزيادة في ، ولكن يعتمد على الموقع عند نقطة معينة.
المعاملات في الانحدار اللوجستي، و يتم تقديرها باستخدام تقدير الاحتمالية القصوى (MLE). تتمثل الفكرة الأساسية وراء تقدير الاحتمالية القصوى (MLE) في إيجاد المعلمات التي تجعل البيانات المرصودة لها "الأرجحية" في إطار نموذج الانحدار اللوجستي.
في الانحدار اللوجستي، نقوم بنمذجة احتمال أن يكون المتغير المستهدف هو 1 (على سبيل المثال، "موافق عليه") عند إدخال باستخدام الدالة اللوجستية (سيجمويد):
يحاول تقدير الاحتمالية القصوى (MLE) مع مجموعات مختلفة من و ، ولكل مجموعة، يسأل: ما مدى احتمالية أن نرى النتائج الفعلية في بياناتنا، بالنظر إلى هذه المعلمات؟
يتم التقاط ذلك باستخدام دالة الاحتمالية، التي تضاعف الاحتمالات المتوقعة لكل نقطة بيانات:
- إذا = 1 ("معتمدة")، نريد الاحتمال المتوقع للنموذج أن تكون قريبة مثل 1. الحد يتناول هذا الأمر. إذا كانت البيانات المرصودة الفعلية لـ y1 هي في الواقع "معتمدة" أو 1، فإن الحد سيكون 1.
- إذا =0، نريد أن يكون الاحتمال المتوقع قريبًا من 0. الحد يتعامل مع هذه الحالة. إذا كانت البيانات الفعلية المرصودة لـ هي "غير معتمدة"، أو 0، فستكون القيمة ستكون قريبةً من 0، وبالتالي ستكون قريبةً من 1.
لذلك لكل نقطة بيانات، نضرب إما أو اعتمادًا على ما إذا كانت التسمية الفعلية 1 أو 0. حاصل الضرب على جميع الأمثلة يعطينا رقمًا واحدًا: احتمالية رؤية مجموعة البيانات بأكملها في ظل النموذج الحالي. كما نرى، إذا كانت النتائج المتوقعة (باستخدام المعلمات و ) مطابقةً للبيانات المرصودة، فسيتم تعظيم قيمة الاحتمالية. السبب وراء ضرب كل الاحتمالات معًا هو أننا نفترض أن النتائج مستقل بعضها عن بعض. أو بمعنى آخر، لا ينبغي أن تؤثر فرصة موافقة شخص ما على فرصة موافقة شخص آخر.
نظرًا لأن حاصل الضرب هذا يمكن أن يصبح صغيرًا جدًا، فإننا نعمل عادة مع احتمالية اللوغاريتم، مما يحول حاصل الضرب إلى مجموع ويسهل حسابه وتحسينه.
للعثور على قيم و لزيادة احتمالية اللوغاريتم، نستخدم الانحدار التدرجي (النزول الاشتقاقي)، وهي خوارزمية تحسين تكرارية. في كل خطوة، نحسب كيف يتغير احتمال اللوغاريتم فيما يتعلق بكل معلمة (على سبيل المثال، تدرجها)، ثم نقوم بتحديث المعلمات قليلًا في الاتجاه الذي يزيد من الاحتمالية. ومع مرور الوقت، تتقارب هذه العملية نحو القيم و التي تناسب البيانات بشكل أفضل.
هناك ثلاثة أنواع من نماذج الانحدار اللوجستي، والتي يتم تحديدها بناءً على الاستجابة الفئوية.
يستخدم الانحدار اللوجستي بشكل شائع لمشاكل التنبؤ والتصنيف. تتضمن بعض حالات الاستخدام هذه ما يلي:
تدريب الذكاء الاصطناعي التوليدي والتحقق من صحته وضبطه ونشره، وكذلك قدرات نماذج الأساس والتعلم الآلي باستخدام IBM watsonx.ai، وهو استوديو الجيل التالي من المؤسسات لمنشئي الذكاء الاصطناعي. أنشئ تطبيقات الذكاء الاصطناعي بسرعة أكبر وببيانات أقل.
استفد من الذكاء الاصطناعي في عملك بالاستعانة بخبرة IBM الرائدة في مجال الذكاء الاصطناعي ومحفظة حلولها المتوفرة لك.
أعدّ ابتكار عمليات ومهام سير العمل الحساسة بإضافة الذكاء الاصطناعي لتعزيز التجارب وصنع القرارات في الوقت الفعلي والقيمة التجارية.