المعاملات في الانحدار اللوجستي، و يتم تقديرها باستخدام تقدير الاحتمالية القصوى (MLE). تتمثل الفكرة الأساسية وراء تقدير الاحتمالية القصوى (MLE) في إيجاد المعلمات التي تجعل البيانات المرصودة لها "الأرجحية" في إطار نموذج الانحدار اللوجستي.
في الانحدار اللوجستي، نقوم بنمذجة احتمال أن يكون المتغير المستهدف هو 1 (على سبيل المثال، "موافق عليه") عند إدخال باستخدام الدالة اللوجستية (سيجمويد):
يحاول تقدير الاحتمالية القصوى (MLE) مع مجموعات مختلفة من و ، ولكل مجموعة، يسأل: ما مدى احتمالية أن نرى النتائج الفعلية في بياناتنا، بالنظر إلى هذه المعلمات؟
يتم التقاط ذلك باستخدام دالة الاحتمالية، التي تضاعف الاحتمالات المتوقعة لكل نقطة بيانات:
- إذا = 1 ("معتمدة")، نريد الاحتمال المتوقع للنموذج أن تكون قريبة مثل 1. الحد يتناول هذا الأمر. إذا كانت البيانات المرصودة الفعلية لـ y1 هي في الواقع "معتمدة" أو 1، فإن الحد سيكون 1.
- إذا =0، نريد أن يكون الاحتمال المتوقع قريبًا من 0. الحد يتعامل مع هذه الحالة. إذا كانت البيانات الفعلية المرصودة لـ هي "غير معتمدة"، أو 0، فستكون القيمة ستكون قريبةً من 0، وبالتالي ستكون قريبةً من 1.
لذلك لكل نقطة بيانات، نضرب إما أو اعتمادًا على ما إذا كانت التسمية الفعلية 1 أو 0. حاصل الضرب على جميع الأمثلة يعطينا رقمًا واحدًا: احتمالية رؤية مجموعة البيانات بأكملها في ظل النموذج الحالي. كما نرى، إذا كانت النتائج المتوقعة (باستخدام المعلمات و ) مطابقةً للبيانات المرصودة، فسيتم تعظيم قيمة الاحتمالية. السبب وراء ضرب كل الاحتمالات معًا هو أننا نفترض أن النتائج مستقل بعضها عن بعض. أو بمعنى آخر، لا ينبغي أن تؤثر فرصة موافقة شخص ما على فرصة موافقة شخص آخر.
نظرًا لأن حاصل الضرب هذا يمكن أن يصبح صغيرًا جدًا، فإننا نعمل عادة مع احتمالية اللوغاريتم، مما يحول حاصل الضرب إلى مجموع ويسهل حسابه وتحسينه.
للعثور على قيم و لزيادة احتمالية اللوغاريتم، نستخدم الانحدار التدرجي (النزول الاشتقاقي)، وهي خوارزمية تحسين تكرارية. في كل خطوة، نحسب كيف يتغير احتمال اللوغاريتم فيما يتعلق بكل معلمة (على سبيل المثال، تدرجها)، ثم نقوم بتحديث المعلمات قليلًا في الاتجاه الذي يزيد من الاحتمالية. ومع مرور الوقت، تتقارب هذه العملية نحو القيم و التي تناسب البيانات بشكل أفضل.