ما المقصود بتحسين السياسة القريبة؟

تحسين السياسة القريبة (PPO) هو خوارزمية للتعلم المعزز العميق تهدف إلى تحسين أداء النماذج باستخدام التعلم المعزز. تُشير السياسة في PPO إلى الطريقة التي تعلَّم بها الوكيل، مثل الروبوت أو البرنامج، اتخاذ الإجراءات في البيئة المحيطة به. أحدث هذا النهج تغييرًا جذريًا في عملية التعلم، وأصبح جزءًا أساسيًا من كيفية تعلم الوكلاء والأنظمة من خلال تفاعلهم مع المستخدمين ومع العالم من حولهم. تستخدم النماذج اللغوية الكبيرة الحديثة، مثل النماذج المشتقة من ChatGPT من OpenAI، خوارزمية PPO في التعلم المعزز من خلال الملاحظات البشرية (RLHF). وتُعَد PPO أيضًا من أكثر الخوارزميات شيوعًا لتدريب الوكلاء في ألعاب الفيديو وأتمتة العمليات الآلية والسيارات ذاتية القيادة.

قدَّم John Schulman وFilip Wolski وآخرون¹ خوارزمية PPO لأول مرة في ورقة بحثية بعنوان "خوارزميات تحسين السياسة القريبة". لفهم كيفية عمل PPO وسبب أهميتها، علينا أن نبدأ بالتعلم المعزز (RL). تستخدم عملية التعلم المعزز التعلم الآلي لمساعدة النظام على اختيار إجراء استنادًا إلى البيئة والهدف المحدد. يتخذ البشر هذا النوع من القرارات باستمرار. فعلى سبيل المثال، في لعبة البلاك جاك، نقرر ما إذا كنا سنطلب ورقة جديدة "Hit" أو نحتفظ بالأوراق التي لدينا "Stay". يتكون التعلم المعزز من أربعة عناصر أساسية: الوكيل والبيئة والإجراءات والمكافآت. في مثال لعب البلاك جاك، لدينا:

الوكيل: الشخص الذي يلعب اللعبة. 

البيئة: الأوراق التي يحملها اللاعب والأوراق التي يمكنه رؤيتها لدى الموزع.

الإجراءات: طلب ورقة جديدة "Hit" أو الاحتفاظ بالأوراق الحالية "Stay". 

المكافآت: إذا ما كان اللاعب قد فاز بالجولة أو خسرها. 

السياسة هي استراتيجية أو مجموعة من القواعد التي يتَّبعها وكيل، مثل الروبوت أو البرنامج، لاختيار إجراء محدد استنادًا إلى بيئته. تحدِّد السياسة الإجراءات المحتملة التي ينبغي للوكيل اتخاذها استنادًا إلى البيئة التي يوجد فيها. قد تكون السياسات بسيطة، بحيث تحدد إجراءً ثابتًا لكل حالة، أو معقدة، بحيث تتضمن تقديرات أو حسابات لاختيار الإجراءات، وآليات للتعلم لتحديد الإجراءات المُثلى. الهدف هو الوصول إلى سياسة تؤدي إلى زيادة إجمالي المكافآت التي يحصل عليها الوكيل بمرور الوقت. يمكنك تصوُّر سياسة بسيطة للعبة البلاك جاك تنص على: "اطلب ورقة جديدة إذا كان مجموع أوراقك أقل من 17، واحتفِظ بأوراقك إذا تجاوز مجموعها 18". يقارن الوكيل البيئة بالسياسة، ثم يختار إجراءً استنادًا إلى تلك السياسة.

التعلم المعزز هو وسيلة تساعد الوكيل على تعلم سياسة تمكِّنه من تحديد الإجراءات التي ينبغي اتخاذها لزيادة المكافآت. وتُعَد PPO تقنية قوية تساعد الوكلاء على التعلم بفاعلية أكبر. وقد تم استخدامها في تطبيقات تتراوح بين بناء الروبوتات وتحسين قدرة النماذج اللغوية الكبيرة (LLMs) على الاستدلال والاستجابة للمطالبات. تُعَد PPO إحدى الركائز الأساسية للتعلم المعزز من خلال الملاحظات البشرية (RLHF) المستخدم في تدريب النماذج اللغوية الكبيرة (LLMs). وقد كان هذا النوع الأخير من الأساليب محرِّكًا رئيسيًا للكثير من الأبحاث الحديثة في مجال التعلم المعزز.

هناك فئتان رئيسيتان من أساليب التعلم المعزز. الأولى هي الأساليب القائمة على القيمة، التي تقيِّم البيئة وتحدد أفضل إجراء يمكن اتخاذه فيها استنادًا إلى المكافأة المتوقعة. ويتم تقييم جميع الإجراءات المحتملة، ثم يختار الوكيل الإجراء الذي يحقق أعلى مكافأة متوقعة. ولتحديد الإجراء الأفضل، يركِّز الوكيل على تعلم دالة قيمة تقدِّر إجمالي المكافأة المتوقعة (العائد) لكل بيئة أو لكل زوج من البيئة والإجراء. ويتم اشتقاق السياسة بصورة غير مباشرة من خلال اختيار الإجراءات التي تؤدي إلى زيادة القيمة المقدَّرة باستخدام دالة القيمة. وتتمثل الفكرة في اكتشاف دالة قيمة مُثلى لكل إجراء محتمل، بما يؤدي إلى الوصول إلى سياسة مُثلى. عندما يكون عدد أزواج الإجراءات والبيئات التي يتعين استكشافها محدودًا، يمكن أن يكون هذا النهج فعَّالًا للغاية. يحسب الوكيل المكافأة المتوقعة لكل إجراء، ثم يختار الإجراء استنادًا إلى هذا التقدير. ومع مساحات الإجراءات الكبيرة، أي عندما يكون عدد الإجراءات المحتملة مرتفعًا، يصبح من الصعب تقدير العائد لكل إجراء محتمل. فعلى سبيل المثال، عندما يقرِّر روبوت كيفية تحريك ذراع متعددة المفاصل في مساحة ثلاثية الأبعاد، فإنه يواجه آلاف القرارات المحتملة، وهو عدد يفوق بكثير ما يمكن حساب دالة له لكل مجموعة محتملة من أوضاع المفاصل. كما أنه يقيِّد الوكيل بإجراءات محددة مسبقًا، ما يعني أن الوكيل لا يستطيع ابتكار استراتيجيات جديدة أو مبتكرة.

وهذا يقودنا إلى النهج الثاني: الأساليب القائمة على السياسة. السياسة هي استراتيجية أو مجموعة من القواعد التي يتَّبعها وكيل، مثل الروبوت أو البرنامج، لاتخاذ القرارات استنادًا إلى بيئته. تحدِّد السياسة الإجراءات المحتملة التي ينبغي للوكيل اتخاذها استنادًا إلى البيئة التي يوجد فيها. قد تكون السياسات بسيطة، بحيث تحدِّد إجراءً ثابتًا لكل حالة، أو معقدة، بحيث تتضمن تقديرات للميزة وحسابات لاختيار الإجراءات، وآليات للتعلم لتحديد الإجراءات المُثلى. الهدف هو الوصول إلى سياسة تؤدي إلى زيادة إجمالي المكافآت التي يحصل عليها الوكيل بمرور الوقت. تخيَّل نموذجًا يحاول تحديد الوقت المناسب لشراء أسهم معينة أو بيعها أو الاحتفاظ بها. تحدِّد السياسة متى ينبغي للوكيل التفكير في شراء سهم أو بيعه، اعتمادًا على اتجاه السهم أو أداء سوق الأسهم بوجه عام.

يتعلم أسلوب التعلم القائم على السياسة الإجراءات التي ينبغي تفضيلها في حالة معينة، دون تقدير نتائجها المتوقعة بصورة مباشرة. ويعني هذا النهج أن الوكيل يستطيع تعلُّم عدد أكبر بكثير من الإجراءات المحتملة لكل حالة، دون الحاجة إلى تقدير دالة قيمة لكل إجراء منها. يعمل الوكيل على تحسين السياسة من خلال تعديل احتمالية اختيار إجراء معين لزيادة العائد المتوقع، دون تقدير دالة الميزة لكل إجراء. تتطلب هذه العملية قدرًا أكبر بكثير من البيانات وبنية تعلُّم أكثر تعقيدًا، لأن عدد الإجراءات المحتملة لحالة معينة لا نهائي من الناحية النظرية. وتندرج خوارزميات تدرُّج السياسة ضمن الفئة الثانية.

في تعلُّم السياسة، هناك نهجان أساسيان لتعلُّم سياسة للوكيل. تستخدم أساليب التعلم وفق السياسة الحالية الإجراءات الحالية فقط لتوجيه عملية التعلم، أي أنها تتعلم مما تقوم به بالفعل. تخيَّل سيارة ذاتية القيادة تحاول العثور على المسار الأمثل للوصول إلى وجهة معينة على مدار عدة رحلات. في التعلم القائم على السياسة الحالية، ستتعلم السيارة فقط من المسارات التي تسلكها بنفسها.

توجِّه السياسة إجراءات الوكيل في كل بيئة، بما في ذلك عملية اتخاذ القرار أثناء التعلم. يقيِّم الوكيل نتائج إجراءاته الحالية، ويعمل على تحسين استراتيجيته تدريجيًا. يُتيح هذا الأسلوب للوكيل التكيف وتحسين عملية اتخاذ القرار من خلال التفاعل المباشر مع البيئة والتعلم من تفاعلاته الفعلية في الوقت الفعلي.

أما أساليب التعلم خارج السياسة، فستُتيح للسيارة مراقبة المسارات التي تسلكها سيارات ذاتية القيادة أخرى والتعلم من إجراءاتها. ولا يتعين على السيارة اتِّباع السياسة نفسها التي تتَّبعها السيارات التي تراقبها، لكنها تستطيع ملاحظة المكافآت التي تحصل عليها مقابل إجراءاتها، ثم تحديث سياستها وفقًا لذلك. ويتضمن ذلك تعلُّم قيمة السياسة المُثلى بصورة مستقلة عن إجراءات الوكيل. تمكِّن هذه الأساليب الوكيل من التعلم من الملاحظات المتعلقة بالسياسة المُثلى، حتى عندما لا يتَّبعها بنفسه. ويكون هذا الأسلوب مفيدًا للتعلم من مجموعة بيانات ثابتة أو من سياسة تعليمية.

تدرُّج السياسة هو نهج للتعلم وفق السياسة الحالية يهدف إلى إنشاء سياسة من خلال تحسين السياسة نفسها مباشرةً، باتِّباع تدرُّج العائد المتوقع بالنسبة إلى مَعلمات السياسة. ومن الناحية المفاهيمية، يشبه هذا النهج الانحدار المتدرِّج العشوائي (SGD)، الذي يهدف إلى تقليل خطأ التنبؤ باستخدام دالة خسارة. لكن هناك فرق أساسي: فعادةً ما يقدِّر SGD المَعلمات بهدف تقليل الخسارة. أما تدرُّج السياسة، فيسعى إلى تقدير مَعلمات توزيع السياسة لإعطاء الأولوية للإجراءات التي تؤدي إلى زيادة المكافأة. والهدف هو إنشاء توزيع احتمالي لجميع الإجراءات المحتملة، بحيث تصبح الإجراءات التي تحقق مكافآت أكبر أكثر احتمالًا، بينما الإجراءات التي تحقق مكافآت أقل تصبح أقل احتمالًا.

وتندرج أساليب تدرُّج السياسة ضمن ما يُعرَف بأساليب الفاعل والناقد (Actor-Critic). الفاعل هو شبكة سياسة تختار الإجراءات، بينما يقدِّر الناقد مدى جودة توافق تلك السياسة مع الإجراءات المتَّخذة في حالات معينة ومدى ارتباطها بمكافأة محددة.

إذا كانت سياستك هي  ${\pi }_{\theta }\left(a\right|s)$ (توزيع احتمالي على الإجراءات)، وكان هدف الوكلاء هو زيادة العائد المتوقع الذي يُرمز إليه بواسطة $J\left(\theta \right)$  فعندئذٍ ستتخذ خطوات الصعود المتدرّج المحددة كما يلي:

 $\theta \leftarrow \theta +a{\nabla }_{\theta }J\left(\theta \right)$ 

في هذه المعادلة $\theta$ هو متجه مَعلمات السياسة الذي يحدد التوزيع الاحتمالي للإجراءات. يتم تحديث السياسة القديمة،  $\leftarrow$ ، بإضافة حاصل ضرب معدل التعلم  $a$ في تدرُّج السياسة إلى السياسة السابقة. وتدرُّج السياسة هو  ${\nabla }_{\theta }$ ، أي التدرّج بالنسبة إلى   $\theta$  مضروبًا في دالة الهدف  $J\left(\theta \right)$  التي تمثِّل العائد المتوقع من السياسة.

يتعلم تدرُّج السياسة من خلال تطبيق السياسة الحالية، واختيار إجراء، وتقييم المكافأة، ثم حساب تدرُّج دالة الهدف. ثم تطبِّق الخوارزمية تحديثًا للسياسة في التكرار التالي، حيث يمكنها اتخاذ إجراء وملاحظة الميزة الناتجة عن هذا التحديث.

في صميم منهج تدرُّج السياسة توجد نظرية تدرُّج السياسة، التي توضِّح كيفية تحسين السياسة  $J_{\theta }$. وببساطة، يعبِّر التدرُّج عن مقدار زيادة السياسة لاحتمالية اتخاذ إجراء معين أو خفضها، مضروبًا في المكافآت الناتجة عن ذلك الإجراء. تُعطى معادلة نظرية تدرُّج السياسة كما يلي:

 ${\nabla }_{\theta }J=E[{\nabla }_{\theta }·log\pi (a\mid s\left)A\right(s,a\left)\right]$

تنص هذه المعادلة على أن تدرُّج سياسة معينة  $J$ بالنسبة إلى المَعلمات  $\theta$ يمكن التعبير عنه كتوقع رياضي  $E$ . ويتمثل هذا التوقع في دالة تسجيل  ${\nabla }_{\theta }$  مضروبة في اللوغاريتم الطبيعي لاحتمالية الإجراء المختار  $log\pi (a\mid s)$  و $A(s,a)$ ، وهي المكافأة التي يحصل عليها الوكيل عند اتخاذ الإجراء  $a$ في الحالة  $s$ .

يُتيح تدرُّج السياسة للوكيل استكشاف العديد من الخيارات المختلفة وتحديد أيُّها سيحقق أكبر مكافأة بسرعة وكفاءة. ومع ذلك، لا تخلو هذه التقنية من العيوب. فعلى سبيل المثال، غالبًا ما تتقارب أساليب تدرُّج السياسة نحو قيمة عُظمى محلية بدلًا من الوصول إلى الحل الأمثل على المستوى العالمي. وقد يستغرق تدريب النموذج باستخدام تدرُّج السياسة وقتًا أطول مقارنةً بأنواع أخرى من أساليب التعلم وفق السياسة الحالية. وقد يؤدي تدرُّج السياسة نفسه إلى تباين مرتفع، ما يعني أن تقدير التدرُّج ذاته قد يكون غير دقيق بدرجة كبيرة. وقد يؤدي ذلك إلى تقدير غير دقيق لمسار التدرُّج ومقدار تأثير تغييرات السياسة فيه.

ومن الأمثلة الكلاسيكية على خوارزميات تدرُّج السياسة خوارزمية تحسين سياسة منطقة الثقة (TRPO)². شكَّلت هذه الخوارزمية نقلة نوعية عند طرحها لأول مرة، لكنها تعاني من عدة مشكلات معروفة تجعل استخدامها عمليًا أمرًا صعبًا.

تُعَد PPO تطويرًا لأسلوب التعلم باستخدام تدرُّج السياسة. وبشكل أساسي، تسعى إلى تحديد أكبر خطوة تحسين ممكنة للسياسة باستخدام البيانات الحالية، دون إجراء تحديثات كبيرة على السياسة إلى حد يؤدي إلى انهيار الأداء. في أساليب تدرُّج السياسة، يتم تحسين السياسة من خلال تعديل مَعلماتها تدريجيًا في الاتجاه الذي يزيد المكافأة المتوقعة. ومع ذلك، قد تؤدي التحديثات الكبيرة إلى تدهور الأداء، كما يمكن لخطوة تدرُّج واحدة شديدة القوة أن تغيِّر سلوك الوكيل بصورة كبيرة وتتسبب في انهيار عملية التعلم. عالجت الخوارزميات السابقة، مثل TRPO، هذه المشكلة من خلال فرض قيد على مدى ابتعاد السياسة الجديدة عن السياسة القديمة، لكنها كانت معقدة من الناحية الرياضية.

تحافظ PPO على تحديثات السياسة قريبة من السياسة السابقة، مع تجنُّب الحاجة إلى قيود معقدة. وبدلًا من اختيار التحديث التالي بطريقة عشوائية، تستخدم PPO ما يُعرَف بدالة الهدف البديلة المقصوصة، التي تمنع السياسة من إجراء قفزات كبيرة. وستستمر السياسة في التحسن، أي من خلال تدرُّج المكافأة أثناء تطبيق الوكيل للسياسة وملاحظته للنتائج، ولكن بطريقة آمنة.

باستخدام تدرُّج السياسة، تتضمن كل دورة تكرارية تنفيذ خطوة صعود متدرّج على دالة هدف السياسة. يمثِّل حجم الخطوة تحديًا. إذا كانت الخطوة صغيرة جدًا، فستكون عملية التدريب بطيئة، أما إذا كانت كبيرة جدًا، فستحدث تغيُّرات كبيرة في السياسة، ما يجعل من الصعب على الوكيل الوصول إلى حل أمثل.

في PPO، تتمثل الفكرة في تقييد تحديثات السياسة باستخدام دالة هدف بديلة مقصوصة، بحيث تظل تغييرات السياسة ضمن نطاق محدد. تُعطى هذه الدالة على النحو التالي:

 $L^{CLIP}\left(\theta \right)=E_t\left[r_t\right(\theta )A_t,clip(r_t\left(\theta \right),1-ϵ,1+ϵ\left)A_t\right)]$ 

لتبسيط هذه المعادلة، يتمثل الجزء الأول في دالة النسبة:  $r_t\left(\theta \right)$ . ودالة النسبة هي:

 $r_t\left(\theta \right)=\frac{{\pi }_{\theta }(a_t\mid s_t)}{{\pi }_{{\theta }_{old}}(a_t\mid s_t)}$ 

وهو احتمال اتخاذ الإجراء  $a_t$  في​ الحالة  $s_t$  وفقًا للسياسة الحالية، مقسومًا على احتمال اتخاذ الإجراء نفسه وفقًا للسياسة السابقة. وتحسب هذه النسبة الفرق النسبي بين احتمال الإجراء في السياسة الحالية والسياسة القديمة. إذا كانت  $rt\left(\theta \right)>1$ ، فهذا يعني أن الإجراء  $a_t$  في الحالة  $s_t$  أصبح أكثر احتمالًا في السياسة الحالية مقارنةً بالسياسة القديمة. وإذا كانت النسبة أقل من 1، فهذا يعني أن الإجراء أصبح أقل احتمالًا في السياسة الحالية مقارنةً بالسياسة القديمة.

يوضِّح هذا الجزء  $clip\left(r_t\right(\theta ),1-ϵ,1+ϵ)$ كيفية قيام PPO بقصّ الدالة باستخدام قيود بديلة للحد من التغييرات التي تؤدي إلى ابتعاد النسبة عن القيمة 1. وتوضِّح هذه الخطوة أنه مع تجربة الخوارزمية تغييرات على السياسة، يتم إبقاء هذه التغييرات ضمن نطاق محدود بفضل قيمة إبسيلون  $ϵ$ .

تتمثل الميزة الأساسية لهذا النهج القائم على دالة الهدف البديلة المقصوصة في أنه يضمن إجراء تغييرات صغيرة، كما أنه يتسم بالكفاءة الحسابية. تستخدم الأساليب الأقدم، مثل TRPO، تباعد KL بعد حساب دالة الهدف لتقييد تحديث السياسة. وقد يكون هذا النهج فعَّالًا في تقييد التحديثات، لكنه يتطلب تنفيذًا معقدًا ووقتًا أطول لإجراء العمليات الحسابية. تطبِّق PPO عملية قص نسبة الاحتمال مباشرةً في دالة الهدف، ما يؤدي إلى تسريع كل حقبة تدريبية.

ومن المزايا الأخرى التي تتمتع بها PPO مقارنةً بالعديد من الأساليب الأخرى كفاءة أعلى في استخدام العينات، أي أن كل تفاعل مع البيئة يؤدي إلى تحسين أكبر للسياسة. تحقق PPO هذه الكفاءة من خلال إنشاء دفعة مصغرة من بيانات التنفيذ، يمكن استخدام بيانات التفاعل نفسها فيها لإجراء عدة تحديثات. وقد تكون أساليب أخرى، مثل Deep Q-Networks، أكثر كفاءة، لكنها تتطلب موارد حسابية أكبر، ولذلك لا تكون مفضلة عند توفُّر بيانات كافية.

يتمثل أحد الجوانب الأساسية لتحديث السياسة في تقدير مقدار الميزة التي تتمتع بها السياسة مقارنةً بالتكرارات السابقة. وتتسم هذه الخطوة بتعقيد حسابي أكبر من مجرد حساب الفرق بين المكافآت التي تحققها سياستان في خطوة معينة. يحتاج الوكلاء إلى تعلُّم مدى تغيُّر توزيع احتمالات الإجراءات عبر عدة خطوات. حتى في لعبة بسيطة نسبيًا مثل البلاك جاك، قد لا تظهر نتيجة الإجراء الذي يتخذه الفاعل إلا بعد عدة جولات من اللعب. وتصبح هذه الطريقة أكثر أهمية في لعبة مثل الشطرنج أو في سيناريو يتضمن تنقُّل الروبوتات.

لتعلم هذه التحديثات، تستخدم PPO ما يُعرَف باستراتيجية التقدير العام التكراري للميزة (GAE). تساعد هذه الخطوة على تحديد مدى فاعلية السياسة ومقدار التغيير الذي ينبغي إجراؤه عليها لتحسينها. تحسب GAE المزايا من خلال إعطاء أوزان أسية للأخطاء المستقبلية، ما يوفر لـ PPO إشارة تعلُّم منخفضة التباين والانحياز، ويساعد على جعل تحديثات السياسة مستقرة وفعَّالة في استخدام العينات.

يؤدي التوقف مبكرًا جدًا عن تجميع المكافآت الفعلية إلى انحياز مرتفع، لأن جزءًا صغيرًا فقط من العائد الحقيقي يؤخذ في الاعتبار إلى جانب قدر محدود من المكافآت الفعلية. ويؤدي تجميع عدد كبير جدًا من المكافآت إلى تباين مرتفع، لأن الاعتماد على عدد أكبر من العينات الفعلية قد يجعل التقدير غير مستقر.

توفِّر مكتبات مثل Stable-Baselines3 وRLlib تطبيقات متكاملة لـ PPO يمكن استخدامها في مجموعة واسعة من المجالات والمشكلات. وهناك أيضًا تطبيقات أخف وزنًا، مثل CleanRL، تتضمن دروسًا تعليمية للتعلم الذاتي، وقد تمت كتابتها باستخدام PyTorch وTensorFlow، ويمكن العثور عليها على GitHub.

ويتم تحسين مكتبات مثل التعلم المعزز القائم على المحوِّلات (TRL) من Hugging Face خصوصًا للمساعدة على تدريب النماذج اللغوية القائمة على المحولات باستخدام خوارزميات التعلم المعزز مثل PPO. في هذا السياق، تساعد PPO على ضمان تعلُّم النماذج كيفية اختيار استجابات تتوافق بدرجة أكبر مع أهداف مُنشئي النماذج ومع الملاحظات البشرية.