ما الضبط الدقيق الفعال للمعلمات (PEFT)؟

يمكن للشبكات العصبية المدربة على المهام العامة مثل معالجة اللغة الطبيعية (NLP) أو تصنيف الصور أن تتخصص في مهمة جديدة ذات صلة من دون الحاجة إلى إعادة تدريبها بالكامل. الضبط الدقيق الفعال للمعلمات هي طريقة موفرة للموارد لإنشاء نماذج عالية التخصص من دون البدء من الصفر في كل مرة.

يعمل الضبط الدقيق الفعَّال للمَعلمات عن طريق تجميد معظم مَعلمات النموذج والطبقات المدرَّبة مسبقًا أثناء إضافة عدد قليل من المَعلمات القابلة للتدريب، والمعروفة باسم المحوِّلات، إلى الطبقات النهائية للمهام اللاحقة المحددة مسبقًا.

تحتفظ النماذج المضبوطة بدقة بكل التعلم المكتسب أثناء التدريب، بينما تتخصص في مهامها النهائية المعنية. تعمل العديد من طرق الضبط الدقيق الفعال للمعلمات على تعزيز الكفاءة من خلال نقاط التحقق المتدرجة، وهي تقنية موفرة للذاكرة تساعد النماذج على التعلم من دون تخزين الكثير من المعلومات في وقت واحد.

يوازن الضبط الدقيق الفعَّال للمَعلمات بين الكفاءة والأداء لمساعدة المؤسسات على زيادة الموارد الحسابية إلى أقصى حد مع تقليل تكاليف التخزين. عند ضبط النماذج المعتمدة على المحوِّل باستخدام أساليب PEFT، مثل GPT-3 وLLaMA وBERT، يمكنها الاستفادة من جميع المعارف الموجودة في مَعلمات التدريب المسبق، مع تحقيق أداء أفضل مقارنةً بما يمكن أن تقدِّمه دون عملية الضبط الدقيق.

غالبًا ما يتم استخدام الضبط الدقيق الفعَّال للمَعلمات أثناء التعلم بالنقل، حيث يتم تطبيق النماذج المدرَّبة على مهمة واحدة على مهمة ثانية ذات صلة. على سبيل المثال، يمكن استخدام نموذج مُدرَّب على تصنيف الصور في مهمة اكتشاف الكائنات. وفي حال كان النموذج الأساسي كبيرًا جدًا بحيث لا يمكن إعادة تدريبه بالكامل أو إذا كانت المهمة الجديدة مختلفة عن الأصل، يمكن أن يكون الضبط الدقيق الفعَّال للمَعلمات حلًا مثاليًا.

تشمل أساليب الضبط الدقيق الكامل التقليدية إجراء تعديلات طفيفة على جميع مَعلمات النماذج اللغوية الكبيرة المُدرَّبة مسبقًا لتكييفها مع مهام محددة. ولكن مع التطورات في مجال الذكاء الاصطناعي والتعلم العميق التي أدَّت إلى نمو النماذج وتعقيدها، أصبحت عملية الضبط الدقيق تتطلب الكثير من الموارد والطاقة الحاسوبية.

كما أن كل نموذج تم ضبطه بدقة له نفس حجم النموذج الأصلي. وتستهلك جميع هذه النماذج مساحة تخزين كبيرة، ما يؤدي إلى زيادة التكاليف للمؤسسات التي تستخدمها. في حين أن الضبط الدقيق يحققتعلمًا آليًا أكثر كفاءة، فإن عملية الضبط الدقيق للنماذج اللغوية الكبيرة نفسها أصبحت غير فعالة.

يعمل الضبط الدقيق الفعَّال للمَعلمات على ضبط عدد قليل من المَعلمات الأكثر صلة بحالة الاستخدام المخصصة للنموذج لتقديم أداء نموذج متخصص وتقليل أوزان النموذج في الوقت نفسه لتحقيق وفورات كبيرة في تكلفة العمليات الحسابية ووقتها.

يوفر الضبط الدقيق الفعال للمعلمات ثروة من المزايا التي جعلته شائعًا لدى المؤسسات التي تستخدم النماذج اللغوية الكبيرة في عملها:

• زيادة الكفاءة
  
  
• تسريع الوقت المناسب لتحقيق القيمة
  
  
• لا يوجد نسيان كارثي
  
  
• انخفاض مخاطر فرط التخصيص
  
  
• متطلبات أقل للبيانات
  
  
• تسهيل إمكانية الوصول إلى الذكاء الاصطناعي
  
  
• ذكاء اصطناعي أكثر مرونة

يتم تشغيل معظم النماذج اللغوية الكبيرة المستخدمة في الذكاء الاصطناعي التوليدي من خلال وحدات معالجة الرسومات باهظة الثمن التي تصنعها الشركات المُصنِّعة مثل Nvidia. يستخدم كل نموذج لغوي كبير كميات كبيرة من الموارد الحسابية والطاقة. ويؤدي ضبط المعلمات الأكثر صلة فقط إلى تحقيق وفورات كبيرة في تكاليف الطاقة والحوسبة السحابية.

الوقت المناسب للقيمة هو مقدار الوقت الذي يستغرقه تطوير النماذج اللغوية الكبيرة وتدريبها ونشرها حتى تتمكن من البدء في إنشاء قيمة للمؤسسة التي تستخدمها. ونظرًا لأن الضبط الدقيق الفعال للمعلمات لا يُعدل سوى عدد قليل من المعلمات القابلة للتدريب، فإنه يستغرق وقتًا أقل بكثير لتحديث نموذج لمهمة جديدة. يمكن للضبط الدقيق الفعال للمعلمات تقديم أداء مماثل لأداء عملية الضبط الدقيق الكامل بجزء بسيط من الوقت والنفقات.

يحدث النسيان الكارثي عندما تفقد النماذج اللغوية الكبيرة أو "تنسى" المعرفة المكتسبة أثناء عملية التدريب الأوَّلية حيث تتم إعادة تدريبها أو ضبطها لحالات الاستخدام الجديدة. ونظرًا لأن الضبط الدقيق الفعَّال للمَعلمات يحافظ على معظم المَعلمات الأولية، فإنه يحمي أيضًا من النسيان الكارثي.

فرط التخصيص يحدث عندما يلتزم النموذج بشكل كبير ببيانات التدريب الخاصة به أثناء عملية التدريب، ما يجعله غير قادر على إنشاء تنبؤات دقيقة في سياقات أخرى. وتُعد نماذج المحولات التي تم ضبطها باستخدام الضبط الدقيق الفعال للمعلمات أقل عرضة لفرط التخصيص لأن معظم معلماتها تظل ثابتة.

يقلل الضبط الدقيق الفعال للمعلمات من متطلبات بيانات التدريب لعملية الضبط الدقيق من خلال التركيز على عدد قليل من المعلمات. ويتطلب الضبط الدقيق الكامل مجموعة بيانات تدريب أكبر بكثير لأن جميع معلمات النموذج سيتم تعديلها في أثناء عملية الضبط الدقيق.

تكون تكاليف تطوير النماذج اللغوية الكبيرة المتخصصة مرتفعة للغاية من دون الضبط الدقيق الفعال للمعلمات، بحيث لا تستطيع العديد من المؤسسات الصغيرة أو المتوسطة تحملها. يوفر الضبط الدقيق الفعال للمعلمات النماذج اللغوية الكبيرة للفرق التي قد لا يتوفر لديها الوقت أو الموارد اللازمة لتدريب النماذج وضبطها.

يُمكِّن الضبط الدقيق الفعال للمعلمات علماء البيانات وغيرهم من المختصين من تخصيص النماذج اللغوية الكبيرة العامة لحالات الاستخدام الفردية. ويمكن لفرق الذكاء الاصطناعي تجربة تحسين النماذج من دون القلق بشأن استنزاف الموارد الحسابية وموارد الطاقة والتخزين.

تمتلك فرق الذكاء الاصطناعي العديد من تقنيات وخوارزميات الضبط الدقيق الفعال للمعلمات تحت تصرفها، ولكل منها مزاياها وتخصصاتها النسبية. ويمكن العثور على العديد من أدوات الضبط الدقيق الفعال للمعلمات الأكثر شيوعًا في Hugging Face والعديد من مجتمعات GitHub الأخرى.

• المحوِّلات
  
  
• LoRA
  
  
• QLoRA
  
  
• ضبط البادئات
  
  
• الضبط الفوري
  
  
• ضبط P

تُعَد المحوِّلات إحدى أولى تقنيات الضبط الدقيق الفعَّال للمَعلمات التي يتم تطبيقها على نماذج معالجة اللغة الطبيعية (NLP). سعى الباحثون جاهدين إلى التغلب على تحدي تدريب نموذج لمهام متعددة في المراحل النهائية، مع تقليل أوزان النموذج إلى الحد الأدنى. وكانت وحدات المحوِّل هي الحل: وهي عبارة عن إضافات صغيرة تدرج عددًا محدودًا من المَعلمات القابلة للتدريب والمخصصة للمهام في كل طبقة محوِّل من محوِّلات النموذج.

تم تقديمها في عام 2021، وتستخدم تقنية التكيف منخفض الرتبة للنماذج اللغوية الكبيرة (LoRA) مصفوفتين منخفضتَي الرتبة لتقليل أوزان النموذج وتقليل مجموعة المَعلمات القابلة للتدريب بشكل أكبر.

التكيف منخفض الرتبة المُكمّم QLoRA هي نسخة موسعة من التكيف منخفض الرتبة LoRA تقوم بتكميم أو توحيد وزن كل معلمة تم تدريبها مسبقًا لتصبح 4 بتات فقط من الوزن النموذجي البالغ 32 بت. وعلى هذا النحو، يوفر التكيف منخفض الرتبة المُكمّم مساحة كبيرة للذاكرة ويجعل من الممكن تشغيل النماذج اللغوية الكبيرة على وحدة معالجة رسومات واحدة فقط.

تم إنشاء ضبط البادئة خصوصًا لنماذج توليد اللغة الطبيعية (NLG)، حيث يُلحِق ضبط البادئة متجهًا مستمرًا خاصًا بالمهمة يُعرَف باسم البادئة بكل طبقة محوِّل مع بقاء جميع المَعلمات مجمدة. ومن ثمَّ، تخزِّن النماذج المضبوطة مسبقًا عدد مَعلمات أقل بألف مرة من النماذج المضبوطة بدقة كاملة ذات الأداء المماثل.

يعمل ضبط المطالبات على تبسيط ضبط البادئة وتدريب النماذج عن طريق إدخال مطالبات مخصصة في بيانات الإدخال أو التدريب. يتم إنشاء المطالبات اليدوية، في حين أن المطالبات البرمجية عبارة عن سلاسل من الأرقام التي ينشئها الذكاء الاصطناعي والتي تستمد المعرفة من النموذج الأساسي. وتم العثور على مطالبات برمجية تتفوق في الأداء على المطالبات اليدوية التي ينشئها الإنسان أثناء الضبط.

يُعَد ضبط P أحد أشكال ضبط المطالبات المصمم خصيصًا لمهام فهم اللغة الطبيعية (NLU). وبدلًا من استخدام المطالبات التي يتم إنشاؤها يدويًا، يوفر ضبط P تدريب المطالبات وإنشاءها بشكل مؤتمت، ما يؤدي إلى مطالبات تدريبية أكثر تأثيرًا بمرور الوقت.