ما المقصود بالتكيف منخفض الرتبة (LoRA)؟

تم نشر هذه التقنية في الأصل من قِبَل Edward Hu وYelong Shen والمتعاونين معهم في ورقتهم البحثية بعنوان LoRA: Low-Rank Adaptation Of Large Language Models ¹. وأظهروا في الورقة البحثية أن النماذج التي تم تصغيرها وإعادة تدريبها باستخدام LoRA تفوقت على النماذج الأساسية في مجموعة متنوعة من المهام المعيارية. يمكن تحسين أداء النموذج دون الحاجة إلى ضبط دقيق كامل وباستخدام عدد أقل بكثير من مَعلمات النموذج القابلة للتدريب.

تستغرق نماذج التعلم الآلي الكبيرة والمعقدة، مثل تلك المستخدمة للنماذج اللغوية الكبيرة (LLMs) مثل ChatGPT، وقتًا طويلًا والعديد من الموارد لإعدادها. قد تحتوي على تريليونات من المَعلمات التي يتم تعيينها على قيم محددة. بمجرد اكتمال هذه العملية، قد يكون النموذج قويًا ودقيقًا بشكل عام، ولكن ليس بالضرورة ضبطه بدقة لتنفيذ مهام محددة.

يمكن أن يتطلب الحصول على نموذج للعمل في سياقات محددة قدرًا كبيرًا من إعادة التدريب، وتغيير جميع مَعلماته. ومع عدد المَعلمات في هذه النماذج، تكون إعادة التدريب هذه مكلِّفة وتستغرق وقتًا طويلًا. يوفر LoRA طريقة سريعة لتكييف النموذج دون إعادة تدريبه.

كمثال، يتطلب الضبط الدقيق الكامل لنموذج GPT-3 تدريب 175 مليار مَعلمة نظرًا لحجم مجموعة بيانات التدريب الخاصة به. باستخدام LoRA، يمكن تقليل المَعلمات القابلة للتدريب لنموذج GPT-3 إلى ما يقرب من 18 مليون مَعلمة، ما يقلل من متطلبات ذاكرة GPU بمقدار الثلثين تقريبًا.

لا يُعَد LoRA طريقة الضبط الدقيق الوحيدة الفعَّالة. أحد أشكال LoRA هو LoRA الكمي (QLoRA)، وهي تقنية تخصيص تجمع بين معالجة حسابية عالية الدقة وطريقة تخزين منخفضة الدقة. يساعد هذا في الحفاظ على صغر حجم النموذج مع ضمان استمرار أدائه العالي ودقته.

بدلًا من إعادة تدريب النموذج بالكامل، يعمل LoRA على تجميد الأوزان والمَعلمات الأصلية للنموذج كما هي. بعد ذلك، يضيف فوق هذا النموذج الأصلي مكوِّنًا خفيف الوزن يُعرَف باسم المصفوفة منخفضة الرتبة، والتي يتم تطبيقها على المدخلات الجديدة للحصول على نتائج متوافقة مع السياق. تعمل المصفوفة منخفضة الرتبة على ضبط أوزان النموذج الأصلي بحيث تتوافق المخرجات مع حالة الاستخدام المطلوبة.

يستفيد LoRA من مفهوم المصفوفات منخفضة الرتبة لجعل عملية تدريب النموذج فعَّالة وسريعة للغاية. من الناحية التقليدية، يتطلب تخصيص النماذج اللغوية الكبيرة (LLMs) تعديل النموذج بأكمله. يركِّز LoRA على تعديل مجموعة فرعية أصغر من المَعلمات (مصفوفات ذات رتبة أقل) لتقليل النفقات الحسابية والذاكرة.

يوضِّح المخطط كيف يحدِّث LoRA المصفوفات A وB لتتبُّع التغييرات في الأوزان المدرَّبة مسبقًا باستخدام مصفوفات أصغر من الرتبة r. بمجرد اكتمال تدريب LoRA، يتم دمج الأوزان الأصغر في مصفوفة أوزان جديدة، دون الحاجة إلى تعديل الأوزان الأصلية للنموذج المدرَّب مسبقًا.

تم بناء LoRA على فهم أن النماذج الكبيرة تمتلك بطبيعتها بنية منخفضة الأبعاد. من خلال الاستفادة من المصفوفات الأصغر، والتي تُعرَف باسم المصفوفات منخفضة الرتبة، يتكيف LoRA مع هذه النماذج بشكل فعَّال. تركِّز هذه الطريقة على المفهوم الأساسي القائل بأن التغييرات المهمة في النموذج يمكن تمثيلها بعدد أقل من المَعلمات، ما يجعل عملية التكيف أكثر كفاءة.

تُعَد المصفوفات جزءًا مهمًا من كيفية عمل نماذج التعلم الآلي والشبكات العصبية. تُعَد المصفوفات منخفضة الرتبة أصغر حجمًا ولها قيم أقل بكثير من المصفوفات الأكبر أو ذات الرتب الأعلى. لا تستهلك الكثير من الذاكرة وتتطلب خطوات أقل للجمع أو الضرب معًا وهذا يجعلها أسرع لأجهزة الكمبيوتر في المعالجة.

يمكن تفكيك المصفوفة عالية الرتبة إلى مصفوفتين منخفضتَي الرتبة، فمثلًا يمكن تفكيك مصفوفة 4 × 4 إلى مصفوفة 4 × 1 وأخرى 1 × 4.

يضيف LoRa مصفوفات منخفضة الرتبة إلى نموذج التعلم الآلي الأصلي المجمَّد. يتم تحديث المصفوفات منخفضة الرتبة من خلال الانحدار المتدرج أثناء الضبط الدقيق، دون تعديل أوزان النموذج الأساسي. تحتوي هذه المصفوفات على أوزان جديدة لتطبيقها على النموذج عند إنشاء النتائج. تتم إضافة مصفوفة التغيير المضاعف إلى أوزان النموذج الأساسي للحصول على النموذج النهائي المضبوط بدقة. تغيّر هذه العملية المخرجات التي ينتجها النموذج بأقل قدر من القدرة الحوسبية ووقت التدريب.

باختصار، يحتفظ LoRA بالنموذج الأصلي دون تغيير ويضيف أجزاء صغيرة قابلة للتعديل لكل طبقة من طبقات النموذج. وهذا يقلل بشكل كبير من عدد المَعلمات القابلة للتدريب ومتطلبات ذاكرة GPU أثناء عملية التدريب، وهو تحدٍ كبير آخر عند تخصيص أو تدريب النماذج الكبيرة.

لتنفيذ تخصيص LoRA باستخدام HuggingFace عبر Python وPyTorch، يمكن للمطورين استخدام مكتبة التخصيص الفعَّال للعلمات (PEFT) لحقن محوِّلات LoRA في النموذج واستخدامها كمصفوفات تحديث. تتوفر هذه المكتبة مجانًا عبر HuggingFace أو GitHub. توفِّر هذه المكتبة طرقًا لتكوين مَعلمات LoRA للنموذج الخاص بك. ومن بين المَعلمات الأكثر استخدامًا ما يلي:

r: رتبة مقاييس التحديث، معبَّر عنها كعدد صحيح. يؤدي التفكيك منخفض الرتبة إلى مقاييس تحديث أصغر بعدد أقل من المَعلمات القابلة للتدريب.

target_modules: الوحدات (مثل كتل الانتباه) التي سيتم تطبيق مصفوفات تحديث LoRA عليها.

lora_alpha: عامل مقياس LoRA.

من المزايا الرئيسية لتقنية LoRA أن النموذج الأساسي يمكن مشاركته واستخدامه لبناء العديد من وحدات LoRA صغيرة لمهام جديدة. يتم تثبيت النموذج المشترك، ما يسمح للمستخدمين بتغيير المهام عن طريق استبدال مصفوفات أوزان LoRA. فبدلًا من الحاجة إلى نموذجين مختلفين، يمكن استخدام نموذج واحد في مهام متعددة مع الحفاظ على مكاسب الأداء الناتجة عن الضبط الدقيق.

يجعل LoRA عملية التدريب أكثر كفاءة ويقلل حاجز الدخول للأجهزة، إذ لا يحتاج المستخدمون لحساب التدرّجات أو الحفاظ على حالات المحسِّن لمعظم المَعلمات. بدلًا من ذلك، تتطلب العملية تحسين المصفوفات منخفضة الرتبة الأصغر حجمًا فقط.

يسمح التصميم الخطي لـ LoRA لعلماء البيانات بدمج المصفوفات القابلة للتدريب مع أوزان النموذج المدرَّب مسبقًا المجمَّد عند النشر، دون أي زيادة في زمن الاستدلال مقارنةً بالنموذج المضبوط بدقة بالكامل.

يمكن دمج LoRA مع تقنيات أخرى لتحسين أداء النموذج مثل ضبط البادئة، ما يجعله مرنًا.

بينما يوفر LoRA انخفاضًا كبيرًا في عدد المَعلمات القابلة للتدريب، هناك أيضًا جانب من المقايضات. تؤدي العملية إلى فقدان المعلومات أثناء تحلُّل المصفوفة. نظرًا لأن LoRA يقلِّل من مصفوفة الوزن الكامل إلى عناصر أصغر، يمكن أن تفقد بعض التفاصيل في هذه العملية. وهذا يُعَد مشابهًا لمشكلة الإفراط في تدريب النموذج. في حال النماذج اللغوية الكبيرة (LLMs)، تكون الخسارة غالبًا ضئيلة، لأن نماذج التعلم العميق تحتوي على عدد كبير جدًا من المَعلمات - أي أنها تضم أكثر مما هو ضروري لأداء المهمة. تعني عبارة "المبالغة في المَعلمات" أن هذه النماذج غالبًا ما تكون أكبر مما يجب أن تكون عليه لبيانات التدريب. ليست كل المَعلمات ذات أهمية حاسمة. فهناك تكرار ومتانة ومرونة ضمن المَعلمات. إزالة هذه القدرة على التحمل قد يقلل من دقة النماذج، لِذا يمكن ضبط رتبة مصفوفات التحديث كجزء من عملية LoRA.