ما هو الانتباه بالاستعلامات المجمعة (GQA)؟

طوَّر Ainslie وزملاؤه الانتباه بالاستعلام المُجمَّع كتحسين للشبكة العصبية، وهي خوارزمية الانتباه الذاتي المبتكرة التي تناولتها دراسة "Attention is All You Need" لعام 2017 والتي أرست أسس الشبكات العصبية للمحوِّلات. وبشكل أكثر تحديدا، يُعد GQA تحسينًا مقيَّدًا لمفهوم الانتباه متعدد الاستعلامات (MQA)، لذي كان محاولة سابقة لتعزيز كفاءة MHA.

على الرغم من أن الانتباه متعدد الرؤوس القياسي أحدث نقلة نوعية في مجالات التعلم الآلي ومعالجة اللغة الطبيعية (NLP) والذكاء الاصطناعي التوليدي، إلا أنه يستهلك كميات هائلة من الموارد الحسابية وعرض النطاق الترددي للذاكرة. ومع ازدياد حجم النماذج اللغوية الكبيرة (LLMs) وتعقيدها، أصبحت متطلبات استخدام الذاكرة عائقًا أما التطوير، خاصة في نماذج الانحدار الذاتي القائمة على أداة فك التشفير فقط المستخدمة في توليد النصوص والتلخيص وغيرها من مهام الذكاء الاصطناعي التوليدي.

ركزت الأبحاث اللاحقة على تقنيات تعزيز أو تبسيط الانتباه متعدد الرؤوس. بعض هذه التقنيات، مثل الانتباه الوميضي (Flash Attention) والانتباه الحلقي (Ring Attention)، على تحسين الطرق التي تتعامل بها وحدات معالجة الرسوميات المستخدمة لتدريب النماذج وتشغيلها مع العمليات الحسابية والذاكرة التخزين. بينما استكشفت تقنيات أخرى، مثل GQA وMQA، تغييرات في الطريقة التي تعالج بها بنى المحولات الرموز المميزة.

يهدف الانتباه بالاستعلامات المجمّعة إلى تحقيق التوازن الأمثل بين الانتباه متعدد الرؤوس القياسي والانتباه متعدد الاستعلامات. حيث يركز الأول على تحقيق أقصى دقة، ولكن على حساب زيادة استهلاك عرض النطاق الترددي للذاكرة وانخفاض السرعة. في المقابل، يهدف الثاني إلى تعزيز السرعة والكفاءة، لكنه يأتي على حساب الدقة.

لفهم كيفية تحسين الانتباه بالاستعلامات المجمعة (GQA) لنماذج المحولات، من المهم أولًا فهم كيفية عمل الانتباه متعدد الرؤوس (MHA) بشكل عام. يعمل كل من الانتباه بالاستعلامات المجمعة (GQA) والانتباه متعدد الاستعلامات (MQA) على تحسين المنهجية الأساسية للانتباه متعدد الرؤوس (MHA) بدلاً من استبدالها.

تتمثل القوة الدافعة وراء النماذج اللغوية الكبيرة (LLMs) والنماذج الأخرى التي تعتمد على بنية المحول في آلية الانتباه الذاتي، وهي إطار رياضي يُستخدم لفهم العلاقات بين الرموز المميزة المختلفة في تسلسل معين. تسمح آلية الانتباه الذاتي للنموذج اللغوي الكبير بفهم البيانات النصية ليس فقط استنادًا إلى التعريفات الثابتة، ولكن أيضًا من خلال السياق الذي توفره الكلمات والعبارات الأخرى.

في نماذج الانحدار الذاتي المستخدمة في توليد النصوص، تساعد آلية الانتباه النموذج على التنبؤ بالرمز المميز التالي في التسلسل من خلال تحديد الرموز المميزة السابقة الأكثر أهمية في اللحظة الحالية. تُمنح المعلومات المستخلصة من الرموز المميزة الأكثر صلة أوزان انتباه أعلى، بينما تُمنح المعلومات المستخلصة من الرموز المميزة الأقل صلة أوزان انتباه تقترب من الصفر.

تعتمد آلية الانتباه متعدد الرؤوس، التي تشغّل نماذج المحوِّلات، على توليد معلومات سياقية غنية عبر حساب الانتباه الذاتي عدة مرات بالتوازي، من خلال تقسيم طبقات الانتباه إلى عدة رؤوس انتباه مستقلة.

أوضح مؤلفو دراسة "Attention is All You Need" آلية الانتباه الخاصة به باستخدام مصطلحات قاعدة البيانات العلائقية: الاستعلامات والمفاتيح والقيم. صُممت قواعد البيانات العلائقية لتبسيط تخزين واسترجاع البيانات ذات الصلة: فهي تقوم بتعيين معرف فريد ("مفتاح") لكل جزء من البيانات، ويرتبط كل مفتاح بقيمة مقابلة. ويتمثل الهدف من قاعدة البيانات العلائقية في مقارنة كل استعلام بالمفتاح المناسب.

بالنسبة لكل رمز مميز في التسلسل، يتطلب الانتباه متعدد الرؤوس إنشاء 3 متجهات.

• متجه استعلام، Q، يمثل المعلومات التي "يبحث" عنها الرمز المميز. على سبيل المثال، قد يمثل متجه الاستعلام عن اسم ما بحثًا عن الصفات التي تصفه.
  
  
• متجه المفتاح، K، يمثل المعلومات التي يحتوي عليها الرمز المميز. يتم استخدام درجات المحاذاة، التي تمثل صلة متجه مفتاح كل رمز مميز بمتجه الاستعلام لكل رمز مميز من الرموز المميزة الأخرى، لحساب أوزان الانتباه.
  
  
• متجه القيمة، V، يمثل المعلومات السياقية التي سيتم تحديثها بناء على المساهمات المُرجحة بالانتباه من المتجهات الرئيسية لرموز مميزة أخرى.

تتمثل التفاعلات الرياضية بين هذه المتجهات الثلاثة، التي تتم بوساطة آلية الانتباه، في كيفية تعديل النموذج لفهمه الخاص بكل رمز مميز ضمن السياق.
 

لإنشاء هذه المتجهات الثلاثة لكل رمز، يبدأ النموذج باستخدام تمثيل المتجه الأصلي لذلك الرمز، وهو ترميز عددي حيث يرتبط كل بُعد من أبعاد المتجه بعنصر مجرد من المعنى الدلالي للرمز المميز. يتم تحديد عدد الأبعاد في هذه المتجهات مسبقًا باعتبارها معلمة فائقة.

يتم إنشاء متجه استعلام Q ومتجه مفتاح K ومتجه قيمة V لكل رمز مميز عن طريق تمرير تمثيل الرمز المميز الأصلي عبر طبقة خطية تسبق أول طبقة انتباه. تُقسَّم هذه الطبقة الخطية إلى 3 مصفوفات مميزة من أوزان النموذج: W_Q وW_K وW_V. يتم تعلم القيم المحددة لهذه الأوزان من خلال التدريب الذاتي غير الخاضع للإشراف على مجموعة بيانات ضخمة من الأمثلة النصية.

ينتج ضرب تمثيل المتجه الأصلي للرمز المميز في المصفوفات W_Q وW_K وW_V المتجه المقابل لهذا الرمز، أي متجه الاستعلام والمتجه الرئيسي ومتجه القيمة. يعتمد عدد الأبعاد d لكل متجه على حجم مصفوفة الأوزان الخاصة به. وسيكون لكل من Q وK نفس عدد الأبعاد، ويُرمز له بالرمز d_k.

ثم يتم تمرير هذه المتجهات الثلاثة إلى طبقة الانتباه.

في طبقة الانتباه، تُستخدم المتجهات Q وK وV لحساب درجة المحاذاة بين كل رمز مميز في كل موضع ضمن التسلسل. ثم يتم تطبيع درجات المحاذاة إلى أوزان انتباه باستخدام دالة Softmax.

لكل رمز مميز x في تسلسل معين، يتم حساب درجات المحاذاة عن طريق حساب حاصل الضرب النقطي بين متجه استعلام هذا الرمز المميز Q_x والمتجه الرئيسي K لكل من الرموز المميزة الأخرى: أي بضربها معًا. إذا كانت هناك علاقة ذات معنى بين رمزين مميزين، فسيظهر ذلك من خلال التشابه بين متجهاتهما، وبالتالي، فإن ضربهما معا سينتج عنه قيمة كبيرة. إذا لم تتم محاذاة المتجهين، فإن ضربهما معا سينتج عنه قيمة صغيرة أو سالبة. تستخدم معظم نماذج المحولات متغيرًا من آلية الانتباه يُعرف باسم الانتباه بالضرب النقطي المُقَيَّس، حيث يتم تعديل حاصل ضرب QK - أي بضربه - في $\frac{1}{\sqrt{d_k}}$  لتحسين استقرار التدريب.

يتم بعد ذلك تمرير درجات المحاذاة بين متجه المفتاح ومتجه الاستعلام إلى دالة softmax. تقوم Softmax بتطبيع جميع المدخلات إلى قيمة بين 0 و 1 بحيث يكون مجموعها 1. تمثل مخرجات دالة softmax أوزان الانتباه، حيث يشير كل وزن إلى النسبة (من 1) التي يخصصها رمز مميز x للانتباه إلى كل من الرموز الأخرى. إذا كان وزن انتباه الرمز المميز قريبًا من 0، فسيتم تجاهله. إذا كان وزن الانتباه يساوي 1، فذلك يعني أن الرمز يحصل على انتباه x بالكامل، بينما سيتم تجاهل جميع الرموز الأخرى.

أخيرا، يتم ضرب متجه القيمة لكل رمز مميز في وزنه الخاص بالانتباه. ثم يتم حساب متوسط هذه المساهمات المُرجحة بالانتباه من كل رمز مميز سابق معا وإضافتها إلى تمثيل المتجه الأصلي للرمز المميز x. وبهذا، يتم تحديث تمثيل الرمز المميز x ليعكس السياق الذي توفره الرموز المميزة الأخرى في التسلسل ذي الصلة به.

يتم بعد ذلك إرسال التمثيل المتجهي المُحدَّث إلى طبقة خطية أخرى تحتوي على مصفوفة الأوزان الخاصة بها W_Z، حيث يتم تطبيع المتجه المُحدَّث بالسياق لإعادته إلى عدد أبعاد ثابت، ثم يُرسل إلى طبقة الانتباه التالية. تجمع كل طبقة انتباه متتابعة تفاصيل سياقية أكثر دقة.
 

يُعد استخدام متوسطات المساهمات المُرجّحة بالانتباه من الرموز المميزة الأخرى، بدلاً من معالجة كل جزء من السياق المُرجّح بالانتباه بشكل فردي، أكثر كفاءة من الناحية الرياضية، لكنه يؤدي إلى فقدان بعض التفاصيل.

لتعويض ذلك، تقوم شبكات المحولات بتقسيم تمثيل المتجه الأصلي للرمز إلى h أجزاء متساوية الحجم. كما يتم بتقسيم مصفوفات الأوزان W_Q و W_K و W_V إلى h مجموعات أصغر تسمى رؤوس متجه الاستعلام ورؤوس متجه المفتاح ورؤوس متجه القيمة، على التوالي. يتلقى كل رأس استعلام ورأس مفتاح ورأس قيمة جزءا من متجه الرمز المميز الأصلي. يتم تمرير المتجهات التي تنتجها كل مجموعة من هذه الثلاثيات المتوازية من رؤوس الاستعلام ورؤوس المفاتيح ورؤوس القيم إلى رأس انتباه مُناظِر. بعد إجراء عمليات الانتباه على كل رأس بشكل مستقل، يتم دمج مخرجات هذه الدوائر المتوازية h معًا مرة أخرى لتحديث تمثيل الرمز المميز الكامل.

أثناء التدريب، تتعلم كل دائرة أوزاناً مميزة تلتقط جانباً منفصلاً من المعاني الدلالية. هذا بدوره يساعد النموذج على فهم الطرق المختلفة التي يمكن أن تتأثر بها دلالات الكلمة بسياق الكلمات الأخرى المحيطة بها.

لا يتمثل الجانب السلبي للانتباه متعدد الرؤوس القياسي في وجود بعض العيوب الجوهرية، وإنما في غياب أي تحسينا. كانت خوارزمية MHA أول خوارزمية من نوعها وتمثل أكثر عمليات التنفيذ تعقيدًا لآليتها العامة لحساب الانتباه.

تنشأ عدم كفاءة الانتباه متعدد الرؤوس (MHA) بشكل أساسي من العدد الكبير من العمليات الحسابية ومعلمات النموذج. في انتباه MHA القياسي، لكل رأس استعلام ورأس مفتاح ورأس قيمة في كل طبقة انتباه مصفوفة أوزان مستقلة. لذا، على سبيل المثال، إذا كان هناك 8 رؤوس انتباه في كل طبقة انتباه—وهو عدد أقل بكثير مما تستخدمه معظم النماذج اللغوية الكبيرة (LLMs) الحديثة—فإن كل طبقة ستحتاج إلى 24 مصفوفة وزن فريدة لرؤوس Q و K و V فقط. وهذا يستلزم عددًا كبيرًا من العمليات الحسابية الوسيطة في كل طبقة.

تتمثل إحدى النتائج المترتبة على هذا التكوين في ارتفاع التكلفة الحسابية. تتزايد متطلبات الحوسبة في الانتباه متعدد الرؤوس بمعدل تربيعي مع طول التسلسل: حيث إن مضاعفة عدد الرموز المميزة في تسلسل الإدخال يؤدي إلى زيادة التعقيد الحسابي بمقدار أربعة أضعاف. هذا يضع قيودًا عملية صارمة على حجم نوافذ السياق.

يشكل الانتباه متعدد الرؤوس عبئًا كبيرا على ذاكرة النظام. إذ أن وحدات معالجة الرسوميات (GPUs) تمتلك سعة ذاكرة مدمجة محدودة، مما يجعلها غير قادرة على تخزين الكمية الهائلة من العمليات الحسابية الوسيطة التي يجب استرجاعها عند كل خطوة معالجة لاحقة. بدلا من ذلك، يتم تخزين هذه النتائج الوسيطة في ذاكرة ذات نطاق ترددي عال(HBM)، والتي لا توجد على شريحة GPU نفسها. يستلزم ذلك زمن انتقال طفيف في كل مرة يجب فيها قراءة المفاتيح والقيم من الذاكرة. ومع توسّع نماذج المحولات إلى عدة مليارات من المعلمات، أصبحت متطلبات الوقت والحوسبة اللازمة لتدريب الاستدلال وتشغيله عائقًا يحدُّ من أداء النموذج.

لتحقيق مزيد من التقدم، كان لا بد من تطوير أساليب تقلل عدد العمليات الحسابية دون التأثير على قدرة نماذج المحولات على تعلم الأنماط اللغوية المعقدة وإعادة إنتاجها بدقة. في هذا السياق، تم تقديم آلية الانتباه متعدد الاستعلامات، والتي أعقبها لاحقًا الانتباه بالاستعلامات المجمعة.

الانتباه متعدد الاستعلامات (MQA) هو آلية انتباه أكثر كفاءة من الناحية الحوسبية، حيث تعمل على تبسيط الانتباه متعدد الرؤوس لتقليل استهلاك الذاكرة وتقليص الحسابات الوسيطة. فبدلاً من تدريب رأس متجه مفتاح ورأس متجه قيمة مستقل لكل رأس انتباه، يستخدم MQA رأس متجه مفتاح واحد فقط ورأس قيمة واحد فقط في كل طبقة. وبالتالي، يتم حساب متجهات المفتاح ومتجهات القيمة مرة واحدة فقط؛ ثم تتم مشاركة هذه المجموعة الموحدة من متجهات المفتاح والقيمة عبر جميع رؤوس الانتباه h .

يؤدي هذا التبسيط إلى تقليل عدد الإسقاطات الخطية التي يجب على النموذج حسابها وتخزينها في ذاكرة ذات نطاق ترددي عال. وبحسب البحث المنشور عام 2019 الذي قدم انتباه MQA، يسمح انتباه MQA بتقليل سعة تخزين أزواج القيم والمفاتيح (أو KV cache) بمقدار 10 إلى 100 مرة، كما يوفر سرعة استدلال أعلى بمقدار 12 مرة لأداة فك التشفير. بالإضافة إلى ذلك، يؤدي انخفاض استهلاك الذاكرة في MQA إلى تسريع التدريب بشكل ملحوظ من خلال تمكين استخدام حجم دفعة (Batch Size) أكبر.

على الرغم من مزاياه، فإن الانتباه متعدد الاستعلامات (MQA) يعاني من عدة عيوب لا يمكن تجنبها.

• تدهور الأداء: من الطبيعي أن يؤدي تقليل عدد المعلمات الفريدة القابلة للتدريب إلى تقليل قدرة النموذج على استيعاب المعرفة والتفاصيل الدقيقة. يؤدي الانتباه متعدد الاستعلامات (MQA) إلى انخفاض ملحوظ في الدقة مقارنةً بالانتباه متعدد الرؤوس القياسي (MHA)، مما يجعله غير مناسب لبعض السيناريوهات وحالات الاستخدام.
  
  
• يجب تدريبه من البداية: لا يمكن تكييف نموذج مُدرَّب باستخدام الانتباه متعدد الرؤوس القياسي (MHA) مباشرةً ليعمل مع الانتباه متعدد الاستعلامات (MQA)، بل يجب تدريبه باستخدام MQA من البداية. وهذا يعني أن MQA لا يمكن استخدامه لتحسين النماذج الموجودة، كما أنه ينطوي على تكلفة فرصة كبيرة عند تجربته في نماذج جديدة.
  
  
• التكرار في التوازي الموتر: إحدى الفوائد الرئيسية لتدريب نماذج المحولات على وحدات معالجة الرسوميات هي القدرة على إجراء عمليات موتر معقدة متعددة بالتوازي. يجب أن تكون قيم K و V موجودة على كل عقدة في مجموعة GPU التي تنفذ هذه العمليات، مما يتطلب تكرار هذه القيم لكل عقدة. وعلى الرغم من أن انتباه MQA لا يزال أكثر كفاءة من الانتباه متعدد الرؤوس القياسي (MHA)، إلا أن هذا التكرار ليس استخدامًا مثاليًا لموارد الحوسبة.

الانتباه بالاستعلامات المجمعة هو صياغة أكثر عمومية ومرونة للانتباه متعدد الاستعلامات (MQA). في GQA، يتم تقسيم رؤوس الاستعلام إلى عدة مجموعات، بحيث تشارك كل مجموعة مجموعة مستقلة من متجهات المفتاح والقيمة، بدلاً من مشاركة مجموعة واحدة من متجهات المفتاح والقيمة عبر جميع رؤوس الاستعلام.

بعد نشر البحث "GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints" في مايو 2023، سرعان ما تبنّت العديد من النماذج اللغوية الكبيرة (LLMs) الانتباه بالاستعلامات المجمعة. على سبيل المثال، اعتمدت Meta لأول مرة GQA في نماذجها Llama 2 في يوليو 2023 واحتفظت به في نماذج Llama 3 التي تم إصدارها عام 2024. استخدمت Mistral AI آلية GQA في نموذج Mistral 7B الذي أصدرته في سبتمبر 2023. وبالمثل، تبنّت IBM آلية GQA في نماذجها Granite 3.0 لضمان تنفيذ استدلال أسرع.

من الناحية النظرية، يمكن اعتبار الانتباه بالاستعلامات المجمعة تعميمًا للطيف الممتد بين الانتباه متعدد الرؤوس القياسي القياسي والانتباه متعدد الاستعلامات الكامل. عندما يكون عدد مجموعات رؤوس المفتاح-القيمة في GQA مساويًا لعدد رؤوس الانتباه، فإن ذلك يعادل MHA القياسي. عندما يحتوي GQA على مجموعة رؤوس واحدة فقط، فإنه يعادل MQA بالكامل.

في الممارسة العملية، يشير الانتباه بالاستعلامات المجمعة عادةً إلى نهج وسيط، حيث يكون عدد المجموعات معلمة فائقة مهمة بحد ذاتها.

يوفر الانتباه بالاستعلامات المجمعة العديد من المزايا التي ساهمت في اعتماده على نطاق واسع إلى حدٍّ ما في النماذج اللغوية الكبيرة الرائدة.

• الاستخدام الفعّال لوحدات معالجة الرسوميات (GPU): يستفيد الانتباه بالاستعلامات المجمعة (GQA) من توزيع أزواج المفتاح-القيمة عبر التوازي الموتري، مما يقلل من إهدار القدرة الحاسوبية الناتج عن تكرار القيم الزائدة عن الحاجة.
  
  
• حل وسط فعال: يوفر الانتباه بالاستعلامات المجمعة (GQA) توازنًا مثاليًا بين سرعة الاستدلال في وحدة فك التشفير ودقة الأداء، حيث إنه يقترب في الدقة من الانتباه متعدد الرؤوس (MHA)، لكن يقترب في السرعة من الانتباه متعدد الاستعلامات (MQA).
  
  
• تقليل حمل عرض النطاق الترددي للذاكرة: على غرار الانتباه متعدد الاستعلامات (MQA)، يُقلل الانتباه بالاستعلامات المجمعة (GQA) بشكل كبير من عدد العمليات الحسابية الوسيطة التي يجب حسابها وتخزينها واسترجاعها أثناء وقت الاستدلال.
  
  
• التدريب المرن: على عكس الانتباه متعدد الاستعلامات، لا يتطلب الانتباه بالاستعلامات المجمعة تدريب النماذج من الصفر باستخدام هذا النهج، بل يمكن تعديل النماذج المُدربة مسبقًا باستخدام الانتباه متعدد الرؤوس القياسي لتتبنى الانتباه بالاستعلامات المجمعة عبر عملية ضبط دقيق تُعرف باسم "التدريب التكميلي" (Uptraining).