ما المقصود بالنماذج اللغوية المقنعة؟

النماذج اللغوية المقنعة (MLM) هي نوع من النماذج اللغوية الكبرى (LLM) المستخدمة للمساعدة على التنبؤ بالكلمات المفقودة من النص في مهام معالجة اللغة الطبيعية (NLP). وعليه، تُعد النمذجة اللغوية المقنعة أحد أشكال تدريب نماذج المحولات—ولا سيما تمثيلات التشفير ثنائية الاتجاه من المحولات (BERT) ومشتقاته المحسنة بقوة والمدربة مسبقًا (RoberTA)—على مهام معالجة اللغة الطبيعية من خلال تدريب النموذج على ملء الكلمات المقنعة داخل النص، ومن ثَم التنبؤ بالكلمات الأكثر احتمالية وتماسكًا لإكمال النص.¹

تساعد النمذجة اللغوية المقنعة في العديد من المهام—بدءًا من تحليل المشاعر إلى توليد النصوص—من خلال تدريب النموذج على فهم العلاقة السياقية بين الكلمات. في الواقع، غالبًا ما يستخدم المطورون الباحثون النمذجة اللغوية المقنعة لإنشاء نماذج مدربة مسبقًا تخضع لمزيد من الضبط الدقيق الخاضع للإشراف للمهام اللاحقة، مثل تصنيف النصوص أو الترجمة الآلية. ومن ثَم، تدعم النماذج اللغوية المقنعة العديد من خوارزميات النمذجة اللغوية الحديثة. على الرغم من أن النمذجة اللغوية المقنعة هي طريقة للتدريب المسبق للنماذج اللغوية، فإن المصادر الإلكترونية تشير إليها أحيانًا على أنها طريقة تعلم بالنقل. قد يكون هذا مبررًا، حيث بدأت بعض مجموعات البحث في تطبيق النمذجة اللغوية المقنعة كمهمة نهائية بحد ذاتها.

تحتوي محولات HuggingFace ومكتبات Tensorflow النصية على دوال مصممة لتدريب النماذج اللغوية المقنعة في Python واختبارها، سواء كمهام نهائية أو مهام لاحقة.

تُعد الإجراءات العامة التي تميز النماذج اللغوية المقنعة واضحة إلى حد ما. ولكونها شكلاً من أشكال التعلم غير الخاضع للإشراف، تبدأ النمذجة اللغوية المقنعة بمجموعة بيانات نصية كبيرة وغير مصنفة. تستبدل الخوارزمية عينة عشوائية من الكلمات من هذا الإدخال النصي برموز مميزة مقنعة، والتي يمكن أن تتكون من الرمز [MASK] أو رموز كلامية أخرى من مفردات نص الإدخال. لكل رمز مقنع، يتنبأ النموذج بعد ذلك بالرموز الكلامية المرجح ظهورها في نص الإدخال الأصلي.²

على سبيل المثال، في الجملة التالية من مسرحية عطيل لشكسبير، جرى استبدال كلمتين برموز مميزة مقنعة بينما جرى استبدال كلمة أخرى برمز مميز مختلف تمامًا:

بعد ذلك، سيدرب النموذج وحدة تشفير ثنائية الاتجاه على التنبؤ بالرمز المميز للإدخال الأصلي والذي جرى تقنيعه. كيف يفعل ذلك؟ لا شك أن توضيح الآليات الداخلية للنماذج اللغوية المقنعة يتطلب معرفة أساسية بالجبر المتقدم والتعلم الآلي. ومع ذلك، يمكن إلقاء نظرة عامة سريعة.

لكل رمز كلامي في بيانات النص المدخلة، يولد النموذج تضمينات كلامية مشابهة لنموذج حقيبة الكلمات. يجمع النموذج بين التضمينات الكلامية هذه والترميزات المكانية لإنشاء مدخلات المحول. تمثل الترميزات المكانية، باختصار، موقع رمز كلامي معين في تسلسل باستخدام قيمة متجهة فريدة. من خلال الترميزات المكانية (أو التضمينات المكانية)، يمكن للنموذج تسجيل معلومات دلالية حول الكلمات من خلال علاقاتها المكانية مع الكلمات الأخرى.

يستخدم نموذج المحول هذه التضمينات الكلامية والمكانية لإنشاء توزيعات احتمالية على مفردات الإدخال لكل رمز مميز مقنع. الكلمات ذات الاحتمالية الأعلى المتوقعة لكل رمز مميز مقنع هي تنبؤات النموذج الخاصة بالقيمة الحقيقية لكل رمز مميز.³

تُعد النمذجة اللغوية المقنعة سمة مميزة للتدريب المسبق للنموذج المحول BERT—بل في الواقع، دُمج الاثنان معًا وقُدما إلى مجتمع التعلم الآلي. قبل BERT، كانت النماذج اللغوية أحادية الاتجاه. وهذا يعني أنهم تعلموا تمثيلات اللغة من خلال التفكير في النص الذي يسبق كلمة معينة. ومع ذلك، فإن نهج BERT في مهمة النمذجة اللغوية المقنعة يأخذ في الحسبان كلاً من النص السابق والنص التالي.⁴ يعتمد وجه الاختلاف الأساسي بين النُهج أحادية الاتجاه وثنائية الاتجاه على كيفية فك طبقة الاهتمام الذاتي في المحول لتشفير قيم الإخراج.

عند توقع الكلمة التالية في التسلسل—أو في حالتنا هذه، الكلمة المفقودة—يأخذ النموذج أحادي الاتجاه في الحسبان الكلمات التي تسبق القيمة المفقودة فقط. وتسمى وحدات فك تشفير المحولات التي تعمل بهذه الطريقة أيضًا السببية أو الاسترجاعية. عند معالجة تسلسل الإدخال، تأخذ وحدات فك التشفير فقط في الحسبان تلك المدخلات التي تصل إلى وتتضمن رمز الإدخال المعني؛ لا تتمكن وحدات فك التشفير من الوصول إلى مدخلات الرموز المميزة التالية بعد الرمز قيد النظر. على النقيض من ذلك، تولد وحدات التشفير ثنائية الاتجاه، كما هي معتمدة في نموذج BERT، تنبؤات باستخدام جميع رموز الإدخال، لتلك التي تسبق القيمة المقنعة وتلك التي تليها.⁵

للتوضيح، دعونا نعد إلى اقتباس عطيل المذكور: "But I do think it is their husbands’ faults if wives do fall." تخيل أنه، لسبب ما، لدينا هذا النص كامل باستثناء كلمة wives: "But I do think it is their husbands’ faults if ________ do fall." ونريد تحديد ما يملأ هذا الفراغ. يوضح هذا الشكل الاختلاف في كيفية معالجة كل من وحدات فك التشفير للجملة التي نستخدمها كمثال:

في هذا الشكل، تشير y إلى المخرج المتوقع للرمز المميز المقنع. لا يستخدم المحول أحادي الاتجاه إلا تلك القيم المدخلة التي تسبق الرمز المميز المقنع للتنبؤ بقيمته. ومع ذلك، يستخدم المحول ثنائي الاتجاه التضمينات المكانية من جميع القيم المدخلة—سواء تلك التي تسبق الرمز المقنع أو التي تليه—للتنبؤ بقيمة الرمز المميز المقنع.

يستخدم المطورون والباحثون نماذج لغوية مقنعة لتشغيل العديد من مهام معالجة اللغة الطبيعية، مثل التعرف على الكيانات المسماة، والإجابة عن الأسئلة، وتصنيف النصوص. وكما هو الحال مع العديد من مجالات معالجة اللغة الطبيعية، غالبًا ما تركز أبحاث النمذجة اللغوية المقنعة على اللغات اللاتينية، وخاصةً اللغة الإنجليزية. وفي الآونة الأخيرة، طوّرت تجارب منشورة مجموعات بيانات للغات غير اللاتينية، مثل اليابانية والروسية، وقيمتها من أجل النمذجة اللغوية المقنعة والمهام اللاحقة.⁶ بالإضافة إلى ذلك، تقترح إحدى المجموعات البحثية طريقة ضعيفة الإشراف لتدريب النماذج اللغوية المقنعة متعددة اللغات مسبقًا. على وجه التحديد، يقدمون رمزًا مقنعًا خاصًا لتنفيذ تمرير عبر اللغات في أثناء التدريب المسبق على مجموعات البيانات متعددة اللغات. وتُظهر طريقتهم تحسنًا ملحوظًا في التصنيف متعدد اللغات باستخدام نماذج لغوية مقنعة متعددة اللغات.⁷

وكما ذكرنا، قد يستخدم الباحثون غالبًا النمذجة اللغوية المقنعة كوسيلة لتحسين أداء النماذج في مهام معالجة اللغة الطبيعية اللاحقة. تتضمن هذه المهام ما يلي:

التعرف على الكيانات المسماة. تستخدم هذه المهمة النماذج والشبكات العصبية لتحديد فئات الكائنات المحددة مسبقًا في النصوص—مثل أسماء الأشخاص، وأسماء المدن، وما إلى ذلك. وكما هو الحال مع العديد من أهداف التعلم الآلي، كان نقص البيانات المناسبة عقبة أمام التعرف على الكيانات المسماة. ولمعالجة هذه المشكلة، استكشف الباحثون النمذجة اللغوية المقنعة كشكل من أشكال زيادة البيانات للتعرف على الكيانات المسماة، وقد حقق ذلك نجاحًا ملحوظًا.⁸

تحليل المشاعر. تحليل المشاعر يحلل البيانات ويصنفها إلى إيجابية أو سلبية أو محايدة. وغالبًا ما يُستخدم لتصنيف مجموعات كبيرة من تقييمات العملاء عبر الإنترنت. وعلى غرار التعرف على الكيانات المسماة، استكشف الباحثون النمذجة اللغوية المقنعة كتقنية لزيادة البيانات في مهام تحليل المشاعر.⁹ علاوة على ذلك، تُظهِر النمذجة اللغوية المقنعة أنها واعدة في التكيف مع المجال من أجل مهام تحليل المشاعر. ويشير البحث تحديدًا إلى أنها تساعد على التركيز على التنبؤ بالكلمات ذات الأوزان الكبيرة في مهام تصنيف المشاعر.¹⁰