ما المقصود بدرجة حرارة النموذج اللغوي الكبير؟

تولِّد النماذج اللغوية الكبيرة النص عن طريق التنبؤ بالكلمة التالية (أو بالأحرى الرمز التالي) وفقًا لتوزيع احتمالات محدد. يتم تعيين قيمة عددية تُعرَف باسم logit لكل رمز مميز من النموذج اللغوي الكبير، ويتم تحويل مجموعة الرموز المميزة بالكامل إلى توزيع احتمالات Softmax. يتم تعيين قيمة لكل رمز عبر دالة Softmax تتراوح بين الصفر والواحد، ويكون مجموع احتمالات Softmax لجميع الرموز يساوي واحدًا.

تُعدِّل مَعلمة درجة الحرارة (temperature) في النموذج اللغوي الكبير هذا التوزيع. درجة الحرارة المنخفضة تجعل الرموز ذات الاحتمال الأعلى أكثر احتمالًا للاختيار، بينما تزيد درجة الحرارة العالية من احتمال اختيار الرموز الأقل احتمالًا. يحدث هذا لأن القيمة الأعلى لدرجة الحرارة تُدخل مزيدًا من التنوع في اختيار الرموز بواسطة النموذج اللغوي الكبير. تؤدي إعدادات درجات الحرارة المختلفة إلى مستويات متفاوتة من العشوائية عند توليد النصوص بواسطة نموذج الذكاء الاصطناعي التوليدي.

تُعَد درجة الحرارة ميزة أساسية للتحكم في العشوائية في أداء النموذج. تُتيح هذه الخاصية للمستخدمين ضبط مخرجات النموذج اللغوي الكبير لتناسب بشكل أفضل التطبيقات الواقعية المختلفة لتوليد النصوص. بشكل أكثر تحديدًا، تُتيح هذه الإعدادات في النموذج اللغوي الكبير للمستخدمين الموازنة بين الاتساق والإبداع عند توليد المخرجات لحالة استخدام معينة. على سبيل المثال، قد تكون درجة الحرارة المنخفضة مفضلة للمهام التي تتطلب الدقة والصحة الواقعية، مثل الوثائق التقنية أو الردود الحوارية مع روبوتات المحادثة. تساعد القيمة المنخفضة لدرجة الحرارة النموذج اللغوي الكبير على إنتاج نصوص أكثر اتساقًا وانسجامًا وتجنُّب الردود غير ذات الصلة. بالمقابل، يُفضَّل استخدام درجة الحرارة العالية للإنتاج الإبداعي أو المهام الإبداعية مثل الكتابة الإبداعية أو جلسات توليد الأفكار. تُتيح إعدادات درجة الحرارة للمستخدمين ضبط النماذج اللغوية الكبيرة بدقة وتعديل مخرجات النموذج لتلائم النتائج المطلوبة لديهم.

غالبًا ما يتم الخلط بين درجة الحرارة و"الإبداع"، لكن هذا لا ينطبق دائمًا. من الأفضل التفكير فيها على أنها مدى اتساع استخدام النموذج للنصوص من بيانات تدريبه. أجرى Max Peeperkorn وآخرون¹ تحليلًا تجريبيًا لمخرجات النموذج اللغوي الكبير لقيم درجات الحرارة المختلفة وكتب:

"وجدنا أن درجة الحرارة ترتبط ارتباطًا ضعيفًا بالحداثة، وبشكل متوقع، ترتبط ارتباطًا متوسطًا بعدم الاتساق، لكن لا توجد أي علاقة مع كل من الترابط أو الطابع النموذجي. مع ذلك، فإن تأثير درجة الحرارة في الإبداع أكثر تعقيدًا وضعفًا مما تُوحي به مطالبة "مَعلمة الإبداع"، وتشير النتائج الإجمالية إلى أن النموذج اللغوي الكبير ينتج مخرجات أكثر حداثة قليلًا مع ارتفاع درجة الحرارة.

يمكن لقيمة درجة الحرارة المرتفعة أن تجعل مخرجات النموذج تبدو أكثر إبداعًا ولكن من الأدق اعتبارها أقل تحديدًا من خلال بيانات التدريب.

تحتوي العديد من واجهات برمجة التطبيقات (APIs) للوصول إلى النماذج، بما في ذلك IBM® Granite Instruct وChatGPT من OpenAI، على مَعلمات لضبط درجة الحرارة بالإضافة إلى مجموعة متنوعة من مَعلمات النماذج اللغوية الكبيرة الأخرى. والثلاثة الأكثر شيوعًا هي:

do_sample: تتحكم هذه المَعلمة فيما إذا كان النموذج يأخذ عينات أثناء توليد النص أم لا. أخذ العينات هو طريقة لتغيير مخرجات النص. عند ضبطها على "True"، يأخذ النموذج عينات عشوائية من احتمالات الرموز المميزة المحذوفة بدلًا من اختيار الكلمة الأكثر احتمالًا دائمًا من التسلسل في مجموعة البيانات. في الواقع، يجب ضبط هذا الخيار على "True" لتمكين تعديل درجة الحرارة للنموذج اللغوي الكبير المدرَّب مسبقًا.

top_k: تحدِّد هذه المَعلمة خيارات النموذج الممكنة عند أخذ عينات عشوائية لتقتصر على أعلى k من الرموز المميزة الأكثر احتمالًا. بينما تُتيح المعلمة السابقة أخذ عينات عشوائية من رموز مميزة محتملة أخرى غير الأكثر احتمالًا، تعمل هذه المَعلمة على تقييد عدد الرموز المميزة المحتملة التي يمكن للنموذج اختيارها. وبينما يساعد أخذ العينات العشوائية على إنتاج مخرجات أكثر تنوعًا وتعددًا، تساعد هذه المَعلمة في الحفاظ على جودة النص الناتج عن طريق استبعاد الرموز المميزة الأقل احتمالًا من التوليد.

top_p: تُعرَف هذه المَعلمة أحيانًا أيضًا باسم nucleus sampling. وهي طريقة أخرى لتقييد خيارات أخذ العينات العشوائية لتجنُّب المخرجات غير المتسقة أو غير المنطقية. تسمح هذه المَعلمة للنموذج بالنظر في الرموز المميزة التي يكون احتمالها التراكمي أكبر من قيمة احتمال محددة. عند اختيار الرموز المميزة للمخرجات التي تم إنشاؤها، يختار النموذج فقط مجموعة من الرموز المميزة التي يزيد احتمالها الإجمالي عن 95% على سبيل المثال. بينما يُتيح أخذ العينات العشوائية للنموذج الحصول على مخرجات أكثر ديناميكية، فإن المَعلمة top p تضمن حفاظ المخرجات على بعض التماسك والاتساق.

في كثير من الأحيان تسمح النماذج للمستخدمين بالتحكم في المخرجات من النموذج بشكل أكثر وضوحًا أيضًا. بعض المَعلمات شائعة الاستخدام للتحكم في المخرجات هي:

الحد الأقصى للطول: الحد الأقصى للطول هو إجمالي عدد الرموز المميزة التي يُسمَح للذكاء الاصطناعي بتوليدها. يُعَد هذا الإعداد مفيدًا لأنه يسمح للمستخدمين بإدارة طول استجابة النموذج ويمكن أن يمنع الاستجابات الطويلة أو غير ذات الصلة. 

تسلسلات الإيقاف: تخبر هذه التسلسلات النموذج متى يتوقف عن توليد المخرجات وتساعد على التحكم في طول المحتوى وبنيته. مطالبة نموذج لغوي كبير بكتابة بريد إلكتروني باستخدام "مع أطيب التحيات" أو "مع خالص التقدير"، كتسلسل إيقاف يخبر النموذج بالتوقف قبل التحية الختامية. يمكن أن تساعدك هذه المطالبة على إبقاء البريد الإلكتروني قصيرًا ومباشرًا. تكون تسلسلات الإيقاف مفيدة للمخرجات التي تتوقع أن تخرج بتنسيق منظم مثل رسالة بريد إلكتروني أو قائمة مرقمة أو مربع حوار.

عقوبة التردد: عقوبة التردد هي إعداد لا يشجِّع على التكرار في النص الذي تم إنشاؤه من خلال معاقبة الرموز المميزة بشكل متناسب مع عدد مرات ظهورها. كلما زاد عدد مرات استخدام الرمز المميز في النص، قلَّ احتمال استخدام النموذج اللغوي الكبير له مرة أخرى.

عقوبة الظهور: تشبه عقوبة الظهور عقوبة التردد، ولكنها تعاقب الرموز المميزة بناءً على إذا ما كانت قد ظهرت أم لا بدلًا من معاقبتها بشكل متناسب.

لمعرفة كيفية تأثير درجة الحرارة على مخرجات النموذج اللغوي الكبير، انظر إلى المخرجات التي تم إنشاؤها بواسطة نموذج IBM granite 3.1 2 المكوَّن من مليار مَعلمة. المطالبة المقدَّمة هنا كانت: "اكتب قصة عن عالم بيانات يحب لغة Python".

بدرجة حرارة تبلغ 0.1 يُنتج Granite ما يلي:

في قديم الزمان، في مدينة سان فرانسيسكو الصاخبة، عاش عالم بيانات بارع يُدعى أليكس. كان أليكس مشهورًا بمهاراته الاستثنائية في برمجة Python وتحليل البيانات. كان يقضي أيامه ولياليه منغمسًا في عالم البيانات، مستخدمًا Python لاستخلاص الرؤى وإجراء التنبؤات.
وفي أحد الأيام، طُلب من أليكس تحليل معدل انسحاب العملاء لخدمة بث شهيرة. استخدم مكتبة scikit-learn في Python لبناء نموذج تعلُّم آلي قادر على التنبؤ بالعملاء الذين من المرجح أن يلغوا اشتراكاتهم.

بدرجة حرارة تبلغ 0.75 يُنتج Granite ما يلي:

في قديم الزمان، في مدينة سان فرانسيسكو الصاخبة، عاش عالم بيانات بارع يُدعى أليكس. كان أليكس معروفًا بشغفه العميق بلغة البرمجة Python، التي كان يعتقد أنها الأداة المثالية لتحليل البيانات والتعلم الآلي.
كل يوم، كان أليكس يستيقظ مبكرًا، يُحضِر كوبًا من القهوة، ويجلس على مكتبه. كان يقضي ساعات في كتابة الأكواد بلغة Python، واستكشاف مجموعات البيانات، وبناء النماذج التنبؤية. لم يكن حبه للغة Python مقتصرًا على اللغة نفسها، بل شمل أيضًا المجتمع الذي نشأ حولها.

بدرجة حرارة تبلغ 1.25 يُنتج Granite ما يلي:

في قديم الزمان، في مدينة مزدحمة مليئة بناطحات السحاب والأضواء النيونية، كان هناك عالم بيانات يحب لغة البرمجة Python أكثر من أي شيء آخر في العالم. لدى عالم البيانات مساعدة قطط تُدعى سوكي. كانت سوكي قطة فضولية ومرحة، دائمة الرغبة في استكشاف كل زاوية وركن في المنزل.وذات يوم، كان عالم البيانات يعمل على مشكلة برمجية معقدة. استمرت سوكي في المواء بصوت عالٍ كما لو كانت تحاول إيصال رسالة لعالم البيانات. لاحظ عالم البيانات أن المواء العالي يحدث عادة عندما يكون على وشك إيجاد حل للمشكلة البرمجية المعقدة.

لاحظ أنه بالرغم من أن كل قصة تبدأ ببداية مشابهة، فإن زيادة درجة الحرارة تزيد من تنوع النصوص والتفاصيل التي يتم توليدها.