تُعَد المطالبة الصفرية إحدى طرق هندسة المطالبات التي تعتمد على التدريب المسبق لنموذج لغوي كبير (LLM) لاستنتاج استجابة مناسبة. على عكس طرق هندسة المطالبات الأخرى مثل المطالبة بخطوات قليلة، لا يتم توفير أمثلة على النماذج عند المطالبة بتقنية اللقطة الصفرية.1
من أبرز مميزات نماذج الأساس هو أنه يمكن تكييفها مع العديد من حالات الاستخدام دون الحاجة إلى بيانات تدريب إضافية. في المطالبة الصفرية، يُطلب من النموذج توليد استجابة دون تلقي مثال على الإخراج المطلوب لحالة الاستخدام. وتُعَد المطالبة الصفرية تطبيقًا للتعلم الصفري، وهو نمط تعلم آلي يطلب من النماذج إجراء تنبؤات باستخدام بيانات تدريب صفرية.
في المثال أدناه، يتم توجيه نموذج granite-3-8b-instruct من IBM من سلسلة Granite من IBM باستخدام مطالبة صفرية في حالة استخدام التصنيف.2 في هذه الحالة، يطلب من النموذج تصنيف مشكلة تكنولوجيا المعلومات على أنها تنتمي إلى الفئة "مرتفعة" أو الفئة "منخفضة"، ما يشير إلى إلحاح المشكلة. في هذا المثال، يستنتج النموذج تصنيف "مرتفعة" للمطالبة (كما هو موضَّح بواسطة المخرجات بالخط الغامق)، وهي استجابة مناسبة في هذا السياق.
ملاحظة: تم تنفيذ المطالبة في IBM watsonx.ai Prompt Lab باستخدام وضع "Freeform".
حدِّد اسم الفئة للمشكلة الموضَّحة: عالية أو متوسطة أو منخفضة. توقَّع فقط اسم الفئة للمشكلة الأخيرة، وقدِّم وصفًا قصيرًا لسبب اختيار هذا الاسم.
اسم الفئة: عالية
الوصف: مشكلة ذات تكلفة عمل عالية أو تؤثِّر في العديد من المستخدمين أو كلاهما.
اسم الفئة: متوسطة
الوصف: مشكلة تقع في مكان ما بين الفئة العالية والمنخفضة.
اسم الفئة: منخفضة
الوصف: مشكلة لها تأثير في عدد قليل من المستخدمين، أو ليست لها تكلفة تجارية عالية أو كلاهما.
المشكلة: أبلغ المستخدمون عن عدم قدرتهم على تحميل الملفات.
الفئة: عالية
الوصف: تُعَد هذه المشكلة عالية الخطورة؛ لأنها تؤثِّر في العديد من المستخدمين ولها تكلفة تجارية عالية. إن عدم القدرة على تحميل الملفات قد يمنع المستخدمين من إكمال مهامهم، ما قد يؤدي إلى حدوث تأخيرات وانخفاض الإنتاجية. بالإضافة إلى ذلك، قد تؤثِّر هذه المشكلة في العديد من الأقسام أو الفرق، ما يؤدي إلى زيادة تكاليف الأعمال.
غالبًا ما تكون استراتيجية المطالبة الصفرية هي استراتيجية هندسة المطالبات الافتراضية عند تكليف نموذج بمشكلة جديدة.1يوضِّح هذا المثال كيف من المتوقع أن يُنشئ النموذج استنتاجًا مناسبًا دون أي أمثلة صريحة للاستجابات. يحاكي سيناريو المطالبة الصفرية التعلم البشري في تطبيق المعرفة السابقة لحل المشكلات الجديدة.3
على الرغم من عدم تزويد النموذج بمطالبات، فإنه يتم تزويده بتفاصيل حول كيفية إكمال المهمة:1
التعليمات: أولًا، التعليمات المقدَّمة للنموذج هي "تعيين اسم الفئة للمشكلة الموضَّحة...".
السياق: بعد ذلك، يتضمن سياق النموذج وصفًا لأسماء الفئات.
بيانات الإدخال: يتلقى النموذج بيانات الإدخال لتشغيل مهمة التصنيف مع المطالبة "المشكلة: أبلغ المستخدمون عن عدم قدرتهم على تحميل الملفات".
مؤشر الإخراج: اختياريًا، يمكن للنموذج استقبال مؤشر إخراج، في هذه الحالة النص "الفئة:" الذي يوجِّه النموذج إلى الاستجابة باسم فئة المشكلة. تُشير مؤشرات الإخراج للنموذج إلى نوع المخرجات التي يجب إنتاجها لنوع معين من الاستجابة.
التنسيق المخصص لهذه المطالبة مخصص لمشكلة التصنيف المطروحة. قد تتطلب حالات الاستخدام الأخرى تنسيقًا مختلفًا للمطالبة وقد لا تحتوي على نفس التعليمات والسياق وبيانات الإدخال ومكونات مؤشر الإخراج.1 يمكن أن تتطلب النماذج المختلفة تنسيقات مختلفة للمطالبة. تأكَّد من اتِّباع أي تعليمات يتم تقديمها لكيفية تنسيق المطالبة لنموذج معين. في هذا المثال، وكنتيجة للتدريب المسبق للنموذج والمطالبة المصممة جيدًا باستخدام العناصر الموصوفة، يستجيب النموذج بمخرجات مناسبة لهذه المهمة.
على النقيض من المطالبة الصفرية، توفِّر المطالبة بخطوات قليلة للنموذج أمثلة على المدخلات والمخرجات المتوقعة للمهمة.1 يوضِّح الرسم البياني السابق الفرق بين المطالبة بخطوة واحدة والمطالبة بخطوات قليلة، مع إظهار المطالبة بخطوة واحدة أيضًا كحالة خاصة.
من خلال استخدام نموذج IBM granite-3-8b-instruct نفسه، يتم توفير أمثلة على "المشكلات" و"الفئات" المقابلة لها لهذه المهمة.2 توضِّح الأمثلة الثلاثة المقدَّمة للإدخال والإخراج استراتيجية المطالبة بخطوات قليلة. ردًا على هذه المطالبة، يُجري النموذج تنبؤًا معقولًا للفئة "متوسطة" (كما هو موضَّح بالخط الغامق).
ملاحظة: تم تنفيذ المطالبة بواسطة IBM watsonx.ai Prompt Labباستخدام وضع "Freeform".
حدِّد اسم الفئة للمشكلة الموضَّحة: عالية أو متوسطة أو منخفضة. لقد قدمت بعض الأمثلة على بعض المشكلات وأسماء الفئات المقابلة لها. توقَّع فقط اسم الفئة للمشكلة الأخيرة، وقدِّم وصفًا قصيرًا لسبب اختيار هذا الاسم.
اسم الفئة: عالية
الوصف: مشكلة ذات تكلفة أعمال عالية، تؤثِّر في العديد من المستخدمين، أو كلاهما.
اسم الفئة: متوسطة
الوصف: مشكلة تقع في مكان ما بين الفئة العالية والمنخفضة.
اسم الفئة: منخفضة
الوصف: مشكلة لها تأثير في عدد قليل من المستخدمين، أو ليست لها تكلفة أعمال عالية أو كلاهما.
المشكلة: أبلغ المستخدمون الجُدُد عن عدم تمكنهم من إنشاء حسابات.
الفئة: عالية
المشكلة: أبلغ أحد المستخدمين عن تداخل العلامات في وظيفة التحليلات الخاصة بالتطبيق.
الفئة: منخفضة
المشكلة: أبلغ المستخدمون في الولايات المتحدة عن تعطل التطبيق عند محاولة إجراء عملية شراء.
الفئة: عالية
المشكلة: أبلغ المستخدمون عن عدم تحميل الصور في التطبيق.
الفئة: متوسطة
التوضيح: تؤثِّر مشكلة عدم تحميل الصور في التطبيق على تجربة المستخدمين وقد تسبب الإحباط، لكنها لا تنطوي على تكلفة أعمال عالية ولا تؤثِّر في العديد من المستخدمين. لذلك، يتم تصنيفها على أنها مشكلة متوسطة المستوى.
عادةً يتم استخدام المطالبات بخطوات قليلة، وهي استراتيجية مستمدة من نموذج التعلم قليل الخطوات، لتحسين أداء النموذج مقارنةً بالمطالبات قليلة الخطوات في مهمة ما.1 في هذا المثال، يُنتج نموذج الذكاء الاصطناعي استنتاجات مفيدة في كلٍّ من سيناريوهات المطالبات الصفرية وسيناريوهات المطالبات بخطوات قليلة. عند اتخاذ القرار بشأن استخدام أسلوب المطالبة الصفرية أو المطالبة بخطوات قليلة، ينبغي للمرء أن يأخذ في الاعتبار قيود المشكلة والأداء الموضَّح لكلتا الاستراتيجيتين. وجد Reynolds وMcDonell (2021) أنه مع التحسينات في بنية المطالبة، يمكن أن تتفوق المطالبة الصفرية على المطالبة بخطوات قليلة في بعض السيناريوهات.4 وجد Schulhoff وآخرون (2024) نتائج مختلفة عند مقارنة أداء العديد من استراتيجيات المطالبة.5
المزايا
القيود
أدَّت التطورات في أساليب تدريب النماذج اللغوية الكبيرة إلى تحسين مخرجات النموذج في مهام المطالبة الصفرية عبر استخدامات متعددة.7
رسائل Think الإخبارية
ابقَ مطَّلعًا على أحدث أخبار الصناعة وأدوات الذكاء الاصطناعي والاتجاهات الناشئة في هندسة المطالبات مع رسائل Think الإخبارية. بالإضافة إلى ذلك، احصل على شرح جديد، ودروس تعليمية، ورؤى الخبراء— تصلك مباشرة إلى بريدك الوارد. راجع بيان الخصوصية لشركة IBM.
تعتمد المطالبة الصفرية على المعرفة المدرَّبة مسبقًا لنموذج الأساس ومرونته للتكيف مع المطالبة المطلوبة وتقديم استجابة مناسبة.1
تحسين الاستجابات في سيناريو اللقطة الصفرية هو محور تركيز الباحثين.1 غالبًا ما يتم استخدام دقة استجابة المطالبة الصفرية لقياس أداء النموذج أثناء اختبار أساليب تدريب النموذج الجديدة.7 من التحسينات التي أسهمت في تحسين أداء المطالبة الصفرية: ضبط التعليمات والتعلم المعزز باستخدام التعليقات البشرية (RLHF).8، 9
في ضبط التعليمات، يتم ضبط النموذج باستخدام التعلّم الخاضع للإشراف على مجموعة بيانات تتضمن تعليمات لمختلَف المهام والمخرجات لهذه المهام. تتضمن مجموعة البيانات مهام مثل تلخيص النصوص والتحويل وفهم المقروء. وقد أدَّت استراتيجية الضبط الدقيق هذه باستخدام مجموعة بيانات تعليمية إلى تحسين أداء المطالبة الصفرية في المهام الجديدة في هذه الفئات.8
من الأمثلة الأخرى على استخدام الضبط الدقيق لتحسين نتائج المطالبة الصفرية هو الضبط الدقيق للتعلم المعزز باستخدام التعليقات البشرية (RLHF)، حيث يتعلم التعلم المعزز سياسة توجِّه النموذج إلى مخرجات أفضل. في هذه العملية المكونة من 3 خطوات، يتم ضبط النموذج أولًا باستخدام مجموعة بيانات تعليمية قدَّم فيها البشر الاستجابات المستهدفة. بعد ذلك، يعرض النموذج مخرجات للعديد من المطالبات المصنّفة من قِبَل البشر. أخيرًا، يتم استخدام المخرجات المصنّفة لتدريب نموذج التعلم المعزز الذي يتعلم سياسة لاختيار أفضل المخرجات بناءً على هذه التصنيفات التي يقدِّمها البشر.12
تستخدم الخطوة الأخيرة قدرة التعلم المعزز على استخدام عواقب (المكافآت أو العقوبات) للإجراءات (القرار أو المسار المتخذ) لتعلم استراتيجية (أو سياسة) لاتخاذ قرارات جيدة. في هذه الحالة، تكون مساحة المشكلة هي جميع الاستراتيجيات المحتملة التي يمكن استخدامها في اختيار النموذج لمخرجات جيدة كاستجابة له.9
بالمقارنة مع التعلم الآلي التقليدي الخاضع للإشراف لمعالجة اللغة الطبيعية (NLP)، لا تتطلب المطالبة الصفرية بيانات تدريب مُصنَّفة. يمكن لممارسي الذكاء الاصطناعي وعلماء البيانات استخدام تقنية الذكاء الاصطناعي التوليدي للنماذج اللغوية الكبيرة في سيناريو المطالبة الصفرية لحالات الاستخدام المختلفة بما في ذلك:10
تصنيف النص
كما هو موضَّح في المثال السابق الذي يصنِّف أولوية مشكلات تكنولوجيا المعلومات باستخدام نموذج IBM's granite-3-8b-instruct، يمكن للنموذج أن يحقق التصنيف دون أمثلة مسبقة تنتمي إلى الفئات المختلفة. هذه القدرة مثالية للحالات التي توجد فيها بيانات تدريب محدودة أو معدومة. يُظهر هذا البرنامج التعليمي لتصنيف المطالبة الصفرية تنفيذًا لحالة الاستخدام هذه.
استخراج المعلومات
بالنظر إلى مجموعة من النصوص وسؤال، يمكن للنموذج اللغوي الكبير استخراج المعلومات المطلوبة وفقًا للمطالبة.
الإجابة عن الأسئلة
باستخدام المعرفة المدرَّبة مسبقًا للنموذج، يمكن للمستخدم المطالبة بالإجابة عن سؤال.
تلخيص النص
بالنظر إلى النص والتعليمات الخاصة بتلخيصه، يمكن للنماذج اللغوية الكبيرة تنفيذ هذه المهمة في سيناريو المطالبة الصفرية دون الحاجة إلى تلخيص نصوص أخرى كمثال.
التوليد
تولِّد النماذج اللغوية الكبيرة البيانات على شكل نصوص أو كود أو صور أو غير ذلك، وفق حالات الاستخدام المحددة.
المحادثة
عادةً باستخدام النماذج المصممة للدردشة (مثل سلسلة Chat-GPT الشهيرة)، يمكن للنماذج اللغوية الكبيرة التفاعل مع المستخدم في وضع الدردشة، وتنفيذ العديد من حالات الاستخدام السابقة.
بالنسبة إلى حالات الاستخدام المعقدة مثل مهام الاستدلال متعددة الخطوات، قد تفشل كلٌّ من المطالبة الصفرية والمطالبة بخطوات قليلة في إنتاج استجابة مناسبة من النموذج. يمكن أن تكون تقنيات المطالبة المتقدمة بما في ذلك سلسلة الأفكار وشجرة الأفكار أكثر نجاحًا في هذه الحالات.
سلسلة الأفكار: توجيه سلسلة الأفكار (CoT) هي استراتيجية تطرح مهمة على النموذج من خلال تحديد المهمة الكبرى كسلسلة من الخطوات المنفصلة لحلها. يعمل هذا العرض للخطوات الوسيطة على تحسين قدرة النموذج على توليد استجابة صحيحة. تسمح CoT أيضًا بشفافية أفضل في عملية حل المشكلات؛ بسبب توضيح الخطوات الوسيطة. تُظهر هذه التقنية الموجَّهة النجاح في مجالات تشمل تحسين أداء روبوتات المحادثة لخدمة العملاء، والمساعدة على تنظيم أفكار الباحثين والكتَّاب وإنشاء أوصاف خطوة بخطوة لمشكلات الرياضيات والعلوم.11
شجرة الأفكار: يولِّد توجيه شجرة الأفكار (ToT) شجرة نصية متفرعة للخطوات التالية المحتملة والحلول الممكنة المقابلة للمشكلة. تسمح هذه البنية الشجرية للنموذج باستكشاف مسارات متعددة والتراجع، إذا لزم الأمر، عندما لا يؤدي المسار إلى حل مقبول. وهي مصممة لتقريب الاستراتيجية البشرية عند مقارنة المسارات المحتملة بالحل. تتمثل الاستراتيجية الشائعة لاستكشاف الحلول في البحث الواسع النطاق أولًا (BFS) والبحث العميق أولًا (DFS) إلى جانب نهج البحث الاستدلالي والتعلم المعزز. استخدَم الباحثون هذا التطبيق لحل الألغاز مثل سودوكو ولعبة 24.12، 13
1. E. Saravia. "Prompt Engineering Guide." https://github.com/dair-ai/Prompt-Engineering-Guide (accessed Oct 2024).
2. "Granite 3.0 Language Models," IBM Research, Yorktown Heights, NY, Oct 2024. https://github.com/ibm-granite/granite-3.0-language-models/blob/main/paper.pdf
3. B. Romera-Paredes, P. Torr, "An embarrassingly simple approach to zero-shot learning," in ICML, 2015, pp. 2152–2161, https://proceedings.mlr.press/v37/romera-paredes15.pdf.
4. L. Reynolds, K. McDonell, "Prompt Programming for Large Language Models: Beyond the Few-Shot Paradigm", Feb 2021, https://doi.org/10.48550/arXiv.2102.07350.
5. S. Schulhoff, M. Ilie, N. Balepur, K. Kahadze, A. Liu, C. Si, Y. Li, A. Gupta, H. Han, S. Schulhoff, P. S. Dulepet, S. Vidyadhara, D. Ki, S. Agrawal, C. Pham, G. Kroiz, F. Li, H. Tao, A. Srivastava et al. "The Prompt Report: A Systematic Survey of Prompting Techniques," Dec 2024, https://doi.org/10.48550/arXiv.2406.06608.
6. Y. Li, Yinheng, "A Practical Survey on Zero-shot Prompt Design for In-context Learning," in RANLP, July 2023, pp. 641-647 ، https://acl-bg.org/proceedings/2023/RANLP%202023/pdf/2023.ranlp-1.69.pdf.
7. H. Touvron, T. Lavril, G. Izacard, X. Martinet, M.-A. Lachaux, T. Lacroix, B. Rozi`ere, N. Goyal, E. Hambro, F. Azhar, A. Rodriguez, A. Joulin, E. Grave and G. Lample, “LLaMA: Open and efficient foundation language models,” Feb 2023, https://doi.org/10.48550/arXiv.2302.13971.
8. J. Wei, M. Bosma, V. Y. Zhao, K. Guu, A. W. Yu, B. Lester, N. Du, A. M. Dai and Q. V. Le, "Finetuned Language Models are Zero-Shot Learners," in ICLR, 2022, https://doi.org/10.48550/arXiv.2109.01652.
9. L. Ouyang, J. Wu, X. Jiang, D. Almeida, C. L. Wainwright, P. Mishkin, C. Zhang, S. Agarwal, K. Slama, A. Ray, J. Schulman, J. Hilton, F. Kelton, L. Miller, M. Simens, A. Askell, P. Welinder, P. Christiano, J. Leike, and R. Lowe, “Training language models to follow instructions with human feedback,” in NeurIPS, 2022, https://proceedings.neurips.cc/paper_files/paper/2022/file/b1efde53be364a73914f58805a001731-Paper-Conference.pdf.
10. P. Liu, W. Yuan, J. Fu, Z. Jiang, H. Hayashi, and G. Neubig, “Pre-train, prompt and predict: A systematic survey of prompting methods in Natural Language Processing,” ACM Computing Surveys, vol. 55, no. 9, pp. 1–35, Jan. 2023, https://dl.acm.org/doi/pdf/10.1145/3560815.
11. J. Wei, X. Wang, D. Schuurmans, M. Bosma, B. Ichter, F. Xia, E. Chi, Q. Le, and D. Zhou, “Chain-of-thought prompting elicits reasoning in large language models,” Jan 2023, https://doi.org/10.48550/arXiv.2201.11903.
12. J. Long, "Large Language Model Guided Tree-of-Thought," May 2023, https://doi.org/10.48550/arXiv.2305.08291.
13. S. Yao, D. Yu, J. Zhao, I. Shafran, T. L. Griffiths, Y. Cao, and K. Narasimhan, "Tree of Thoughts: Deliberate Problem Solving with Large Language Models," Dec 2023, https://doi.org/10.48550/arXiv.2305.10601.