غالبًا ما يصاحب نشر نماذج الذكاء الاصطناعي للمهام المعقدة مثل تلخيص التقارير أو الإجابة عن الاستفسارات أو ترجمة المستندات تحديات كبيرة. عادةً ما تتطلب هذه النماذج إعادة تدريب واسعة باستخدام مجموعات بيانات كبيرة ومشروحة، بالإضافة إلى عمليات ضبط دقيق مكلِّفة. كل مهمة جديدة تضيف مزيدًا من التعقيد، ما يبطئ الابتكار، ويزيد التكاليف، ويَحُدّ من قدرة الذكاء الاصطناعي على التوسع عبر حالات استخدام متنوعة.
الآن ، تخيَّل نهجًا مختلفًا. ماذا لو تمكن نموذج الذكاء الاصطناعي من التكيف مع المهام الجديدة على الفور، دون الحاجة إلى إعادة التدريب أو بيانات إضافية؟ هذه هي ميزة التعلم في السياق (ICL) التي تمكِّن نماذج الذكاء الاصطناعي من تعلم المهام بشكل ديناميكي بمجرد تزويدها بأمثلة داخل المطالبة. فهو يقضي على عوائق التعلم الآلي (ML) التقليدي ويوفر حلولًا أسرع وأكثر مرونة وفاعلية من حيث التكلفة.
التعلم في السياق (ICL) هو قدرة متقدمة للذكاء الاصطناعي تم تقديمها في الورقة البحثية الرائدة "Language Models are Few-Shot Learners"، التي كشفت عن GPT-3.1 على عكس التعلم الخاضع للإشراف، حيث يمر النموذج بمرحلة تدريب مع الانتشار الخلفي لتعديل معاييره، يعتمد ICL بالكامل على نماذج اللغة المدرَّبة مسبقًا ويحافظ على معاييره دون تغيير.
يستخدم نموذج الذكاء الاصطناعي المطالبة كدليل مؤقت لاستنتاج المهمة وإنشاء المخرجات المتوقعة. يعمل ICL من خلال التعرُّف على العلاقات بين الأمثلة في المطالبة والمعروفة أيضًا باسم أزواج الإدخال/الإخراج وتطبيق التعيين نفسه على المدخلات الجديدة. تُحاكي هذه العملية التفكير البشري، حيث نعمل على حل المشكلات الجديدة عن طريق الاستعانة بالتشابه مع التجارب السابقة. يعتمد على الأنماط والمعرفة المكتسبة أثناء التدريب المسبق ويتكيف ديناميكيًا مع المهام الجديدة، ما يجعله مرنًا وفعَّالًا للغاية.
في جوهره، يعمل التعلم في السياق عن طريق تكييف نموذج لغوي كبير (LLM) مع مطالبة تتضمن مجموعة من الأمثلة (أزواج إدخال/إخراج أو أمثلة في السياق)، والتي تُكتب عادةً بلغة طبيعية كجزء من تسلسل الإدخال. هذه الأمثلة، التي غالبًا ما يتم استخلاصها من مجموعة بيانات، لا يتم استخدامها لإعادة تدريب النموذج، بل يتم إدخالها مباشرةً في نافذة السياق الخاصة به. تعرض هذه النافذة كمية النص التي يمكن للنموذج اللغوي الكبير (LLM) معالجتها دفعة واحدة، حيث تعمل كذاكرة مؤقتة لتوليد استجابات متسقة، وهي الجزء من النموذج المسؤول عن معالجة المدخلات المتسلسلة.
رسميًا، لنفترض أن المطالبة تتكون من k من الأمثلة على شكل أزواج إدخال/إخراج:
C={(x1 ,y1 ),(x2 ,y2 ),...,(xk ,yk )}
بالنظر إلى إدخال جديد x ومساحة الإخراج المحتملة Y={y1,...,ym}، يحسب النموذج احتمال كل إخراج ممكن بناءً على المطالبة:
P(yj ∣ x,C)
يتم تحديد التوقع عن طريق اختيار الخيار ذي الاحتمال الأعلى:
لا يحدِّث النموذج أوزانه أثناء هذه العملية. بدلًا من ذلك، ومن خلال الاستفادة من بنية المحوِّلات في التعلم العميق، يتعلم النموذج الأنماط ديناميكيًا باستخدام الأمثلة الموجودة فقط في المطالبة الحالية.
للاطِّلاع على هذه الطريقة عمليًا، فكِّر في مهمة تصنيف المشاعر. قد تبدو المطالبة كما يلي:
التقييمات: كان الفيلم رائعًا ← المشاعر: إيجابية
التقييمات: لقد كرهت القصة ← المشاعر: سلبية
التقييمات: كانت الموسيقى ممتعة ← المشاعر:
يُكمل النموذج السطر الأخير بتوقُّع كلمة "إيجابية"، مواصلًا النمط الذي تمت ملاحظته في أزواج الإدخال-التصنيف السابقة. يُظهر هذا المثال التعلم بخطوات قليلة، حيث يستنتج النموذج المهمة ويولِّد استجابات مناسبة استنادًا إلى عدد قليل من الأمثلة.
نظرًا لأن نجاح نموذج الذكاء الاصطناعي يعتمد على ما يتم عرضه في المطالبة، فإن هندسة المطالبات تؤدي دورًا حاسمًا في التعلم في السياق (ICL). تُشير هندسة المطالبات إلى صياغة مطالبات عالية الجودة، غنية بالمعلومات ومنظمة بشكل جيد، لتوجيه النموذج بشكل فعَّال. غالبًا ما تستخدم المطالبات قوالب اللغة الطبيعية، والتي يتم اختيارها بعناية لتتناسب مع ما شاهده النموذج أثناء التعرض لبيانات ما قبل التدريب. يمكن أن تؤثِّر الاختلافات في الصياغة وتنسيق التصنيف وترتيب الأمثلة وحتى علامات الترقيم في الأداء، وخاصةً في النماذج الأصغر أو حالات الحافة.
ومن المهم أن ندرك أن هندسة المطالبات ليست آلية منفصلة، بل مجموعة من التقنيات التي تعمل ضمن المفهوم الأوسع للتعلم في السياق. على سبيل المثال:
المطالبة الصفرية: يتم شرح المهمة دون تقديم أي أمثلة.
المطالبة بخطوة واحدة: يتم تضمين مثال واحد فقط لتوضيح المهمة.
المطالبة بخطوات قليلة: يتم توفير أمثلة متعددة.
المطالبة بسلسلة الأفكار: يتضمن كل مثال خطوات تفكير وسيطة لتوجيه منطق النموذج.
غالبًا ما يتم دمج هذه الاستراتيجيات مع تصميمات المطالبة بخطوات قليلة، ويتم تقييمها استنادًا إلى معايير تختبر القدرة على التعميم. حتى أزواج الإدخال/الإخراج ذات التصنيفات العشوائية يمكن أن تحسِّن الأداء، ما يُبرز أن صياغة المطالبة وتوزيعها لا يقلان أهمية عن التصنيفات نفسها.
مع انتقالنا من مطالبات التعلم في السياق (ICL) الخاضعة للرقابة إلى أنظمة معقدة في العالم الحقيقي، يتحول التحدي من صياغة مدخلات ثابتة إلى ممارسة هندسة السياق. وهي تخصص ناشئ يركِّز على التصميم المنهجي لجميع المدخلات التي يحتاجها النموذج اللغوي الكبير (LLM) ليعمل بشكل موثوق به في السيناريوهات الواقعية.
هندسة السياق هي ممارسة تصميم أنظمة ديناميكية تعمل على تجميع وتقديم المعلومات والأدوات والتعليمات الصحيحة للنموذج اللغوي الكبير (LLM) بالشكل المناسب لتمكينه من إكمال المهمة بشكل موثوق به. على عكس هندسة المطالبات الثابتة، تركِّز هندسة السياق على بناء مدخلات كاملة وذات صلة بالمهمة من مصادر متعددة مثل مدخلات المستخدم، والتفاعلات السابقة، ومخرجات الأدوات والبيانات الخارجية أثناء وقت التشغيل. يضمن ذلك أن تتلقى النماذج اللغوية الكبيرة (LLMs) البيانات اللازمة، ولكن أيضًا في هيكل يمكنها تفسيره بشكل فعَّال. يُعَد هذا النهج ضروريًا في الأنظمة المعقدة والقائمة على الوكلاء، حيث تنشأ الأخطاء غالبًا من نقص السياق أو سوء تنسيقه، وليس من قيود النموذج نفسه. من خلال دمج الأدوات وآليات الاسترجاع والذاكرة في عملية بناء المطالبة، تعمل هندسة السياق على سد الفجوة بين إمكانات النموذج وأدائه في العالم الحقيقي.
بينما كانت التفسيرات المبكرة تعتبِر التعلم في السياق (ICL) مجرد تكرار لأنماط سطحية أو توقُّع للرمز المميز التالي، تُشير الأبحاث الحديثة إلى وجود عمليات أعمق. أحد التفسيرات المقنعة يَصِف التعلم في السياق (ICL) كشكل من أشكال الاستدلال البايزي (Bayesian)، وهي طريقة لتقدير الاحتمالات عبر تحديث المعتقدات بناءً على الأدلة.2 في هذا العرض، ينظر النموذج إلى أمثلة بخطوات قليلة أو بخطوة واحدة ويستنتج مفهومًا كامنًا (مهمة أو بنية غير مرئية، مثل "هذا تصنيف للمشاعر") من المطالبة. مع إضافة المزيد من الأمثلة في السياق، يصبح النموذج أكثر ثقة في المهمة التي ينفِّذها، ما يؤدي إلى تحسين تنبؤاته دون تغيير مَعلمات النموذج الخاصة به.
هاك تفسير آخر يربط التعلم في السياق بطريقة الانحدار التدريجي، وهو أسلوب التحسين الأساسي وراء معظم أنظمة التعلم الآلي لتقليل الأخطاء. أظهرت الدراسات الحديثة أن نماذج المحوِّلات يمكن أن تُحاكي داخليًا عملية التعلم وخاصةً بالنسبة للمهام البسيطة مثل الانحدار الخطي. فعلى الرغم من عدم حدوث تحديثات فعلية للمَعلمات، فإن النموذج يتصرف كما لو كان يتكيف مع المطالبة باستخدام حلقة داخلية من التفكير. تحدث هذه العملية بالكامل داخل نافذة سياق النموذج.
تُشير هذه النتائج إلى أن ICL ينطوي على سلوك داخلي يشبه التعلم أثناء الاستدلال، حتى في إعدادات المطالبة الصفرية أو بخطوات قليلة. فبدلًا من العمل كمتنبئات ثابتة، تتكيف النماذج اللغوية الكبيرة (LLMs) مع هيكل المهمة في الوقت الفعلي باستخدام المطالبات بلغة طبيعية. هذا المزيج بين الاستدلال والتعلم الضمني يجعل التعلم في السياق وسيلة قوية للتعامل مع المهام الجديدة دون الحاجة إلى إعادة التدريب.
تحديات وقيود التعلم في السياق
1. حجم النموذج وحساسية المعايير
تتأثر فاعلية التعلم في السياق (ICL) بشكل كبير بحجم وتصميم النماذج اللغوية الكبيرة (LLMs). تُظهر النماذج الأكبر قدرات ناشئة أقوى في التعلم في السياق. بينما تكافح النماذج الأصغر غالبًا لمجاراة قدرات التعلم في السياق، لأنها تفتقر إلى سعة المَعلمات اللازمة لنمذجة المهام المعقدة بفاعلية.
2. جودة البيانات والتحيز قبل التدريب
تعتمد فاعلية التعلم في السياق على تنوع بيانات ما قبل التدريب وجودتها. يمكن للنماذج التي تم تدريبها على مجموعات بيانات ضيقة أو متحيزة أن تكرر هذه القيود أثناء الاستدلال، ما يؤدي إلى ضعف التعميم ومشكلات في الإنصاف.
3. نقل النطاق والتعميم
بينما تُظهر النماذج اللغوية الكبيرة قدرة رائعة على التكيف، يمكن أن يتراجع أداؤها في المهام المتخصصة للغاية. وبالنسبة للمجالات المتخصصة مثل القانون أو الطب، قد تظل العروض التوضيحية الخاصة بالمجال أو حتى الضبط الدقيق التقليدي أمرًا ضروريًا.
4. الأخلاق والإنصاف
يمكن أن ينقِل ICL بشكل غير مقصود التحيّزات الاجتماعية الموجودة في بيانات التدريب ويعززها. وبما أن المطالبات يمكن أن تؤثِّر في سلوك النموذج، فإن ضمان المخرجات الأخلاقية والعادلة في التفاعلات الديناميكية في الوقت الحقيقي يظل يشكِّل تحديًا كبيرًا.
5. مخاوف الخصوصية والأمان
قد تحفظ الأنظمة المعتمدة على ICL العاملة في التطبيقات الواقعية معلومات حساسة أو تعيد إنتاجها عن غير قصد إذا كانت هذه البيانات موجودة في مجموعة التدريب المسبقة. ويُثير هذا الاحتمال مشكلات حساسة تتعلق بالخصوصية، وخاصةً في مجالات الرعاية الصحية والقانون والمساعد الشخصي.
6. حساسية المطالبات واستقرارها
يعتمد ICL بشكل كبير على كيفية صياغة المطالبة. يمكن أن تؤدي التغييرات الصغيرة في عدد الأمثلة داخل السياق أو ترتيبها أو تنسيقها إلى تحوُّلات كبيرة في الإخراج، ما يجعل من الصعب ضمان الأداء المتسق.
توجهات البحث واستراتيجيات التحسين
1. نماذج التدريب
لتحسين قدرة النماذج اللغوية الكبيرة على التعلم في السياق بشكل جوهري، يستكشف الباحثون طرق تحسين أثناء التدريب أو فور الانتهاء منه.3 أحد الاتجاهات الرئيسية هو التدريب المسبق باستخدام البيانات المنظمة، حيث يتم تنظيم أزواج الإدخال/الإخراج أو مجموعات المهام بشكل صريح. يساعد هذا النهج النماذج على أن تصبح أكثر حساسية لأنماط المهام والعلاقات، بدلًا من الاعتماد فقط على توزيعات اللغة الواسعة.
من الأساليب الفعَّالة الأخرى التقطير التعلمي (meta distillation)، حيث يُعرض النموذج لأشكال مختصرة ومجردة من المعرفة؛ أزواج أمثلة قصيرة وغنية بالمعلومات تنقِل جوهر المهمة (مثل: "حبكة قوية ← إيجابي"، "تمثيل ضعيف ← سلبي"). تُتيح هذه الطريقة للنماذج التعميم بسرعة أثناء الاستدلال مع الحد الأدنى من الجهد المطلوب في عرض الأمثلة.
يعمل تدريب الإحماء على الضبط الدقيق للنموذج بين مرحلة التدريب المسبق والاستدلال الفعلي باستخدام أمثلة متوافقة مع المهام في نموذج المطالبة. على سبيل المثال، رؤية بعض الأمثلة مثل "العنوان ← الفئة" قبل الاختبار يعزز قدرة النموذج على التعميم على المحتوى المرتبط دون الحاجة إلى إعادة التدريب.
يُعَد ضبط التعليمات استراتيجية حاسمة أخرى، حيث يتم تدريب النماذج باستخدام آلاف المهام المكتوبة على شكل تعليمات باللغة الطبيعية (مثل: تصنيف الحالة المزاجية للجملة). تحسِّن هذه الاستراتيجية قدرة النموذج على التعميم في حالات المطالبة بخطوات قليلة أو الصفرية، من خلال مواءمة سلوكه بشكل أقرب لتوجيهات البشر.
2. تصميم المطالبة
يؤدي تصميم المطالبة أثناء الاستدلال دورًا محوريًا في الاستفادة من التعلم في السياق. من أكثر التقنيات تأثيرًا هي اختيار الأمثلة التوضيحية؛ أي تحديد الأمثلة المناسبة باستخدام مقاييس التشابه أو درجات عدم اليقين أو أدوات الاسترجاع المدرَّبة.
إعادة صياغة الأمثلة التوضيحية تغيِّر طريقة تنظيم الأمثلة. بدلًا من الأزواج البسيطة (الإدخال/الإخراج)، تستخدِم بعض الطرق سلاسل الاستدلال (مثل: "الفرضية ← الاستدلال ← الاستنتاج") لتعزيز التوافق مع تمثيلات النموذج الداخلية.
هناك عامل آخر دقيق لكنه مهم، وهو ترتيب الأمثلة التوضيحية. إن تنظيم الأمثلة من البسيط إلى المعقد، مثل البدء بعبارة طباعة بسيطة في البرمجة قبل الانتقال إلى الحلقات، يساعد النموذج على بناء السياق تدريجيًا، ما يحسِّن الفهم وجودة المخرجات.
أخيرًا، يعمل كلٌّ من تنسيق التعليمات واستخدام المطالبة بسلسلة الأفكار على تعزيز أداء المهام التي تتطلب استدلالًا معقدًا من خلال توجيه النموذج صراحةً عبر الخطوات الوسيطة. هذه الطريقة مفيدة بشكل خاص في المجالات مثل الحساب أو الاستدلال المنطقي، حيث إن تفصيل الخطوات مثل "الخطوة 1: اطرح 3 من 8 ← الخطوة 2: الناتج 5" يحسِّن الدقة مقارنةً بصيغ السؤال والإجابة المباشرة.
اكتشاف الحالات الشاذة: باستخدام التعلم في السياق، يمكن تزويد النماذج اللغوية الكبيرة بعدد قليل من الأمثلة المصنّفة للنشاط الشبكي الطبيعي والشاذ. يمكن للنموذج بعد ذلك تصنيف حالات حركة المرور الجديدة بدقة على أنها عادية أو مشبوهة، ما يُتيح مراقبة مرنة وفعَّالة دون إعادة تدريب مكثفة. يمكن تطبيق هذا النهج على نطاق واسع على مهام الأمن الإلكتروني وإدارة الشبكات المختلفة.
على سبيل المثال، قدَّمت دراسة بحثية مثالًا لتطبيق التعلم في السياق باستخدام النماذج اللغوية الكبيرة، وبالتحديد GPT-4، للكشف التلقائي عن التسلل الشبكي في البيئات اللاسلكية.4وبدلًا من الأساليب التقليدية التي تتطلب بيانات مصنّفة واسعة النطاق وعمليات ضبط مكلِّفة، فقد صمموا ثلاثة أساليب للتعلم في السياق: التوضيحي والاستكشافي والتفاعلي. توجه هذه الأساليب GPT-4 لتحديد أنواع الهجمات من خلال تقديم عدد قليل من الأمثلة المصنّفة ضمن المطالبات ودمج أسئلة متخصصة في المجال لتحسين الدقة. عند اختبارها على مجموعة بيانات حقيقية تحتوي على 9 أنواع من الهجمات الموزعة لحجب الخدمة (DDoS)، أظهرت النتائج تحسُّنًا في الأداء. أظهرت هذه التحسينات زيادة في الدقة ومؤشر F1 بنحو 90%، حيث وصل GPT-4 إلى أكثر من 95% باستخدام 10 أمثلة فقط. يوضِّح هذا المثال كيف يمكِّن التعلم في السياق النماذج اللغوية الكبيرة من التكيف بسرعة والأداء بفاعلية في سيناريوهات الأمن الإلكتروني الواقعية باستخدام حد أدنى من بيانات التدريب.
معالجة اللغة الطبيعية المتخصصة في المجال: يمكِّن التعلم في السياق النماذج اللغوية الكبيرة من الأداء الجيد في المهام المتخصصة من خلال استخدام أمثلة ذات صلة ضمن المطالبة. يحل هذا النهج التحدي المتمثل في مهام معالجة اللغة الطبيعية المتخصصة في المجال، حيث قد تكون البيانات المصنّفة نادرة أو يكون الضبط الدقيق غير عملي. وتُتيح هذه الطريقة للنموذج التكيف وإنتاج نتائج دقيقة استنادًا فقط إلى المؤشرات السياقية المقدمة أثناء الاستدلال.
تُظهر دراسة أن النماذج اللغوية الكبيرة يمكنها تحليل تقارير سلامة الطيران بفاعلية عبر التعلم في السياق، وتجاوز تحديات مثل ندرة المعاني والحاجة إلى ضبط دقيق مكلِّف حسابيًا.5 استخدمت الدراسة خوارزمية BM25 (خوارزمية استرجاع المعلومات والتي يتم استخدامها لترتيب المستندات بناءً على مدى صلتها باستعلام البحث) لاختيار الأمثلة الأكثر ملاءمة للمطالبات. حقَّق النموذج تحسُّنًا كبيرًا في دقة التصنيف، حيث وصل إلى 80.24% في الدقة و84.15% في F1-Score باستخدام ثمانية أمثلة. ومن خلال تقديم أمثلة عالية الجودة وذات صلة ضمن المطالبة، يمكن للنموذج تعميم فهمه لتصنيف التقارير غير المرئية بدقة. عادةً ما تؤدي زيادة عدد الأمثلة المختارة بعناية إلى تحسين الأداء، إذ يكتسب النموذج سياقًا أكبر ويفهم الأنماط الأساسية في البيانات بشكل أفضل. يوضِّح هذا النهج التعلم في السياق مع اختيار الأمثلة الاستراتيجي يمكِّن النماذج اللغوية الكبيرة من فهم وتصنيف بيانات الطيران المتخصصة بفاعلية، ويقدِّم حلًا عمليًا لمهام NLP المتخصصة في المجال.
تحليل المشاعر: يُتيح ICL للنماذج اللغوية الكبيرة تحليل المشاعر من خلال توفير عدد قليل من عينات النصوص المصنّفة (على سبيل المثال، "خدمة رائعة ← إيجابية"، "منتج سيئ ← سلبية"). عند إعطاء جملة جديدة غير مصنّفة، يمكن للنموذج استنتاج المشاعر بدقة عالية. يعمل هذا النهج على تبسيط المهام في تحليلات تجربة العملاء واستخراج الآراء ومراقبة العلامة التجارية.
يمثل التعلم في السياق تحوُّلًا جذريًا في طريقة تفاعلنا مع النماذج اللغوية الكبيرة واستخلاص المعلومات منها. يُتيح ذلك للنماذج التكيف مع مهام جديدة بشكل ديناميكي من خلال استخدام وصف المهام وعدد قليل من الأمثلة، حيث يوفر التعلم في السياق المرونة والكفاءة وسهولة الوصول إلى أنظمة الذكاء الاصطناعي. ويعمل هذا على سدّ الفجوة بين النماذج الثابتة المدرَّبة مسبقًا واحتياجات العالم الواقعي الديناميكية، ما يمكِّن نموذجًا واحدًا من أداء مجموعة واسعة من المهام بمجرد الاطِّلاع على عدد قليل من الأمثلة. ومع تقدُّم الأبحاث في خوارزميات التعلم، واستراتيجيات التدريب المسبق، وتصميم المطالبات وتحسين الأمثلة التوضيحية، يستعد التعلم في السياق ليكون الركيزة الأساسية للذكاء الاصطناعي العام، ممهِّدًا الطريق لأنظمة أكثر تكيفًا وقابلية للفهم وقابلية للتوسع عبر مختلَف الصناعات.
الموارد
الحواشي
1. Brown, T., Mann, B., Ryder, N., Subbiah, M., Kaplan, J. D., Dhariwal, P., ... & Amodei, D. (2020). Language models are few-shot learners. Advances in neural information processing systems, 33, 1877-1901.
2. Xie, S. M., & Min, S. (2022). How does in-context learning work? A framework for understanding the differences from traditional supervised learning. A framework for understanding the differences from traditional supervised learning.
3. Dong, Q., Li, L., Dai, D., Zheng, C., Ma, J., Li, R., ... & Sui, Z. (2022). A survey on in-context learning. arXiv preprint arXiv:2301.00234.
4. Zhang, H., Sediq, A. B., Afana, A., & Erol-Kantarci, M. (2024). Large language models in wireless application design: In-context learning-enhanced automatic network intrusion detection. arXiv preprint arXiv:2405.11002.
5. Yang, Y., Shi, D., Zurada, J., & Guan, J. (2024, September). Application of Large Language Model and In-Context Learning for Aviation Safety Prediction. In 2024 17th International Conference on Advanced Computer Theory and Engineering (ICACTE) (pp. 361-365). IEEE.