ما نموذج الاستدلال؟

تم تدريبها على توظيف الاستدلال المعقد عبر سلسلة الأفكار وغيرها من استراتيجيات اتخاذ القرار متعددة الخطوات، تمثل نماذج الاستدلال أحدث ما توصلت إليه التكنولوجيا في أداء النماذج اللغوية الكبيرة (LLM)، ولا سيما في الرياضيات والبرمجة والمجالات الأخرى القائمة على الاستدلال المنطقي. بعد أن أُطلقت في الأصل كفئة نماذج متميزة ومتخصصة، تزايد انتشار هذه «النماذج المفكرة» بانتظام؛ واليوم، توفر معظم النماذج اللغوية الكبيرة الحديثة «وضع تفكير» أو قدرات استدلال ذات تسميات مماثلة.

تم تقديم مفهوم "نموذج الاستدلال" لأول مرة بواسطة o1-preview من OpenAI (و o1-mini) في سبتمبر 2024، تلاه نموذج "Qwen with Questions" (QwQ-32B-preview) من Alibaba في نوفمبر، ثم نموذج Gemini 2.0 Flash Experiment من Google في ديسمبر. شكل إطلاق نموذج DeepSeek-R1 المفتوح المصدر في يناير 2025 محطة فارقة في تطوير نماذج اللغات الكبيرة القائمة على الاستدلال. في حين كانت عمليات التدريب المستخدمة للضبط الدقيق لنماذج الاستدلال السابقة أسرارًا محاطة بالكتمان الشديد، نشرت DeepSeek ورقة تقنية تفصيلية قدمت مخططًا توجيهيًا لمطوري النماذج الآخرين. ومنذ ذلك الحين، أطلقت كل من IBM Granite و Anthropic و Mistral AI، من بين شركات أخرى، نماذج لغوية كبيرة مخصصة للاستدلال الخاصة بها.

ببساطة، يتم تدريب النماذج اللغوية الكبيرة الخاصة بالاستدلال على قضاء وقت أطول في التفكير قبل أن تقدِّم ردها. لقد أظهرت الدراسات التجريبية أن إضافة "عملية الاستدلال" هذه تحقِّق تقدمًا كبيرًا في أداء النماذج اللغوية الكبيرة على المهام التي تتطلب استدلالًا معقدًا. لقد ساهم هذا النجاح في توسيع نطاق حالات الاستخدام الواقعية والمجالات التي يمكن تطبيق نماذج الذكاء الاصطناعي فيها، مشيرًا إلى نقطة تحول مهمة في مسار تطوير الذكاء الاصطناعي التوليدي ووكلاء الذكاء الاصطناعي.

لكن تجدر الإشارة إلى أن المصطلحات المجازية مثل "عملية التفكير" للنموذج أكثر ملاءمة من المصطلحات الحرفية. مثل جميع نماذج التعلم الآلي، فإن نماذج الاستدلال تقوم في النهاية بتطبيق خوارزميات متطورة لإجراء تنبؤات—مثل الكلمة التي ينبغي أن تأتي بعدها—تعكس الأنماط التي تم تعلمها من بيانات التدريب. النماذج اللغوية الكبيرة الاستدلالية لم تُظهر وعيًا أو أي علامات أخرى على الذكاء الاصطناعي العام (AGI). ورقة بحثية حظيت باستشهادات واسعة صادرة عن Apple وقُدّمت في مؤتمر NeurIPS 2025 تُلقي بظلالٍ من الشك حول ما إذا كانت قدرات الاستدلال لدى النماذج الحالية قادرة على التوسع لتحقيق استدلال "قابل للتعميم" حقاً.

ربما يكون من الأدق القول إن النماذج اللغوية الكبيرة القادرة على الاستدلال تُدرَّب على «إظهار خطوات عملها» عبر توليد تسلسل من الرموز المميزة (الكلمات) يُحاكي نمط التفكير البشري—وأن عملية «التعبير اللفظي» هذه عن الأفكار يبدو أنها تُطلق العنان لقدرات استدلال كامنة تتعلمها هذه النماذج ضمنياً من مجموعات البيانات الضخمة التي تتدرب عليها (والتي تضم أمثلة لأفراد يعبرون بشكل مباشر وغير مباشر عن عمليات التفكير الخاصة بهم). 

إن إضافة "عملية تفكير" لمخرجات النموذج تقلِّل من العديد من العيوب الكامنة في استدلال النماذج اللغوية الكبيرة التقليدية، من خلال مساعدة النموذج على تجنُّب الاختصارات المعرفية الضارة وإبراز مزيد من المعرفة المحتملة ذات الصلة التي تعلَّمها من بيانات التدريب.

في سياق النماذج اللغوية الكبيرة (LLMs) القائمة على الاستدلال، غالباً ما تشير الأدبيات البحثية في مجال الذكاء الاصطناعي إلى التفكير بأسلوب "النظام 1" و"النظام 2"، وهي مصطلحات وضعها Daniel Kahneman، العالم الاقتصادي السلوكي الحائز على جائزة نوبل، في كتابه البارز Thinking, Fast and Slow. يُعَد تفكير النظام 1 سريعًا وغير واعٍ وبديهي ، ويعتمد على الاستدلال ولا يتطلب جهدًا يذكر. تفكير النظام 2 بطيء ومدروس ومنطقي، ويتطلب جهدًا متضافرًا. أثبتت الأبحاث باستمرار أن نماذج اللغات الكبيرة ذات الانحدار الذاتي، افتراضيًا، تميل إلى تفكير النظام 1.

بالنسبة لبعض المهام، يكون تفكير النظام 1 فعالاً ومجدياً من الناحية الحسابية. لكن بالنسبة للكثيرين الآخرين، فإن التفكير الاندفاعي من خلال النظام 1 لا يفي بالغرض. على سبيل المثال، أوضحت ورقة بحثية نُشرت عام 2023 للباحثَيْن في Meta Jason Weston و Sainbayar Sukhbaatar كيف تتأثر النماذج اللغوية الكبيرة (LLMs) بسهولة بوجود سياق غير ذي صلة أو تفاصيل ذاتية في المطالبة المدخلة.

اقترحوا فئة من التقنيات أطلقوا عليها اسم "System 2 Attention" (S2A)، حيث يُطلب من النموذج أولًا توليد نسخة مُعاد صياغتها من المطالبة الأصلية بعد إزالة السياق غير ذي الصلة، ثم الإجابة عن تلك المطالبة المُعاد صياغتها. في التجارب، تفوَّق S2A على الاستدلال القياسي في مجموعة متنوعة من المهام، حيث ساعد على زيادة الدقة وتقليل التملق.

من الناحية المفاهيمية، يمكن فهم الهدف الضمني لأساليب الاستدلال على أنه تنفيذ سلوك نموذجي مشابه للنظام System 2، يقوم بالاستكشاف والتقييم وتحسين المخرجات المحتملة.

تم إرساء الأساس لـ "نماذج التفكير" الحديثة من خلال أوراق بحثية مبكرة في النماذج اللغوية الكبيرة (LLM): إحداها صاغها فريق Google Research في عام 2021، والأخرى كتبها باحثون من جامعة طوكيو في عام 2022. أظهر كلاهما أن مجرد إضافة عبارة "think step by step"—وهي تقنية تسمى تحفيز سلسلة التفكير—يحسن بشكل كبير نتائج النماذج. قدمت ورقة بحثية من Google DeepMind لعام 2024 ادعاءً أوسع نطاقًا باقتراح قانون قياس جديد: إن زيادة حوسبة وقت الاختبار (الموارد المستخدمة لتوليد المخرجات) ترفع أداء النموذج بقدر زيادة حوسبة وقت التدريب (الموارد المستخدمة لتدريب النموذج). ليس توجيه سلسلة الأفكار (CoT) سوى واحدة من العديد من تقنيات زيادة نطاق الاستدلال (وتُسمى أيضاً زيادة وقت الاختبار)، تماماً كما هو الحال مع S2A.

تذهب النماذج اللغوية الكبيرة الحديثة القائمة على الاستدلال إلى ما هو أبعد من ذلك: فبدلاً من الاعتماد على هندسة الموجِّه، تستخدم هذه النماذج تقنيات ضبط دقيق مبتكرة ومسارات عمل متطورة لزيادة قدر الحوسبة الذي يستخدمه النموذج في وقت الاستدلال بشكل جوهري. يستلزم تحسين نموذج الاستدلال كلاً من التحدي التقني المتمثل في تطوير الخوارزميات وبيانات التدريب والتحدي الفلسفي المتمثل في تصميم "عملية تفكير" مثالية.

المراحل الأولية لتدريب النماذج اللغوية الكبيرة الخاصة بالاستدلال تشبه مراحل تدريب النماذج اللغوية الكبيرة التقليدية. مثل النماذج اللغوية الكبيرة التقليدية، تكتسب النماذج اللغوية الكبيرة الخاصة بالاستدلال قدراتها اللغوية العامة ومعرفتها بالعالم من خلال التدريب المسبق الخاضع للإشراف الذاتي واسع النطاق، يتَّبعه قدر معين من التدريب الدقيق الخاضع للإشراف (SFT) لتكييفها مع المهام اللاحقة، مثل استخدام روبوتات المحادثة التفاعلية. الابتكار الرئيسي يكمن في تطبيق تقنيات التعلم المعزز (RL) المبتكرة، التي تحفِّز النموذج على توليد "خطوات استدلالية" وسيطة أثناء الاستدلال قبل إنتاج المخرجات النهائية.

سنوات من البحث والتجربة أسفرت عن مجموعة متزايدة بشكل هائل من أساليب الاستدلال، لكنها جميعًا تشترك في الهدف الأساسي المتمثل في "زيادة الحوسبة أثناء وقت الاختبار". بعيدًا عن النموذج الأساسي (أو المضبوط للتعليمات) الذي يشكِّل أساسها، تميّز النماذج اللغوية الكبيرة الخاصة بالاستدلال نفسها باستراتيجيات اتخاذ القرار المحددة التي يتم تدريبها على استخدامها وبالخوارزميات المحددة المستخدمة لتحفيز هذا السلوك.

بشكل عام، هناك طريقتان رئيسيتان لزيادة الحوسبة المستخدمة أثناء وقت الاستدلال. الهدف من ضبط نموذج الاستدلال هو تدريبه على استخدام واحدة (أو كِلتا) من هاتين الطريقتين العامتين عبر خوارزميات تعلُّم مختلفة.

• توليد مخرجات أطول: يتعلم النموذج توليد تسلسلات مخرجات أطول عبر استراتيجيات مثل "سلسلة أفكار طويلة"، و"التراجع"، و"التنقيح الذاتي".
  
  
• توليد مخرجات متعددة: بدلًا من إنتاج مخرج واحد استجابةً للمطالبة، يعمل النموذج على توليد عدة نسخ من مخرجاته، ويصل إلى الإجابة النهائية من خلال عملية البحث والرفض وتجميع المخرجات المحتملة. 

طبيعة نماذج التعلم التي تُنتج النماذج اللغوية الكبيرة الخاصة بالاستدلال تتطلب عادةً التدريب والتقييم على مشكلات يمكن التحقق من حلولها، مثل مهام البرمجة أو مسائل الرياضيات. وبالتالي فإن المقاييس المعيارية المستخدمة لتقييم أداء النموذج المنطقي تركِّز عادةً على تلك المجالات. تم إجراء أبحاث أقل بكثير حول تأثير التفكير في المجالات الأكثر ذاتية، مثل الكتابة الإبداعية.

كان التقدم في ضبط النماذج اللغوية الكبيرة الخاصة بالاستدلال المعتمد على "التعلم المعزز (RL)" أمرًا محوريًا في صعودها، ويشمل كلًا من التعلم المعزز القائم على القواعد والتعلم المعزز القائم على التعلم العميق (deep RL) في سياق النماذج اللغوية الكبيرة. بينما يتطلب التعلم الخاضع للإشراف والتعلم الخاضع للإشراف الذاتي مهام تدريب محددة وثابتة، فإن "التعلم المعزز (RL)" مناسب تمامًا للمهام الديناميكية والمعقدة والمفتوحة التي يكون فيها التفكير متعدد الخطوات أكثر فائدة.

استخدام "التعلم المعزز (RL)" لضبط النماذج اللغوية الكبيرة بطريقة تمنحها صفات مجردة ليس مقتصرًا على النماذج اللغوية الكبيرة الخاصة بالاستدلال فقط. على سبيل المثال، يكون مسار التدريب القياسي للنماذج اللغوية الكبيرة المخصصة للاستخدام في بيئات روبوتات المحادثة كما يلي:

1. التدريب المسبق الخاضع للإشراف الذاتي، حيث يتعلم النموذج الأنماط اللغوية والمعرفة الأساسية التي سيتم تطبيقها على المهام النهائية.
   
   
2. الضبط الدقيق الخاضع للإشراف (SFT)، حيث يتعلم النموذج كيفية تنسيق استجاباته لمدخلات المستخدم بشكل صحيح.
   
   
3. ضبط التعليمات، حيث يتعلم النموذج كيفية اتباع التعليمات وأداء مهام محددة.
   
   
4. التعلم المعزز من التعليقات البشرية (RLHF)، حيث يتم ضبط النموذج على بيانات التفضيلات البشرية لإضفاء صفات ذاتية مثل المساعدة، وعدم الإضرار، والصدق، والنبرة المثالية.

عادةً ما تمر النماذج اللغوية الكبيرة الخاصة بالاستدلال بنفس مراحل التدريب تلك، مع إضافة (في مرحلة ما) مرحلة التعلم المعزز (RL) التي تزرع عملية استدلالية منتِجة قائمة على "سلسلة الأفكار". يتم تحقيق ذلك عن طريق تحديد أهداف عملية الاستدلال هذه -السلوكيات المحددة للنموذج التي يجب أن "تكافأ"، مثل توليد "سلاسل الأفكار" قبل المخرجات النهائية- ثم تحسين أوزان النموذج بطريقة تزيد من المكافأة.

نظرًا لأنه من الصعب أو حتى المستحيل تصميم دالة مكافأة صريحة لمهمة مجردة ومعقدة مثل عملية التفكير التي ستكون فعَّالة لجميع حل المشكلات المعقدة، فإن إشارة المكافأة هذه غالبًا ما تأتي من نموذج مكافأة منفصل يُستخدَم أثناء التدريب. في RLHF، يتم تدريب نموذج المكافأة هذا نفسه على التعليقات البشرية ويتعلم التنبؤ بدرجة رقمية لمدى تفضيل الإنسان لاستجابة معينة.

في سياق "التعلم المعزز (RL)" للنماذج اللغوية الكبيرة الخاصة بالاستدلال، يمكن تقسيم إشارات المكافأة إلى ثلاث فئات رئيسية: نماذج مكافأة النتائج (ORMs)، ونماذج مكافأة العمليات (PRMs)، وأنظمة المكافأة القائمة على القواعد.

كما يوحي اسمها، تقوم نماذج المكافأة القائمة على النتائج (ORMs) بالتحقق من دقة المخرجات النهائية لنموذج الاستدلال، وتوفير إشارات مكافأة يُستعان بها لتحسين أوزان النموذج وفقًا لذلك. يشبه هذا ظاهريًا دور دالة الخسارة في التعلم الخاضع للإشراف، على الرغم من أن الآليات غالبًا ما تكون أكثر تعقيدًا.

بينما تقيس دالة الخسارة عادةً الانحراف بين كل رمز من مخرجات النموذج والنتيجة الصحيحة، يجب على "نماذج مكافأة النتائج" (ORMs) الفعَّالة أن تكون قادرة على التعرُّف على الإجابة الصحيحة لمسألة رياضية حتى عندما يتم تقديمها بشكل مختلف عن الإجابة الصحيحة المتوفرة، وهو أمر شائع بسبب التباين الكبير في مخرجات "سلاسل الأفكار" الطويلة. وبالمثل، تحتوي معظم مشكلات البرمجة الواقعية على حلول متعددة: فالتقييم الشامل لمخرجات الكود يتطلب عادةً مسار بيانات ينفِّذ ويحقق كفاءة مقاطع الكود بشكل فعَّال. يمكن استخدام نموذج لغوي كبير قياسي كأداة للتحقق من خصائص مخرجات أخرى، مثل مدى التزامها بالتنسيق أو التعليمات المحددة.

بينما تُعَد "نماذج مكافأة النتائج" (ORMs) حلًا نسبيًا مباشرًا وفعَّالًا من الناحية الحسابية، فقد تكافئ أحيانًا الحالات التي تؤدي فيها خطوات استدلالية خطأ إلى الوصول إلى إجابة نهائية صحيحة، ما يجعل النموذج يتعلم عمليات استدلال دون المستوى الأمثل.

تقوم نماذج مكافأة العمليات (PRMs) بتقييم ومكافأة (أو معاقبة) كل خطوة منطقية بشكل مستقل، بدلاً من التركيز فقط على دقة الإجابة النهائية. يوفر هذا إشارات مكافأة أكثر دقة وتعديلات لاحقة على النموذج، مما ينتج نماذج تتميز بعملية استدلال أكثر متانة وقابلية للتفسير.

ومع ذلك، فإن نماذج PRMs أكثر تكلفة واستهلاكاً للوقت في التدريب والتنفيذ. اعتمدت الأساليب المبكرة المؤثرة في نماذج PRM، مثل مجموعة بيانات PRM800K من OpenAI، بشكل شبه كامل على تسمية البيانات المضنية من قبل مُصنِّفين بشريين. وقد أتمتت العديد من الأساليب اللاحقة، مثل Math-Shepherd المؤثر، هذه العملية من خلال استنتاج صحة خطوة الاستدلال بناءً على مدى تكرار إفضائها إلى إجابة صحيحة.

لتجنب التكاليف والتعقيدات المرتبطة بنماذج المكافأة، تعمل بعض أساليب الضبط القائمة على "التعلم المعزز" (RL) على تصميم مهام التدريب بطريقة تبسِّط عملية تقييم مخرجات النموذج.

على سبيل المثال، تُوجِّه تقنيات DeepSeek-R1 و R1-Zero النماذجَ لتنسيق إجاباتها النهائية داخل مربع منفصل، مما يتيح التحقق من الدقة دون الحاجة إلى نموذج مكافأة متخصص يتعين عليه تحليل الاستجابة بأكملها. تُحفِّز أنظمة المكافآت القائمة على القواعد الأخرى إجراءاتٍ دقيقةً محددة، مثل إضافة كلمة "انتظر" بشكل دوري إلى استجابة النموذج لتشجيع المزيد من الاستكشاف والتصحيح الذاتي. لقد ثبت أن استخدام مثل هذه الإجراءات الدقيقة يحسن النتائج النهائية، والأهم من ذلك، أنه سهل ورخيص في التحقق.

كانت تقنية ضبط التعلم المعزز البسيطة، التوضيحية والمؤثِّرة بشكل كبير، من ابتكار DeepSeek أثناء تدريب نموذج الاستدلال التجريبي مفتوح المصدر R1-Zero.

باستخدام DeepSeek-V3 كأساس، انتقلت DeepSeek مباشرةً من مرحلة التدريب المسبق إلى مخطط تعلُّم معزز قائم على القواعد بسيط للغاية:

• استعلام النموذج: طرح سؤال على النموذج. قم بتوجيهه لإخراج عملية التفكير بين الرمزين “<think> ” و“</think> ”، وإخراج الإجابة النهائية بين الرمزين “<answer> ” و“</answer> ”.
  
  
• مكافآت الدقة: تكافئ النموذج على جودة الإجابة النهائية، مثل مدى كفاءة تشغيل الكود الذي يولده.
  
  
• مكافآت التنسيق: مكافأة النموذج على استخدام تنسيق "<think> </think> " و "<answer> </answer> " بشكل صحيح في الاستجابات.

من المدهش أنه، دون أي تعليمات صريحة للقيام بذلك، تعلَّم DeepSeek-R1-Zero توليد سلاسل أفكار معقدة واستخدام استراتيجيات استدلالية أدت إلى أداء مميز في مهام الرياضيات والاستدلال. بعبارة أخرى، عندما يُطلب من النموذج فقط أن "يفكر" قبل إعطاء الإجابة النهائية وأن يسعى إلى زيادة دقة الإجابات النهائية، يعمل النموذج تلقائيًا على استكشاف واكتشاف أنماط الاستدلال المُثلى.

من الناحية العملية، كان لهذا النهج المبسَّط عيوب مهمة: كما يوضِّح البحث الفني، "يواجه DeepSeek-R1-Zero تحديات مثل التكرار المستمر، وضعف القراءة، وخلط اللغات". ومع ذلك، كان هذا النهج المبني على "التعلم المعزز" الخالص أساسًا للمنهجية الأكثر تطورًا التي أنتجت النموذج الشهير جدًا DeepSeek-R1.

بينما تهدف معظم أنماط "التعلم المعزز" القائمة على سلاسل الأفكار (CoT) إلى تحسين فاعلية مخرجات نموذج واحد، تعمل طرق أخرى على توليد عدة مخرجات نهائية أو وسيطة بهدف تحديد وتحفيز أفضل خطوات الاستدلال.

تعتمد العديد من هذه الأساليب على خوارزميات تحسين قائمة على البحث، مثل البحث الشعاعي (Beam Search)، أو شجرة الأفكار، أو بحث شجرة Monte Carlo (MCTS)، وذلك لتوليد مسارات استدلال متعددة واستكشافها. يُقيّم نموذج مكافأة العملية (PRM) جودة ونجاح كل خطوة استدلال فردية، ثم تُمرَّر المكافأة بشكل تكراري عكسيًا عبر مسارات الاستدلال التي أدت إلى نتائج مرغوبة. يؤدي تحسين أوزان النموذج لتعظيم المكافأة المتوقعة إلى زيادة احتمالية اتباع النموذج لمسارات التفكير الأكثر إنتاجية. هذا مفيد بشكل خاص لمهام الاستدلال التي تحتوي على مجموعة كبيرة جدًا من القرارات المحتملة أو تلك التي تتطلب تخطيطًا طويل الأمد مكثفًا للحصول على فرصة للوصول إلى إجابة نهائية دقيقة.

بينما تركز الخوارزميات القائمة على البحث بطبيعتها على الخطوات الوسيطة، فإن أساليب أخذ العينات تعطي الأولوية للنتائج النهائية. يُعدّ أبسط تطبيق لتوسيع نطاق الاستدلال القائم على أخذ العينات خوارزمية best-of-N بسيطة: تقديم مطالبة الإدخال نفسها إلى النموذج N من المرات، واستخدام نموذج المكافأة القائمة على النتائج (ORM) لتقييم كل نتيجة، واختيار النتيجة التي يمنحها نموذج (ORM) أعلى تقييم كإجابة نهائية للنموذج.

إحدى الخوارزميات الكلاسيكية القائمة على أخذ العينات، وهي الاتساق الذاتي (وتسمى أيضًا التصويت بالأغلبية)، لا تتطلب ORM. تبدأ كل مهمة بمطالبة سلسلة الأفكار. يتم أخذ عينات من إجابات متعددة، ولكل منها مسارات الاستدلال الخاصة بها، من وحدة فك الترميز في النموذج. يتم تحديد الإجابة النهائية التي تظهر بشكل أكثر اتساقًا بين المخرجات التي تم أخذ عينات منها على أنها الإجابة المثلى. يمكن استخدام ذلك إما كاستراتيجية قياس زمن الاختبار لتقليل العشوائية والهلوسة، أو كوسيلة لتوليد بيانات استدلالية عالية الجودة لطرق SFT.

تكمن السلبية الرئيسية للأساليب القائمة على البحث وأخذ العينات في نماذج التفكير في زيادة زمن الانتقال—أي أوقات استجابة أطول—والأعباء الحسابية الإضافية التي تتطلبها. ومع ذلك، تفترض الأبحاث الصادرة عن جامعة Carnegie Mellon أن النماذج الأصغر حجمًا التي تستخدم خوارزميات الاستدلال القائمة على البحث أو العينات يمكنها توفير مفاضلة أفضل بين الأداء والكفاءة مقارنة بالنماذج الأكبر حجمًا المستخدمة بالأسلوب التقليدي.

من أبسط الطرق من الناحية المفاهيمية لضبط النماذج للاستدلال هي استخدام التعلم الخاضع للإشراف على مجموعة بيانات تتضمن مدخلات صعبة والمخرجات المقابلة المبنية على سلاسل الأفكار (CoT).

في حين أن استخدام الأساليب التقليدية لتجميع مجموعة بيانات التدريب "يدويًا" عبر أمثلة كَتَبَها البشر يتطلب قدرًا باهظًا من الوقت والجهد، فإن انتشار نماذج الاستدلال وتقنيات توسيع نطاق الاستدلال جعل توليد بيانات التدريب الاصطناعية المناسبة أسهل بكثير.  أظهرت دراسة أجرتها جامعة ستانفورد ومعهد Allen Institute for AI أنه بعد الضبط الدقيق لنموذج Qwen2.5-32B-Instruct على مجموعة بيانات منتقاة تضم 1000 زوج فقط من الأسئلة ومسارات الاستدلال، تمكّن نموذج "s1" الخاص بهما من التفوق على نموذج o1-preview من OpenAI في مسائل الرياضيات التنافسية.

يمكن أيضًا استخدام تقطير المعرفة لتعليم النماذج الأصغر حجمًا محاكاة عمليات التفكير لدى نماذج الاستدلال الأكبر، وذلك من خلال ضبطها الدقيق عبر الضبط الدقيق الخاضع للإشراف (SFT) مباشرةً على المخرجات الناتجة عن نموذج "المُعلِّم" الأكبر. استخدمت DeepSeek تقنية تقطير المعرفة، مع اعتبار DeepSeek-R1 نموذجاً معلماً، لإنشاء إصدارات محسّنة ومضبوطة لمهام الاستدلال بأحجام متعددة من نماذج Qwen و Llama.

تهدف أساليب أخرى إلى بناء مجموعة بيانات من المطالبات (Prompts) ومخرجات "سلسلة الأفكار" (CoT) الطويلة المقابلة لها عبر عملية "تحسين ذاتي" للنموذج. يقدم Self-Taught Reasoner (STaR) أمثلة قليلة المحاولات لمسارات استدلال فعالة، ثم يوجه النموذج لإنشاء إجابات ومبررات لعدد أكبر من الأسئلة النموذجية. ثم يتم ضبط النموذج بدقة بناءً على المبررات التي أسفرت في النهاية عن إجابات صحيحة، وبعد ذلك تتكرر العملية بشكل متكرر. التدريب الذاتي المعزز (ReST) يطبق نهجاً مفاهيمياً مشابهاً للضبط الدقيق لإشارة المكافأة (أو "السياسة") المستخدمة في الضبط الدقيق بالتعلم المعزز. وقد أسفر كلاهما عن عدد من المنهجيات المشتقة.

على الرغم من مزاياها العديدة وفوائدها، فإن النماذج اللغوية الكبيرة للاستدلال ليست خالية من العيوب.

تميل نماذج الاستدلال—خاصةً تلك التي تحتوي على عدد قليل نسبيًا من المعلمات—إلى الإفراط في التفكير. وجدت إحدى الدراسات الصادرة عن Tencent أن نماذج الاستدلال تستهلك ما متوسطه 1,953% إضافية من الرموز المميزة مقارنة بالنماذج التقليدية للوصول إلى الإجابة نفسها. دراسة أخرى[x]، أجراها باحثون من جامعات متعددة، وجدت أنه في البيئات الوكيلة، تميل نماذج الاستدلال إلى الانخراط في استدلال دائري مطول بدلاً من التفاعل مع الأدوات ومصادر المعلومات الخارجية.

أكدت الأبحاث التي نشرتها شركة Anthropic في يوليو 2025 أن مثل هذا التفكير المفرط لا يتعلق بمسألة الكفاءة فحسب؛ إذ استكشفت ورقتهم البحثية المعنونة “Inverse Scaling in Test-Time Compute،" حالات يؤدي فيها الاستدلال الأطول إلى تدهور الأداء، مما يعكس علاقة عكسية بين الحوسبة في وقت الاختبار والدقة." في حين أُثبت تجريبيًا أن زيادة الحوسبة أثناء وقت الاختبار يمكن أن تُعزّز أداء النموذج في كثير من الأحيان، أظهرت أبحاثهم عدة سيناريوهات أدى فيها توليد المزيد من رموز الاستدلال قبل المخرجات النهائية إلى تضخيم نقاط ضعف النموذج ومشكلات المحاذاة. هذا يتحدى "الافتراض القائل بأن زيادة الاستدلال تحسّن مخرجات النموذج بشكل مطلق".

أظهرت أبحاث ذات صلة من شركة Apple، والمُشار إليها سابقًا في هذا المقال، مجموعةً من المهام منخفضة التعقيد تفوقت فيها النماذج القياسية على نماذج الاستدلال، فضلاً عن مهام عالية التعقيد فشل فيها كلا النوعين من النماذج بشكل كامل. في أبحاث شركة Apple، "تفشل نماذج الاستدلال في تطوير قدرات قابلة للتعميم لحل المشكلات في مهام التخطيط، حيث ينهار الأداء إلى الصفر بمجرد تجاوز عتبة تعقيد معينة.

في حين أن الضبط الدقيق القائم على الاستدلال يؤدي عمومًا إلى تحسينات كبيرة في المهام المعقدة ضمن المجالات المنطقية مثل الرياضيات والبرمجة، إلا أنه قد يتسبب أيضًا في تراجع الأداء في المجالات الأخرى. على سبيل المثال، ومقارنةً بنظرائها الأصلية، أظهرت نسخ Llama 3.1 وQwen2.5 التي تم ضبطها بدقة عبر تقطير المعرفة (knowledge distillation) من DeepSeek-R1 تراجعًا ملحوظًا في كلٍّ من ArenaHard و Alpaca-Eval-2، وهي معايير تقييم شائعة تقيس قدرة النموذج على التفكير والتعامل مع التعليمات الصعبة. ومع ذلك، فإن تقنيات الاستدلال الأوسع استهدافًا، مثل تقنية تحسين تفضيل التفكير (TPO) المستخدمة في الضبط الدقيق لـ IBM Granite 3.2، تُحسّن اتباع التعليمات بشكل ملحوظ (وإن كان ذلك دون تأثير ملموس على الأداء في الرياضيات أو البرمجة).

يجب على المستخدمين الدفع (والانتظار) مقابل جميع الرموز المميزة التي يولِّدها النموذج أثناء "التفكير"، وتستهلك هذه الرموز المميزة مساحة نافذة السياق المتاحة. تبرر بعض حالات الاستخدام هذا الوقت الإضافي والحوسبة، ولكن بالنسبة للآخرين يُعَد ذلك إهدارًا للموارد. ومع ذلك، فإن التحول المستمر من نموذج الاستدلال إلى نموذج "قياسي" على أساس كل مهمة على حدة، وكل مطالبة على حدة، عادةً ما يكون غير عملي.

في الفترة التي تلت إطلاق أولى نماذج الاستدلال، تبنى قطاع الذكاء الاصطناعي بشكل كبير "نماذج الاستدلال الهجينة" التي يمكن تعديل "جهد" الاستدلال أو التفكير فيها—وبعبارة أخرى، كمية رمزية الاستدلال التي تولدها قبل إخراج النتيجة النهائية.

في فبراير 2025، أصبح IBM Granite 3.2 أول نموذج لغوي كبير يوفر وضع "تفكير" يمكن تبديله، مما يتيح للمستخدمين الاستفادة من التفكير المنطقي عندما يحتاجون إليه، وإعطاء الأولوية للكفاءة عندما لا يحتاجون لذلك.16 وحذا نموذج Claude 3.7 Sonnet من شركة Anthropic حذوه في وقت لاحق من ذلك الشهر، مضيفًا إمكانية التحكم الدقيق لمستخدمي واجهة برمجة التطبيقات (API) في المدة التي "يفكّر" خلالها النموذج. قدمت جوجل لاحقًا إمكانية مماثلة لضبط "ميزانية التفكير" لنماذج Gemini، وسرعان ما سمحت OpenAI بضبط "جهد الاستدلال" لنماذج التفكير o1 و o3 على المستوى "المنخفض" أو "المتوسط" أو "العالي". 

ومنذ ذلك الحين، أصبح هذا النهج معياراً أساسياً. على الرغم من أن بعض عائلات النماذج اللغوية الهامة لا تزال تُصدر بصيغ مستقلة مخصصة للتفكير وأخرى غير مخصصة له، فإن معظم المزودين يكتفون بإصدار نماذج قابلة للاستدلال يمكن للمستخدم إيقاف جهد الاستدلال فيها.

ظاهريًا، يُسهم إظهار سلسلة أفكار النموذج للمستخدم في تقديم فهم دقيق لكيفية وصول النموذج اللغوي الكبير (LLM) إلى إجاباته النهائية، مما يمنح قدرة أكبر على التفسير مقارنة بما هو ممكن عادةً مع النماذج القياسية. لكن أبحاثًا من شركة Anthropic تشير إلى أن نماذج الاستدلال لا تقول دائمًا ما تفكر فيه حقًا. عبر سلسلة من المهام المصممة خصيصًا، اكتشف الباحثون أن كلًا من Claude 3.7 Sonnet وDeepSeek-R1 لم يشرحا آلية تفكيرهما بأمانة؛ فعلى سبيل المثال، عند تزويدهما بتلميحات للوصول إلى الإجابة الصحيحة، نادراً ما أشارت ردودهما إلى تلك التلميحات أثناء توضيح المنطق المزعوم وراء استنتاجاتهما.