تعد شجرة الأفكار إطار عمل رائدًا مصممًا لتعزيز قدرات الاستدلال في النماذج اللغوية الكبيرة (LLMs). حيث يحاكي هذا النهج الاستراتيجيات المعرفية البشرية لحل المشكلات، مما يتيح للنماذج اللغوية الكبيرة (LLMs) استكشاف حلول محتملة متعددة بطريقة منظَّمة، على غرار مسارات تفرع الشجرة.[1]
ترشد شجرة الأفكار النماذج اللغوية الكبيرة (LLM) خلال سلسلة من خطوات الاستدلال، حيث يمكن لكل خطوة أن تتفرع إلى مسارات متعددة، مما يسمح للنموذج بالتعقب الخلفي (الخوارزمية التراجعية) أو استكشاف استراتيجيات بديلة حسب الحاجة. على سبيل المثال، قد يؤدي حل أحجية سودوكو (لعبة تعتمد على ترقيم الخانات) إلى توجيه النموذج لاستكشاف مواضع أرقام مختلفة بطريقة التجربة والخطأ. ثم يتراجع إلى الخلف عندما يؤدي الرقم إلى تناقض ويعيد المحاولة مع رقم مختلف حتى يتم حل اللغز. وهذا يحاكي النهج البشري في حل المشكلات، حيث يتم النظر في حلول متعددة والتخلص منها إذا وُجد أنها غير صحيحة.[1][3]
تُعَد شجرة الأفكار إطار عمل متطورًا مصممًا لتعزيز قدرات حل المشكلات في النماذج اللغوية الكبيرة (LLM) من خلال هيكلة تفكيرها بطريقة مماثلة للعمليات المعرفية البشرية. ويتكون هذا الإطار من أربعة عناصر رئيسية:
يقسِّم إطار عمل ToT بشكل واضح المشكلة إلى خطوات أصغر يمكن التحكم فيها تُسمَّى الأفكار، والتي يتم تجميعها معًا لتكوين حل. يجب أن تكون كل فكرة بالحجم المناسب - أي لا تكون كبيرة جدًا بحيث لا يمكن التعامل معها ولا صغيرة جدًا فلا تكون مفيدة. على سبيل المثال، إذا كنت تخطط لرحلة، فقد تتضمن الفكرة اتخاذ قرار بشأن وجهة السفر أولًا، ثم اختيار أفضل وسيلة نقل، وأخيرًا اختيار مكان الإقامة. في المسألة الرياضية، قد تكون الفكرة عبارة عن سطر معادلة واحد أو شرح مفهوم موجز. وبهذه الطريقة، يتم تقسيم المشكلة إلى خطوات رئيسية يسهل معالجتها وتقييمها بشكل فردي. ويعتمد التحليل على طبيعة المشكلة، مع التأكد من أن الأفكار مهمة وقابلة للتقييم.
بعد تحديد ما يشكِّل فكرة، فإن الخطوة التالية هي تحديد كيفية توليد هذه الأفكار. يقترح إطار العمل طريقتين أساسيتين.[4]
بمجرد إنشاء الأفكار، يجب تقييمها للمساعدة على ضمان التقدم نحو الحل. ويستخدم إطار العمل استراتيجيتين لهذا الغرض:
يتضمن العنصر الأخير خوارزمية البحث المستخدمة للتنقل عبر مساحة الحل. ويستخدم إطار العمل خوارزميتين أساسيتين في الغالب:
ومن خلال دمج هذه العناصر، يحاكي إطار شجرة الأفكار حل المشكلات لدى الإنسان من خلال النظر بشكل منهجي في حلول متعددة وتجاهل الحلول التي يتبين أنها غير صحيحة.
تتضمن الديناميكيات التشغيلية لإطار شجرة الأفكار استكشافًا متكررًا منظمًا للحلول الممكنة. فبداية من المطالبة الأولية، يقوم النموذج بإنشاء مجموعة من الأفكار أو الإجابات، يؤدي كل منها إلى استعلامات تالية وتوسعات لاحقة. وتتطور هذه الفروع عندما يستكشف النموذج مسارات تفكير مختلفة. وهذه الطريقة تستخدم تتبع مدى التقدم واستكشاف مساحة الحل بأكملها من خلال التقييم الذاتي المدعوم من النموذج اللغوي الكبير (LLM) مما يساعد على ضمان صحة كل خطوة. فإذا وصل خط معين من الاستدلال إلى تناقض أو طريق مسدود، فيمكن للنظام التراجع إلى العقدة السابقة لاستكشاف احتمالات أخرى بديلة.
وهذا النهج المنظَّم والمرن يتيح للنماذج اللغوية الكبيرة (LLM) التعامل مع مهام الاستدلال المعقدة والمتعددة الخطوات بفاعلية وكفاء أكبر. وهي طريقة تشبه قدرة الإنسان على التنقل داخل متاهة من الأفكار والخيارات، وإعادة تقييم وتعديل الاستراتيجيات حسب الحاجة.
في حقيقة الأمر، يساهم إطار عمل شجرة الأفكار في تزويد النماذج اللغوية الكبيرة بقدرة أكثر شبَهًا بالقدرة البشرية على التفكير وحل المشكلات، ما يزيد من فاعليتها في المهام التي تتطلب التفكير الاستراتيجي العميق واتخاذ القرار.
تعمل أطر عمل شجرة الأفكار (ToT) وسلسلة الأفكار (CoT) كخوارزميات مفاهيمية لفهم تنظيم وتقدم إنشاء النص في نماذج اللغة (LMs) مثل المحوِّلات المُولدة المُدرَّبة مسبقًا (مثل GPT-3 وGPT-4). وتشكل أساليب التلقين هذه جزءًا من هندسة التلقين، والتي تتضمن صياغة المدخلات (الأوامر) لتوجيه نماذج اللغة (LMs) بشكل فعال في توليد المخرجات المفضلة.
تلقين شجرة الأفكار: يعمل هذا الإطار على قدرة النموذج على إنشاء نص هرمي، مع وجود موضوع أو فكرة مركزية تؤدي إلى مواضيع فرعية متفرعة وتفاصيل. حيث يعكس هذا النهج كيف يمكن للنموذج أن يتوسع في مطالبة محددة من خلال إنشاء نص محدد ومرتبط بشكل متزايد، على غرار بنية الشجرة. فهو يتيح التفكر المستقبلي في استراتيجيات البحث الشجري، حيث يمكن للنموذج استكشاف فروع متعددة قبل الالتزام بمسار واحد، مما يجعله مناسبًا لحل المشكلات العامة والسيناريوهات التي تتطلب اتخاذ قرارات معقدة. وهذه الطريقة تتضمن التفكير بالمنطق السليم والأساليب الاستكشافية (الاستدلال بطريقة المحاولة والخطأ) لتقييم جودة كل فرع. حيث يتم استخدام آلية الاتساق الذاتي لتوفير تقييمات موثوقة بها من خلال تلقين النموذج عدة مرات.
تحفيز سلسلة الأفكار: أما هذا المفهوم، فله علاقة بقدرة النموذج على إنشاء نصوص بطريقة خطية من اليسار إلى اليمين، حيث يتأثر كل رمز مميز لاحق بشكل مباشر بالرموز المميزة السابقة. وهذا التقدم المتسلسل يعكس نهجًا أبسط وأكثر وضوحًا لإنشاء النص. تعد سلسلة الأفكار أسلوبًا فعالاً للمهام التي تتطلب تدفقًا منطقيًا واضحًا خطوة بخطوة. حيث يمكن للتعلم بخطوات قليلة أن يعزز هذه الطريقة من خلال توفير الفهم السياقي، حيث يتم تزويد النموذج ببعض الأمثلة للتعلم منها. وتعد سلسلة الأفكار أسلوبًا أساسيًا في هندسة المطالبات، بما تقدمه من طريقة أساسية أسهل في التنفيذ وإن كانت تفتقر إلى العمق والتعقيد الموجود في شجرة الأفكار.
المقارنة والتطبيقات: في حين نجد أن تلقين شجرة الأفكار يمثل نهجًا أكثر تعقيدًا وترابطًا لتوليد النص، من خلال استخدام استراتيجيات البحث الشجري والبحث المستقبلي، نجد أن سلسلة الأفكار تعكس تقدمًا أبسط ومتسلسلًا. والطبيعة الهرمية لشجرة الأفكار تجعلها مناسبة للمهام التي تتطلب استكشافًا تفصيليًا لحلول متعددة، مثل سيناريوهات التعلم المعزَّز، حيث يكون التعقب الخلفي (الخوارزمية التراجعية) والاستراتيجيات البديلة أمرًا بالغ الأهمية. ومع ذلك، يعد التقدم الخطي لسلسلة الأفكار مثاليًا للمهام التي تحتاج إلى تسلسل واضح ومنطقي للأفكار.
في التطبيقات العملية، نجد أن واجهات برمجة التطبيقات الخاصة بالنماذج اللغوية، بما في ذلك GPT-3 و GPT-4، تستخدم أساليب وطرقًا تحفيزية مثل شجرة الأفكار وسلسلة الأفكار لتحسين أدائها في مهام متنوعة، بدءًا من الكتابة الإبداعية وحتى حل المشكلات المعقدة.[2] تستمر هندسة المطالبات في التطور، مما يوفر أدوات قوية لتسخير قدرات المحوِّلات المتقدمة في نماذج اللغة.
رسائل Think الإخبارية
ابقَ مطَّلعًا على أحدث أخبار الصناعة وأدوات الذكاء الاصطناعي والاتجاهات الناشئة في هندسة المطالبات مع رسائل Think الإخبارية. بالإضافة إلى ذلك، احصل على شرح جديد، ودروس تعليمية، ورؤى الخبراء— تصلك مباشرة إلى بريدك الوارد. راجع بيان الخصوصية لشركة IBM.
يمثل إطار شجرة الأفكار تقدمًا كبيرًا في قدرات النماذج اللغوية الكبيرة (LLM) لحل المشاكل المعقدة. ومع ذلك، فهناك مقايضات (تنازل عن ميزة للحصول على أخرى) تتضمن تعقيدًا إضافيًا متأصلاً في تنفيذ هذا الإطار.
يقدم هذا الإطار فوائد عديدة لمجال الذكاء الاصطناعي تشمل ما يلي:
تعمل شجرة الأفكار على تحسين مهارات حل مشكلات النماذج اللغوية الكبيرة (LLM) بشكل كبير من خلال تمكينهم من استكشاف مسارات الاستدلال المتعددة في وقت واحد. وهذا يعكس العمليات المعرفية البشرية حيث يتم النظر في العديد من الحلول المحتملة ويتم اختيار الحل الأكثر قابلية للتطبيق. على سبيل المثال، في المهام التي تتطلب تفكيرًا أو تخطيطًا استراتيجيًا، مثل حل ألغاز الكلمات أو كتابة أعمال إبداعية، أظهرت شجرة الأفكار أداءً فائقًا، وحققت معدلات نجاح أعلى مقارنة بالطرق التقليدية. وقد أدى هذا إلى زيادة القدرة على التفكير المعقد من خلال تحليل الخطوات المتوسطة الواضحة بشكل خاص في المهام الصعبة حيث تؤثر القرارات الأولية بشكل كبير على النتائج.[4]
على وجه التحديد، تتناول شجرة الأفكار غير المؤكدة (TouT)، وهي أحد امتدادات شجرة الأفكار، الشكوك الكامنة الموجودة في عمليات اتخاذ القرار في النماذج اللغوية الكبيرة (LLM). ومن خلال قياس هذه الشكوك وإدارتها، تتيح شجرة الأفكار غير المؤكدة (TouT) الحصول على نتائج أكثر دقة وموثوقية. وتستخدم أساليب وطرقًا مثل طريقة "إسقاط مونت كارلو". وهذه الطريقة تُستخدم في التعلم الآلي، خاصة في نماذج التعلم العميق، لتقدير عدم اليقين في التنبؤات. حيث تتضمن هذه الطريقة إسقاط الخلايا العصبية بشكل عشوائي أثناء التدريب والاستدلال، مما يؤدي إلى إنشاء "مسارات" متعددة ومختلفة عبر الشبكة. ومن خلال حساب متوسط التنبؤات من هذه المسارات المختلفة، يمكن للنموذج أن يوفر تقديرات أكثر موثوقية لعدم اليقين. وتعد هذه الطريقة مفيدة في التطبيقات التي تكون فيها التنبؤات الدقيقة والموثوقة ضرورية، مثل التشخيص الطبي أو التنبؤ المالي.[5]
جنبًا إلى جنب مع الفوائد، هناك بعض القيود الكامنة التي يجب النظر فيها.
يتضمن إطار تدريب شجرة الأفكار (ToT) عمليات معقدة مثل الحفاظ على مسارات اتخاذ قرار متعددة والتعقب الخلفي (الخوارزمية التراجعية) واستكشاف حلول بديلة. وهذه عمليات مكثفة حسابيًا، وغالبًا ما تتطلب موارد كبيرة من حيث قوة المعالجة والذاكرة. وهذه الحاجة إلى كثير من الموارد قد تحد من قابلية التوسع في شجرة الأفكار (ToT)، خاصة في البيئات التي تكون فيها الموارد الحاسوبية محدودة أو في التطبيقات التي تتم في الوقت الفعلي حيث تكون أوقات الاستجابة السريعة مطلوبة وحاسمة.
يتضمن إنشاء نظام شجرة الأفكار دمج عناصر متنوعة مثل وكيل التلقين ووحدة الفحص ووحدة الذاكرة ووحدة التحكم في شجرة الأفكار.[1] ويجب ضبط كل عنصر بدقة للعمل بانسجام، وهي عملية قد تكون معقدة وتستغرق وقتًا طويلاً. علاوة على ذلك، تعتمد فاعلية النظام بشكل كبير على جودة تنفيذه. فتكوين إعدادات أي مكون بشكل غير صحيح قد يؤدي إلى تقليل فاعلية النظام بأكمله، مما يجعله أقل موثوقية أو يؤدي إلى مسارات غير صحيحة لحل المشكلات.
أظهرت أبحاث حديثة مخاوف بشأن فاعلية المطالبة بأسلوب ToT. تسلط الدراسة الضوء على أن أسلوب ToT قد يؤدي إلى استكشاف متكرر لمسارات استدلال منخفضة القيمة، ما يسبب عبئًا حسابيًا غير ضروري وبطئًا في أداء المهام. وعلى عكس استراتيجيات التخطيط الأكثر تحديدًا، يفتقر ToT إلى آليات لتحديد أولويات الفروع الواعدة، ما قد يعيق فاعليته في مهام الاستدلال المعقدة.[6]
لمعالجة هذه المشكلات، يقترح الباحثون نهجًا بديلًا -تفكير البحث (Thought of Search)- الذي يدمج استراتيجيات التخطيط ومكاسب المعلومات لتوجيه عملية الاستدلال بشكل أكثر كفاءة. تُشير هذه النتائج إلى أنه بينما يظل ToT إطارًا مفاهيميًا قويًا، فقد تستفيد تطبيقاته العملية من الدمج مع استراتيجيات بحث أكثر كفاءة.[6]
لقد أثبت إطار عمل شجرة الأفكار فاعليته في العديد من التطبيقات، حيث أظهر قوته وقدرته على التكيف والتأقلم. ونتناول الآن استكشاف 4 دراسات حالة مقنعة حيث نجحت شجرة الأفكار في تحسين قدرات حل المشكلات بشكل كبير:
إن استخدام شجرة الأفكار في حل لعبة سودوكو يُظهر لنا مدى قدرة شجرة الأفكار على التغلب على التحديات المنطقية المعقدة. فمن خلال توجيه النموذج خلال مواضع الأرقام المختلفة وتمكينه من التراجع عند مواجهة التناقضات، تعمل شجرة الأفكار على تبسيط المسار إلى الحلول الصحيحة. وهذه القدرة على إعادة تقييم القرارات بشكل ديناميكي تعمل على تحسين دقة وكفاءة حل المشكلات بشكل كبير، مما يؤكد على الميزة التي تميزت بها شجرة الأفكار مقارنة لها بأساليب حل المشكلات بطرق ثابتة لا تتغير.[1]
في لعبة 24 ذات الحساب الاستراتيجي، نجحت شجرة الأفكار في تحسين معدلات النجاح بشكل كبير من خلال تمكين النموذج من استكشاف مسارات حسابية متعددة. حيث نجد عملية الاستدلال التكيفي هذه قد أتاحت للنموذج حل الألغاز بشكل أكثر إبداعًا وكفاءة، ما يدل على قدرة شجرة الأفكار على تحسين المرونة المعرفية في حل المشكلات العددية.[4]
تم تطبيق شجرة الأفكار أيضًا على مهام الكتابة الإبداعية، حيث ساعدت النماذج اللغوية الكبيرة (LLMs) في توليد روايات أكثر تماسكًا وملاءمة للسياق. فمن خلال هيكلة عملية التفكير في شجرة متفرعة، يمكن للنموذج استكشاف تطورات مختلفة في الحبكة الروائية أو الخيارات الأسلوبية والانتقاء أو المراجعة بناءً على النتائج الواعدة. وأدت هذه الطريقة إلى تحسين جودة وأصالة النص الذي يتم توليده بواسطة النماذج اللغوية الكبيرة (LLM)، مما يوفر نهجًا أكثر دقة لسرد القصص المؤتمت.[4]
من التطبيقات الأخرى الرائعة لشجرة الأفكار حل ألغاز الكلمات المتقاطعة الصغيرة 5x5. حيث إن هذا الإطار يمكّن النموذج من النظر في خيارات كلمات متعددة لكل دليل كلمات متقاطعة، وتقييمها ليس بشكل منعزل فقط، بل تقييم كيفية تفاعلها أيضًا مع الكلمات الموضوعة بالفعل. ونهج التقييم التكراري والشامل هذا يساعد على ضمان دقة أعلى في إكمال اللغز، كما يوضح قدرة شجرة الأفكار على تطبيق التفكير المنطقي والسياقي في المهام المعقدة لغويًا. وفي هذا السياق، نجد أن استخدام شجرة الأفكار يؤكد ويركز على تنوعه وفاعليته في المهام التي تتطلب دمج أنواع متعددة من المعارف واستراتيجيات التفكير.[4]
توضح دراسات الحالة هذه القدرات المتنوعة لإطار شجرة الأفكار، بدءًا من تعزيز التفكير المنطقي والعددي وحتى تحسين الإبداع والفهم السياقي في المهام المستندة إلى اللغة. يؤكد كل مثال على قدرة شجرة الأفكار على إحداث نقلة جديدة في حل المشكلات عبر التخصصات.
ركزت التطورات العلمية الأخيرة في الأبحاث المتعلقة بشجرة الأفكار على توسيع قدراتها ومعالجة التحديات الكامنة في تطبيقها. وشملت التطورات الرئيسية ما يلي:
يمثِّل إدخال شجرة الأفكار غير المؤكدة (TouT) تقدمًا مهمًا في أبحاث ToT. حيث أدت شجرة الأفكار غير المؤكدة (TouT) إلى تحسين شجرة الأفكار من خلال دمج آليات القياس الكمّي لعدم اليقين التي تقيِّم موثوقية كل مسار قرار. وهذا التطور يُعَد أمرًا بالغ الأهمية للتطبيقات التي يتعين فيها اتخاذ القرارات في حالات عدم اليقين، حيث الخطأ له تكلفته المرتفعة.[5]
ركَّزت الأبحاث الإضافية على تعزيز قدرات صنع القرار العالمية للنماذج اللغوية الكبيرة عند استخدام ToT. وقد أدخلت الدراسات الحديثة في هذا الإطار حلقات التعليقات، ما أتاح للنماذج التعلم من القرارات السابقة وضبط عمليات التفكير الخاصة بها في الوقت الفعلي. حيث ساعدت آلية التعليقات التكرارية هذه على تحسين عملية صناعة القرار، ما جعلها أكثر ديناميكية واستجابة لسياق المشكلة المتطور. وتهدف هذه التحسينات إلى تقريب قدرات تفكير النماذج اللغوية الكبيرة (LLM) من العمليات المعرفية البشرية، حيث يمثِّل التعلم من التجارب السابقة دورًا حاسمًا في تشكيل القرارات المستقبلية.[4]
تؤكد هذه التطورات الأخيرة على الجهود المستمرة لتحسين إطار شجرة الأفكار وتوسيعه، مما يساعد على ضمان إمكانية تطبيقه وفاعليته في سيناريوهات حل المشكلات متزايدة التعقيد. ولا تعمل هذه التطورات على تعزيز قدرات النماذج اللغوية الكبيرة (LLMs) فحسب، بل تفتح أيضًا آفاقًا جديدة للبحث والتطبيق في مجال الذكاء الاصطناعي.
[1] Long, J. (May 2023). Large Language Model Guided Tree-of-Thought.
[2] Karthik Narasimhan, S. Y. (July 2023). Official Repository of Tree of Thoughts (ToT). https://github.com/princeton-nlp/tree-of-thought-llm
[3] Pengfei Liu, W. Y. (2021). Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing. ACM Computing Surveys.
[4] Shunyu Yao, D. Y. (2023). Tree of Thoughts: Deliberate Problem Solving with Large Language Models. ArXiv, abs/2305.10601.
https://arxiv.org/abs/2305.10601
[5] 5 Shentong Mo, M. X. (September 2023). Tree of Uncertain Thoughts Reasoning for Large Language Models. ArXiv, abs/2309.07694. https://arxiv.org/abs/2309.07694
[6] Katz, M., Kokel, H., Srinivas, K., & Sohrabi, S. (2024). Thought of search: Planning with language models through the lens of efficiency. In A. Globerson, L. Mackey, D. Belgrave, A. Fan, U. Paquet, J. Tomczak, & C. Zhang (Eds.), Advances in Neural Information Processing Systems (Vol. 37, pp. 138491–138568).