ما وكيل ReAct؟

طُرح نموذج ReAct لأول مرة في ورقة بحثية عام 2023 من إعداد Yao وآخرين بعنوان "ReACT: Synergizing Reasoning and Acting in Language Models"، ويمكن اعتباره نهجًا في التعلم الآلي يهدف إلى دمج قدرات الاستدلال واتخاذ الإجراءات في النماذج اللغوية الكبيرة.

وبشكل أكثر تحديدًا، يُعَد ReAct إطار عمل مفاهيمي لبناء وكلاء ذكاء اصطناعي يمكنهم التفاعل مع بيئتهم بطريقة منظمة لكنها قابلة للتكيُّف، من خلال استخدام نموذج لغوي كبير باعتباره "عقل" الوكيل لتنسيق كل شيء من التوليد المعزز بالاسترجاع (RAG) البسيط إلى مهام سير عمل متعددة الوكلاء ومعقدة.

على عكس أنظمة الذكاء الاصطناعي التقليدية، لا يفصل وكلاء ReAct بين صناعة القرار وتنفيذ المهام. لذلك، يُعَد تطوير نموذج ReAct خطوة مهمة في تطوُّر الذكاء الاصطناعي التوليدي من مجرد روبوتات محادثة حوارية إلى أدوات لحل المشكلات المعقدة.

يستمر وكلاء ReAct والنُهج المتفرعة عنهم في تشغيل تطبيقات ذكاء اصطناعي قادرة على التخطيط والتنفيذ والتكيُّف بشكل مستقل مع ظروف غير متوقعة.

يستلهم إطار ReAct فكرته من الطريقة التي يستخدم بها البشر اللغة الطبيعية بشكل حدسي، غالبًا من خلال الحوار الداخلي، في التخطيط والتنفيذ المتسلسل للمهام المعقدة.

وبدلًا من تنفيذ مهام سير عمل تستند إلى قواعد محددة مسبقًا، يعتمد وكلاء ReAct على قدرات الاستدلال الخاصة بالنموذج اللغوي الكبير (LLM) لضبط نهجهم بشكل ديناميكي استنادًا إلى المعلومات الجديدة أو نتائج الخطوات السابقة.

تخيَّل أنك تحزم أمتعتك لرحلة قصيرة. قد تبدأ بتحديد الاعتبارات الأساسية (مثل: كيف سيكون الطقس أثناء وجودي هناك؟)، ثم تستعين بمصادر خارجية (مثل: سأتحقق من توقعات الطقس المحلية).

وباستخدام هذه المعلومات الجديدة ("سيكون الجو باردًا")، تحدِّد اعتبارك التالي ("ما الملابس الدافئة التي سآخذها معي؟")، وتتخذ إجراءً ("سأتحقق من خزانة ملابسي"). عند اتخاذ هذا الإجراء، قد تواجه عائقًا غير متوقع (كل ملابسي الشتوية مخزَّنة)، فتقوم بتعديل خطوتك التالية بناءً على ذلك (ما الملابس التي يمكنني ارتداؤها معًا على شكل طبقات؟).

يستخدم إطار ReAct هندسة الموجِّهات لتنظيم نشاط وكيل الذكاء الاصطناعي ضمن نمط رسمي يتناوب فيه التفكير، ثم اتخاذ الإجراء، ثم الملاحظة:

• تُساعد خطوات استدلال سلسلة التفكير (CoT) المنطوقة النموذج على تفكيك المهمة الأكبر إلى مهام فرعية أكثر قابلية للإدارة.

• تمكِّن الإجراءات المُحددة مسبقًا النموذج من استخدام الأدوات، وإجراء استدعاءات لواجهة برمجة التطبيقات (API)، وجمع معلومات إضافية من مصادر خارجية مثل محركات البحث أو قواعد المعرفة مثل مستودع الوثائق الداخلي.

• بعد تنفيذ إجراء ما، يُعيد النموذج تقييم تقدّمه ويستخدم تلك الملاحظة لتقديم إجابة نهائية أو لتوجيه الفكرة التالية. من الأفضل أن تأخذ الملاحظة في الحسبان أيضًا المعلومات السابقة، سواء أكانت ضمن نافذة السياق القياسية للنموذج أم من عنصر ذاكرة خارجية.

نظرًا لأن أداء وكيل ReAct يعتمد بشكل كبير على قدرة النموذج اللغوي الكبير المركزي لديه على "التفكير المنطوق" أثناء تنفيذ المهام المعقدة، فإن وكلاء ReAct يستفيدون بشكل كبير من النماذج القادرة على الاستدلال المتقدم واتباع التعليمات بدقة.

لتقليل التكاليف وزمن الانتقال، قد يعتمد إطار عمل ReAct متعدد الوكلاء أساسًا على نموذج كبير وأكثر كفاءة ليكون بمثابة الوكيل المركزي. يقوم هذا الوكيل بالتفكير أو تفويض المهام الفرعية إلى وكلاء أصغر مبنيين على نماذج أخف وزنًا وأكثر كفاءة.

ينطوي هذا الإطار بطبيعته على حلقة تغذية راجعة، يُعالج فيها النموذج المشكلات من خلال التكرار التداخلي لعملية التفكير، والتنفيذ، والملاحظة.

في كل مرة يكتمل فيها هذا التسلسل -أي عندما ينفِّذ الوكيل إجراءً ويُجري ملاحظة بناءً على نتائج ذلك الإجراء- يجب عليه أن يقرر إذا ما كان سيكرِّر الحلقة أم سينهيها.

يُعَد تحديد متى وكيفية إنهاء حلقة التفكير من الاعتبارات المهمة في تصميم وكيل ReAct. ويُعَد تحديد عدد أقصى لتكرارات الحلقة وسيلة بسيطة للحد من زمن الانتقال والتكاليف واستهلاك الرموز، وتفادي الوقوع في حلقة لا نهائية.

وعلى العكس، يمكن ضبط الحلقة على أن تنتهي عند تحقيق شرط معين، مثل تحديد النموذج لإجابة نهائية محتملة تتجاوز حدًا معينًا من الثقة.

لتنفيذ هذه الدورة من التفكير والتصرف، يستخدم وكلاء ReAct عادةً نوعًا من موجِّهات ReAct، سواء عبر موجِّه النظام المقدَّم للنموذج اللغوي الكبير، أم ضمن سياق استعلام المستخدم نفسه.

يُعَد تحفيز ReAct تقنية موجَّهة محددة تهدف إلى توجيه النموذج اللغوي الكبير إلى اتباع نمط ReAct القائم على حلقات من الفكر والإجراء والملاحظة. رغم أن استخدام أساليب تحفيز ReAct التقليدية بشكل صريح ليس ضروريًا تمامًا لبناء وكيل ReAct، إلا أن معظم الوكلاء المعتمدين على ReAct يطبقونها أو يستلهمونها بشكل مباشر.

كما ورد في الورقة البحثية الأصلية حول ReAct، فإن الوظيفة الأساسية لتحفيز ReAct هي توجيه النموذج اللغوي الكبير إلى اتباع حلقة ReAct وتحديد الأدوات المسموح باستخدامها -أي الإجراءات التي يمكن تنفيذها- عند التعامل مع استفسارات المستخدم.

سواء من خلال تعليمات صريحة أم أمثلة بعدد محدود (Few-Shot Examples)، ينبغي أن تهدف موجهات ReAct إلى:

• توجيه النموذج لاستخدام أسلوب التفكير المتسلسل: توجيه النموذج على معالجة المهام من خلال التفكير خطوة بخطوة، مع الدمج بين الأفكار والإجراءات.

• تحديد الإجراءات: تحديد الإجراءات المحددة المتاحة للنموذج. قد يستلزم الإجراء إنشاء نوع معين من الفكرة أو المطالبات الفرعية التالية، ولكنه عادةً ما يتضمن استخدام أدوات خارجية أو إنشاء واجهات برمجة التطبيقات.

• توجيه النموذج لإجراء ملاحظات: توجيه النموذج إلى إعادة تقييم السياق بعد كل خطوة من الإجراءات، واستخدام السياق المحدَّث لتوجيه خطوة التفكير التالية.

• الحلقة: توجيه النموذج إلى تكرار الخطوات السابقة عند الحاجة. يمكنك تحديد شروط معينة لإنهاء تلك الحلقة، مثل وضع حد أقصى لعدد الحلقات، أو توجيه الوكيل إلى إنهاء عملية التفكير عندما يشعر بأنه توصَّل إلى الناتج النهائي الصحيح.

• إخراج الإجابة النهائية: عند تحقق شروط الإنهاء، قدِّم للمستخدم الناتج النهائي ردًا على استفساره الأصلي. كما هو الحال في العديد من استخدامات النماذج اللغوية الكبيرة، حيث يتم استخدام نماذج التفكير التي تعتمد على تسلسل الأفكار قبل الوصول إلى الناتج النهائي، غالبًا ما يتم توجيه وكلاء ReAct إلى إجراء عملية التفكير داخل "مسوّدة مؤقتة".

يُعَد التوجيه الخاص بالنظام في النموذج الجاهز مثالًا تقليديًا يُظهر كيفية استخدام توجيه ReAct.ZERO_SHOT_REACT-DESCRIPTION وحدة وكيل ReAct في LangGraph من Langchain. يُطلق عليه اسم "الاستدلال دون أمثلة (zero-shot)"؛ لأن النموذج اللغوي الكبير المستخدَم مع هذه الوحدة لا يحتاج إلى أي أمثلة إضافية ليعمل كوكيل ReAct، بفضل توجيه النظام المُعد مسبقًا.

Answer the following questions as best you can. You have access to the following tools: 

Wikipedia: A wrapper around Wikipedia. Useful for when you need to answer general questions about people, places, companies, facts, historical events, or other subjects. Input should be a search query.
duckduckgo_search: A wrapper around DuckDuckGo Search. Useful for when you need to answer questions about current events. Input should be a search query.
Calculator: Useful for when you need to answer questions about math.

Use the following format:

Question: the input question you must answer
Thought: you should always think about what to do
Action: the action to take, should be one of [Wikipedia, duckduckgo_search, Calculator]
Action Input: the input to the action
Observation: the result of the action
... (this Thought/Action/Action Input/Observation can repeat N times)
Thought: I now know the final answer
Final Answer: the final answer to the original input question

Begin!

Question: {input}
Thought:{agent_scratchpad}

مثَّل تقديم إطار عمل ReAct خطوة مهمة في تطوُّر سير العمل القائم على الوكلاء والمدعوم بالنماذج اللغوية الكبيرة. بدءًا من ربط النماذج اللغوية الكبيرة بمعلومات خارجية واقعية وفي الوقت الفعلي عبر التوليد المعزز بالاسترجاع (RAG)، ووصولًا إلى المساهمة في تطورات لاحقة مثل Reflexion التي مهَّدت لظهور نماذج التفكير الحديثة - ساهم إطار ReAct في تسريع استخدام النماذج اللغوية الكبيرة في مهام تتجاوز مجرد توليد النصوص.

يستمد وكلاء ReAct فائدتهم بشكل كبير من بعض الخصائص الجوهرية لإطار ReAct.

• التنوع: يمكن تهيئة وكلاء ReAct للعمل مع مجموعة واسعة من الأدوات الخارجية وواجهات برمجة التطبيقات. على الرغم من أن ضبط الموجِّهات ذات الصلة (باستخدام الأدوات ذات الصلة) يمكن أن يحسِّن الأداء، فإنه لا يلزم تكوين النموذج مسبقًا لتنفيذ استدعاءات الأدوات.

• القدرة على التكيُّف: تُتيح هذه المرونة، إلى جانب الطبيعة الديناميكية والظرفية لكيفية تحديدهم للأداة أو الواجهة المناسبة لاستدعائها، لوكلاء ReAct استخدام عملية الاستدلال الخاصة بهم للتكيُّف مع التحديات الجديدة. وخاصةً عند العمل ضمن نافذة سياق طويلة أو بالاستعانة بذاكرة خارجية، يمكنهم التعلم من الأخطاء والنجاحات السابقة لمواجهة العقبات والمواقف غير المتوقعة. وهذا يجعل وكلاء ReAct أكثر مرونة وقدرة على التكيُّف.

• قابلية التفسير: يسهل تتبُّع عملية التفكير المنطقي التي يعبِّر عنها وكيل ReAct، ما يجعل من السهل اكتشاف الأخطاء ويجعل تطويره وتحسينه أكثر سهولةً للمستخدم.

• الدقة: كما تؤكِّد ورقة ReAct البحثية الأصلية، فإن تسلسل التفكير (CoT) يمنح النماذج اللغوية الكبيرة العديد من الفوائد، لكنه في الوقت نفسه يزيد من احتمال الهلوسة. يُسهم الجمع بين تسلسل التفكير (CoT) والربط بمصادر معلومات خارجية في إطار ReAct في التقليل بشكل كبير من الهلوسة، ما يجعل وكلاء ReAct أكثر دقةً وموثوقية.

هناك نموذج بارز آخر للذكاء الاصطناعي الوكيل يتمثل في استدعاء الوظائف، والذي تم طرحه لأول مرة بواسطة OpenAI في يونيو 2023 لدعم القدرات الوكيلية لنماذج GPT الخاصة بها.

يتضمن نموذج استدعاء الوظائف ضبط النماذج بدقة لتتعرَّف على الحالات التي تستدعي استدعاء أداة، ومن ثمَّ إنتاج كائن JSON منظم يحتوي على المعطيات اللازمة لتنفيذ تلك الوظائف.

العديد من عائلات النماذج اللغوية الكبيرة، سواء التجارية أم مفتوحة المصدر -بما في ذلك IBM Granite، وسلسلة Llama من Meta، وClaude من Anthropic، وGoogle Gemini- تدعم الآن استدعاء الوظائف.

يعتمد إذا ما كان ReAct أو استدعاء الوظائف "أفضل" بشكل عام على طبيعة حالة الاستخدام المحددة. في الحالات التي تتضمن مهامَ بسيطة نسبيًا (أو على الأقل قابلة للتنبؤ)، يمكن أن يكون استدعاء الوظائف أسرع في التنفيذ، وأقل استهلاكًا للرموز، وأسهل في التنفيذ مقارنةً بوكيل ReAct.

في مثل هذه الحالات، قد يُعَد استخدام عدد كبير من الرموز المميزة في دورة تسلسل التفكير لوكيل ReAct أمرًا غير فعَّال.

وتكمن المفاضلة الجوهرية في محدودية القدرة على تخصيص كيفية وموعد اختيار النموذج للأداة المناسبة. وبالمثل، عندما يتولى وكيل مهامَ تتطلب تفكيرًا معقدًا، أو يتعامل مع سيناريوهات ديناميكية أو غير متوقعة، فقد تؤدي صرامة استدعاء الوظائف إلى تقييد قدرة الوكيل على التكيُّف. وفي مثل هذه الحالات، غالبًا ما يكون من المفيد الاطلاع على خطوات التفكير التي أدت إلى استدعاء أداة معينة.

يمكن تصميم وكلاء ReAct وتنفيذهم بطرق متعددة، سواء من خلال البرمجة من الصفر باستخدام Python أم بالاستعانة بأطر عمل مفتوحة المصدر مثل BeeAI. لقد أدَّت شعبية واستمرارية نموذج ReAct إلى ظهور كم كبير من الأدبيات والدروس التعليمية الخاصة بوكلاء ReAct على GitHub وغيرها من مجتمعات المطورين.

كبديل لتطوير وكلاء ReAct مخصصين، يوفر العديد من أطر عمل الذكاء الاصطناعي الوكيل -بما في ذلك BeeAI وLlamaIndex وLangGraph التابعة لإطار LangChain- وحدات ReAct جاهزة الإعداد لحالات استخدام محددة.