تقديم VAKRA: معيار لتقييم قدرات استدعاء الأدوات متعددة القفزات ومتعددة المصادر لدى وكلاء الذكاء الاصطناعي
تعرّف على كيفية تقييم VAKRA لسلوك الوكيل من البداية إلى النهاية، حيث تمتد المهام متعددة الخطوات عبر مصادر بيانات متنوعة وتتطلب الالتزام بإرشادات استخدام الأدوات.
VAKRA—— وهو اختصار لعبارة eValuating API and Knowledge Retrieval Agents using multi-hop, multi-source dialogues"وهو تقييم إلكتروني لواجهات برمجة التطبيقات ووكلاء استرجاع المعرفة باستخدام حوارات متعددة الخطوات ومتعددة المصادر—هو معيار قابل للتنفيذ قائم على الأدوات، صُمم لتقييم مدى جودة استدلال وكلاء الذكاء الاصطناعي من البداية إلى النهاية في بيئات شبيهة ببيئات المؤسسات.
بدلًا من اختبار مهارات معزولة، يقيس VAKRA الاستدلال التركيبي عبر واجهات برمجة التطبيقات والمستندات، باستخدام مسارات تنفيذ كاملة لتقييم ما إذا كان بإمكان الوكلاء إكمال مهام سير عمل متعددة الخطوات بشكل موثوق، وليس مجرد خطوات فردية.
يوفر VAKRA بيئة قابلة للتنفيذ يتفاعل فيها الوكلاء مع أكثر من 8000 واجهة برمجة تطبيقات مستضافة محليًا ومدعومة بقواعد بيانات حقيقية تغطي 62 مجالًا، إلى جانب مجموعات مستندات متوافقة مع تلك المجالات. قد تتطلب المهام سلاسل استدلال من 3–7 خطوات تجمع بين التفاعل المنظَّم مع واجهات برمجة التطبيقات والاسترجاع غير المنظَّم ضمن قيود استخدام الأدوات باللغة الطبيعية.
- تضمن الأدوات المستضافة محليًا والمدعومة بقواعد البيانات استجابات حتمية قابلة للتحقق عند التقييم.
- ويُوفَّر استرجاع المستندات عبر فهارس خاصة بالمجال، بما يتيح إسناد المعلومات واستخراجها عبر مصادر متعددة.
- يعيد التحقق على مستوى المسار تشغيل تتبعات الوكيل الكاملة باستخدام أدوات حية، بما يدعم مسارات تنفيذ صحيحة متعددة – وهو أمر بالغ الأهمية لمهام سير العمل في المؤسسات.
لا تشبه بيئات المؤسسات سيناريوهات الأسئلة والأجوبة أحادية الدورة أو استدعاءات الدوال لمرة واحدة. تتطلب مهام سير العمل في مجالات مثل دعم العملاء وذكاء الأعمال والامتثال أن يتخذ الوكلاء قرارات مترابطة، ويوائموا بين المخططات غير المتطابقة، ويتبعوا سياسات استخدام الأدوات المصاغة باللغة الطبيعية. ولا تنشأ حالات الإخفاق أثناء استدعاء الأدوات فحسب، بل تنشأ أيضًا في الاستدلال اللغوي بين الأدوات، بما في ذلك إزالة الالتباس عن الكيانات، والإسناد عبر المصادر، ومواءمة المعلمات أو المخططات.
لنأخذ مثالًا على شكوى بشأن طلب متأخر في عملية تجارة إلكترونية. ولحل هذه المشكلة، يجب على الوكيل أن يربط المعلومات عبر الأنظمة ربطًا صحيحًا، من خلال ربط سجلات العملاء، وتفسير وثائق جهة الشحن، ومواءمة المعرّفات عبر واجهات برمجة التطبيقات اللوجستية، وتطبيق السياسات المصاغة باللغة الطبيعية. ويعتمد كل قرار على ما سبقه، ما يتطلب استدلالًا متواصلًا عبر الأدوات ومصادر البيانات والقيود.
وصُمم VAKRA ليكشف بدقة مواضع نجاح هذا الاستدلال متعدد الخطوات أو تعثره، بما يعكس الواقع الذي يواجهه الوكلاء في بيئات الإنتاج.
واستلهامًا من سيناريوهات مثل مثال الشكوى بشأن الطلب المتأخر المذكور سابقًا، ينظّم VAKRA المهام في ثلاثة مستويات:
- أنماط متنوعة للتفاعل مع واجهات برمجة التطبيقات: يجب على الوكلاء التكيّف مع مستويات مختلفة من تجريد الواجهات، بدءًا من واجهات برمجة تطبيقات على نمط ذكاء الأعمال تكشف واجهات دوال تركيبية أو موسّعة – ما يتطلب تخطيطًا واختيارًا دقيقًا للأدوات – وصولًا إلى نقاط نهاية متوافقة مع الاستعلامات تُغلّف العمليات الحسابية، لكنها لا تزال تتطلب تفسيرًا دقيقًا للاستعلام وضبطًا صحيحًا للمعلمات.
- استدلال متعدد الخطوات عبر واجهات برمجة تطبيقات منظَّمة: تتطلب المهام من 3 إلى 7 استدعاءات مترابطة لواجهات برمجة التطبيقات، بحيث يجب تفسير مخرجات الخطوات السابقة وتحويلها وإعادة استخدامها على نحو صحيح لضبط معلمات الإجراءات اللاحقة.
- استدلال متعدد الخطوات ومتعدد المصادر مع سياسات استخدام الأدوات: تتطلب المهام استدلالًا متعدد الخطوات عبر مستندات غير منظَّمة وواجهات برمجة تطبيقات منظَّمة، حيث يجب على الوكلاء تحديد وقت إجراء الاسترجاع، وكيفية إسناد المعلومات المسترجعة إلى استدعاءات الأدوات اللاحقة، والامتثال لسياسات استخدام الأدوات المصاغة باللغة الطبيعية.
يعمل VAKRA في بيئة مستضافة ذاتيًا، حيث تُتاح واجهات برمجة التطبيقات المدعومة بقواعد بيانات دائمة وفهارس استرجاع عبر واجهة قياسية، ولا يمكن للوكلاء التفاعل إلا من خلال هذه الأدوات. يعيد التقييم تشغيل المسارات كاملة للتحقق من كل خطوة وسيطة، وليس من الإجابات النهائية فقط، بحيث يمكنك تحديد الموضع الذي تعثر فيه الاستدلال بدقة: إزالة الالتباس عن الكيانات، أو المواءمة عبر المصادر، أو تفسير السياسات.
صُمم VAKRA لثلاث فئات مختلفة من المستخدمين:
- الباحثون الذين يدرسون الاستدلال القائم على الوكلاء، والتخطيط متعدد الأدوات، وإسناد المعلومات
- المطورون وفرق الهندسة الذين يقيّمون النماذج التأسيسية لمهام سير عمل الوكلاء في بيئات الإنتاج
- القادة الذين يبحثون عن معايير تعكس تعقيد بيئات المؤسسات، لا مهامًا مبسطة
VAKRA متاح للعامة اليوم. أصبح كود المصدر ومواصفات المهام وإطار التقييم متاحة كمصدر مفتوح على GitHub، ويشمل ذلك كل ما يلزم لإعادة إنتاج النتائج وتشغيل وكلاء جدد من البداية إلى النهاية، بما في ذلك:
- بيئات قابلة للتنفيذ لواجهات برمجة التطبيقات، مستضافة محليًا ومدعومة بقواعد بيانات حقيقية
- مجموعات مستندات خاصة بالمجال للاستدلال المعزَّز بالاسترجاع
- مشغّل تقييم مستقل يعيد تشغيل مسارات الوكلاء الكاملة ويتحقق منها
- نصوص برمجية لقياس أداء النماذج الجديدة عبر إعدادات المهام المعتمدة على واجهات برمجة التطبيقات فقط، والمهام متعددة القفزات، والمهام متعددة المصادر
ونطلق أيضًا مساحة على Hugging Face ستستضيف لوحة المتصدرين العامة الخاصة بمعيار VAKRA.وندعو الباحثين والممارسين والمطورين إلى إرسال نتائجهم والمساهمة بملاحظاتهم وتوسعاتهم.
مؤلفون إضافيون:
- Anupama Murthi، مهندسة برمجيات أولى
- Benjamin Elder، عالِم أبحاث
- Siyu Huo، مهندس تعلّم آلي
- Praveen Venkateswaran، عالِم أبحاث أول
- Danish Contractor، عالِم أبحاث رئيسي ومدير
شكر وتقدير
يتقدم المؤلفون بالشكر إلى زملائهم في فرق البحث والهندسة على ملاحظاتهم القيّمة ونقاشاتهم ودعمهم في تطوير هذا المعيار.
ونخص بالشكر متدرّبينا، Raavi Gupta وAbhinav Jain، على جهودهما في إنشاء هذا المعيار وتطويره. كما نتوجّه بالشكر إلى Chulaka Gunasekara وHamid Adebayo وHarold Ship وHimanshu Gupta وHuaiyu Zhu وJaydeep Sen وRenuka Sindhgatta وSameep Mehta وSara Rosenthal وSegev Shlomov على مساهماتهم ورؤاهم.