اختبار وكلاء الذكاء الاصطناعي: الاستراتيجيات والمقاييس وأفضل الممارسات

يكتسب الاختبار الدقيق للأنظمة المستقلة أهمية خاصة لأن وكلاء الذكاء الاصطناعي يخططون بصورة مستقلة للمهام متعددة الأجزاء، ويستخدمون أدوات خارجية، ويتفاعلون مع وكلاء آخرين. تُعد عملية الاختبار القوية جزءًا من الدورة المستمرة للإنشاء والتقييم، والمعروفة باسم دورة حياة تطوير الوكلاء (ADLC).

يخطط الوكلاء للمهام وينفذونها بصورة مستقلة، مما يغيّر بسرعة طريقة استخدام المؤسسات للذكاء الاصطناعي.لكن التبني السريع قد يؤدي إلى تجزئة النظم البيئية التقنية، ويفرض تغييرات جوهرية على عمليات الاختبار التقليدية للأنظمة القديمة. وفقًا لبحث حديث أجراه معهد IBM Institute for Business Value، أفاد 80% من مسؤولي المعلومات التنفيذيين (CIOs) ومسؤولي التقنية التنفيذيين (CTOs) الذين شملهم الاستطلاع بوجود توجيهات من الرؤساء التنفيذيين لإحداث تحول بالذكاء الاصطناعي. لكن 11% فقط يقولون إنهم مستعدون تمامًا لحجم نشر وكلاء الذكاء الاصطناعي المتوقع خلال العام المقبل.

وقال Matt Lyteson، مسؤول المعلومات التنفيذي في IBM: "يتمثل التحدي الآن أمام مسؤولي المعلومات التنفيذيين ومسؤولي التقنية التنفيذيين في توسيع نطاق أنظمة الذكاء الاصطناعي التي تعمل باستمرار وبصورة مستقلة، غالبًا باستخدام نماذج حوكمة وبنى معمارية صُممت لبيئة أبطأ بكثير وأكثر قابلية للتنبؤ".

ركزت اختبارات البرمجيات التقليدية على الأنظمة الثابتة؛ في حين يعتمد الذكاء الاصطناعي الوكيل على الطبيعة الاحتمالية للنماذج اللغوية الكبيرة (LLMs). وهذا يعني أن الموِّجهات المتشابهة قد تنتج تسلسلات مختلفة لاستدعاء الأدوات في عمليات تشغيل مختلفة، وأن المشكلات التي تظهر في مرحلة مبكرة من مهام سير العمل متعددة الخطوات قد لا تتضح إلا في مرحلة لاحقة. ومع تغيّر الوكلاء المدعومين بالتعلّم الآلي بمرور الوقت، قد تظهر عليهم مؤشرات الانحدار أو انحراف النموذج.

ينبغي ألا يقتصر اختبار وكلاء الذكاء الاصطناعي على التحقق من صحة الإجابة النهائية، بل يجب أن يقيّم أيضًا مدى ملاءمة مسارات الاستدلال والمخرجات الوسيطة. ومن الناحية المثالية، يجيب هذا النوع من الاختبار عن سؤال يختلف جوهريًا عن الأسئلة التي عالجتها الأشكال السابقة من التحقق من صحة البرمجيات. ولا يقتصر الاختبار على مطابقة الوكيل للمخرجات المتوقعة، بل يشمل التأكد من أن مخرجاته تستند باستمرار إلى استدلال سليم، وتتسم بالدقة والأمان، بصرف النظر عن المدخلات. وهذا يعني التحقق من سلوك الوكيل إلى جانب المزيد من اختبارات الوحدة التقليدية.

كما أن دورات اختبار الذكاء الاصطناعي الوكيل مستمرة. ويتضمن اختبار وكلاء الذكاء الاصطناعي إنشاء حلقات فعّالة من التعليقات، بدلًا من تطوير معايير بسيطة وثابتة للنجاح. ويمكن للمؤسسات التي تنشئ استراتيجيات اختبار موحدة وقابلة للتوسع تطوير أنظمة مستقلة تعمل بموثوقية وأمان. كما يمكنها نشر أطر اختبار تتكامل بسلاسة مع بقية دورة حياة تطوير الوكلاء (ADLC)، مما يتيح لوكلاء الذكاء الاصطناعي التكامل بصورة متوقعة عبر نماذج ومنصات وموردين مختلفين.

تنطوي وكلاء الذكاء الاصطناعي التي لا تخضع لاختبارات كافية على مخاطر تشغيلية ومخاطر حوكمة كبيرة. ومن العوامل التي تجعل الاختبار الدقيق ضرورة ما يلي:

• الأخطاء المتراكمة: غالبًا ما ينفذ الوكلاء سلاسل متعددة الأجزاء من الاستدلال والإجراءات، ما يعني أن الأخطاء في أي مرحلة من العملية قد تتفاقم.

• الأمن والسلامة: يتعرض الوكلاء الذين يتصفحون الويب أو يتفاعلون مع واجهات برمجة تطبيقات تابعة لجهات خارجية لهجمات حَقن الموِّجهات ومحاولات تجاوز القيود. تقلّل الاختبارات الدقيقة من احتمالات حدوث اختراق أمني.

• المخاطر التنظيمية ومخاطر السمعة: قد تعرّض المخرجات غير الصحيحة الصادرة عن الوكلاء في القطاعات الخاضعة للتنظيم، مثل الرعاية الصحية أو الخدمات المالية، المؤسسات للمساءلة القانونية. كما أن الوكلاء الذين يتصرفون على نحو غير متّسق أو يقدّمون هلوسات قد يقوّضون ثقة المستخدمين.

• الطبيعة غير الحتمية للذكاء الاصطناعي الوكيل: يمكن للنماذج اللغوية الكبيرة (LLMs) تقديم إجابات مختلفة عن موِّجهات متشابهة، لذا يجب أن يراعي الاختبار التباين في النتائج بدلًا من تقييم لقطة واحدة من الأداء.

بعض المخرجات التي ينتجها وكيل الذكاء الاصطناعي، مثل الملخصات أو الشروحات، لا يمكن تقييمها باستخدام قواعد بسيطة. فهي تتطلب مستوى من التقدير والحكم. هل تعالج الاستجابة هدف المستخدم على نحو صحيح؟ وهل تتناسب نبرتها مع السياق؟ يشير مصطلح النموذج اللغوي الكبير بوصفه مُقيِّمًا (LLM-as-a-judge) إلى استخدام نموذج لغوي كبير ثانٍ لتقييم جودة مخرجات الوكيل.

وعادةً ما يُزوَّد نموذج أكبر وأكثر قدرة من النموذج الخاضع للاختبار بإطار معايير تقييم، ويُطلب منه تقييم استجابة الوكيل. ويمكن تطبيق هذه النماذج المُقيِّمة في نقاط متعددة ضمن مسار تنفيذ الوكيل، مما يتيح لها رصد الإخفاقات أو أوجه عدم الاتساق خلال العملية. ويعمل النموذج اللغوي الكبير بوصفه مُقيِّمًا إلى جانب المختبرين البشريين لتمكين تقييم مستمر ومؤتمت للجودة. ورغم أنه لا يحل محل التقييم البشري، فإنه يوسّع نطاق عملية الاختبار بطريقة لا تستطيع الفرق البشرية تحقيقها.

نظرًا إلى مستوى تعقيد وكلاء الذكاء الاصطناعي، لا يكفي الاختبار الاستكشافي وحده؛ إذ تتطلب النظم البيئية للوكلاء معايير تقييم قوية ومقاييس واضحة للنجاح. ويعمل اختبار الوكلاء الفعّال عبر ثلاثة مستويات متميزة، صُمم كل منها لرصد نوع مختلف من الإخفاقات. وتشكّل هذه المستويات معًا دفاعًا متعدد الطبقات يقيّم الذكاء الاصطناعي الوكيل، بدءًا من الأخطاء المبكرة ووصولًا إلى تجربة المستخدم في الواقع العملي.

• اختبارات المكوّنات: ترصد اختبارات المكوّنات الإخفاقات قبل دمجها في عمليات النظام الأكبر. وهي مصممة لتقييم الأجزاء المنفصلة من الوكيل بمعزل عن غيرها. على سبيل المثال، الأدوات الفردية والوكلاء الفرعيون، وإدارة الذاكرة، أو خطوات استرجاع البيانات. وقد يتحقق اختبار أحد المكوّنات من أن أداة بحث على الويب تتعامل بصورة صحيحة مع أخطاء تجاوز حد المعدل، أو أن أداة لكتابة التعليمات البرمجية تتعرّف على ثغرة أمنية شائعة استنادًا إلى موِّجه يقدمه المستخدم. ولأن اختبارات المكوّنات تُجرى على وحدات معزولة، فهي عادةً سريعة التنفيذ وسهلة تصحيح الأخطاء.

• اختبارات مسار التنفيذ: تقيّم اختبارات مسار التنفيذ مسار استدلال الوكيل عبر مهمة مكتملة، بدءًا من تعليمات المستخدم وانتهاءً بالاستجابة النهائية. وتختبر كل قرار وكل مخرج وسيط لمتابعة عملية اتخاذ القرار الكاملة لدى الوكيل، كما تُجري اختبارات تكامل لتدقيق استدعاءاته للأدوات. ويمكن لاختبارات مسار التنفيذ رصد إخفاقات ناشئة قد لا تكون واضحة على الفور. على سبيل المثال، قد يستدعي الوكيل الأدوات بالتسلسل الصحيح، لكنه يستخلص استنتاجًا غير صحيح من نتائجها مجتمعة، أو قد يصل باستمرار إلى مخرج صحيح عبر مسارات مختلفة.

• الاختبار الشامل: يقيّم الاختبار الشامل من البداية إلى النهاية الوكيل في ضوء مهام مستخدمين فعلية أو واقعية، وفي ظروف تحاكي سيناريوهات العالم الحقيقي عن قرب. وتقيس هذه التقييمات ما إذا كان الوكيل ينجز المهمة بصورة صحيحة، وما إذا كانت التجربة الكاملة تفي بالمستوى المطلوب للنشر. على سبيل المثال، هل يتصرف الوكيل بصورة متسقة عبر المحادثات متعددة الأدوار؟ وهل يتعامل بسلاسة مع هدف المستخدم الغامض؟ عادةً ما تجمع المراجعة الشاملة بين التقييم المؤتمت والحكم البشري المنهجي. وفي هذه المرحلة، يقيّم المراجعون البشريون عينات من المخرجات لرصد الفروق الدقيقة التي قد تغفلها المقاييس المؤتمتة. كما يتعرض الوكيل عمدًا لإدخال معادي وحالات الحافة. 

غالبًا ما يجري نشر وكلاء الذكاء الاصطناعي في المؤسسات ضمن بيئات يكون اختبارها المباشر مكلفًا أو قد تترتب عليه آثار لا يمكن التراجع عنها. فعلى سبيل المثال، لا يستطيع وكيل يرسل رسائل بريد إلكتروني إلى العملاء إرسال رسائل اختبار إلى عملاء حقيقيين، كما لا يستطيع وكيل يدير البنية التحتية السحابية التكامل مع بيئة سحابية فعلية.

وتعالج محاكاة البيئات المتقدمة هذه المشكلة بتوفير بدائل مضبوطة وقابلة للتكرار تحاكي سيناريوهات العالم الحقيقي. وخلال السنوات الأخيرة، طرحت عدة شركات بيئات محاكاة تتيح للمطورين إنشاء قصص المستخدم وتسجيل استجابات واجهات برمجة التطبيقات. كما تتيح هذه البيئات للمختبرين إنشاء سيناريوهات قد تكون نادرة الحدوث أو يتعذر تفعيلها في بيئة الإنتاج. ومن أمثلتها قاعدة بيانات لا تقدم نتائج مفيدة، أو مستخدم يصدر تعليمات متناقضة على امتداد محادثة مطوّلة.

يقيس معدل النجاح النسبة المئوية لحالات الاختبار التي ينجز فيها الوكيل المهمة المسندة إليه بنجاح. وهو مقياس أساسي في اختبار الوكلاء.

تقيس دقة استخدام الأدوات مدى اختيار الوكيل للأدوات المناسبة لمهمة محددة، ومدى استدعائه لها باستخدام المعلمات الصحيحة. فعلى سبيل المثال، قد يدرك الوكيل على نحو صحيح أنه يحتاج إلى البحث في قاعدة بيانات، لكنه يصوغ استعلامًا غير صحيح.

يتطلب تقييم مسار تنفيذ الوكيل التحقق من اتساق مسار استدلاله وملاءمته، حتى عندما تكون الإجابة النهائية صحيحة. ويركز هذا التقييم عادةً على الاستدلال متعدد الخطوات للتحقق من حفاظ الوكيل على اتساق أهدافه، ومن تعامله المنطقي مع كل خطوة. وتقارن عمليات الاختبار اليدوي بين مسار مرجعي معياري يحدده المراجعون البشريون وبين ما ينفذه الوكيل فعليًا. كما يلجأ المطورون غالبًا إلى أتمتة أجزاء من هذه العملية باستخدام النموذج اللغوي الكبير بوصفه مُقيِّمًا.

يُعَدّ زمن الانتقال والتكلفة، عمومًا، شرطين أساسيين للحكم على قابلية استخدام النظام عمليًا. ويقيس زمن الانتقال المدة المنقضية من إرسال المهمة إلى صدور المخرج النهائي. وقد تؤدي الاستدعاءات المتتالية المتعددة للأدوات، أو استخدام واجهات برمجة التطبيقات الخارجية البطيئة، إلى أزمنة انتقال تجعل استخدام الوكيل غير عملي للمستخدمين. وتقيس التكلفة، عمومًا، إجمالي استهلاك الوكيل للرموز المميزة، فضلًا عن حجم استدعاءاته لواجهات برمجة التطبيقات لكل مهمة. فمثلًا، قد يصبح تشغيل الوكلاء الذين يستخدمون أدوات مرتفعة التكلفة لتنفيذ مهام فرعية بسيطة باهظًا إلى حد يحول دون التوسع في استخدامها. 

يقيس الإيجاز مدى اشتمال مخرجات الوكيل على المعلومات اللازمة وقدرتها على إيصالها بوضوح وفاعلية. ويقيس الترابط مدى اتساق المخرج منطقيًا، وحسن تنظيمه، وخلوه من التناقضات الداخلية. ويظل كلا المقياسين مهمًا، بصرف النظر عن دقة المخرج النهائي. قد تكون المخرجات دقيقة من حيث الوقائع، لكنها مسهبة إلى حد يعوق المستخدم عن استخلاص المعلومات ذات الصلة بسهولة. وقد تكون موجزة، لكنها تفتقر إلى الترابط؛ فتتنقل بين موضوعات مختلفة وتكرر مضمونها.

تعني أتمتة الاختبارات إجراء عمليات التقييم آليًا بدلًا من اختبار الوكيل يدويًا. وفي أنظمة الوكلاء التي تضم مكوّنات مترابطة وتتغير باستمرار، تجعل الأتمتة الاختبار قابلًا للاستدامة على نطاق واسع.

تعتمد البنية التحتية لأتمتة الاختبارات في أنظمة الوكلاء على مسارات CI/CD مماثلة لتلك المستخدمة في مجالات هندسة البرمجيات الأخرى. ومع انتقال التغييرات التي تطرأ على البرمجيات عبر المسار، تحدد الاختبارات المؤتمتة المشكلات، ويمكن للوكلاء إدخال تغييرات على التعليمات البرمجية، مما ينشئ حلقة مستمرة من التعليقات.

توفر أطر التقييم البنية الأساسية اللازمة لإجراء الاختبارات، وتسجيل مسارات تنفيذ الوكلاء، وتقييم المخرجات، وتتبع المقاييس بمرور الوقت. وهي تمثل أساسًا لمنهجية اختبار منظمة، ويمكن النظر إليها بوصفها مدربًا يوجّه وكيل الذكاء الاصطناعي.

تتيح معظم أطر التقييم للمؤسسات تحديد مجموعة من الأمثلة المرجعية التي تجسد الأداء المثالي للوكيل. ثم تقيس المنصات مسار التنفيذ المُحاكى للوكيل مقارنةً بهذه الأمثلة، وتقيّم أدائه وفق عدة محاور. ومن أمثلة ذلك محاكاة محادثات بين الوكيل ومجموعة كبيرة من "المستخدمين" المدعومين بالذكاء الاصطناعي التوليدي، ثم إعداد تقارير تقيّم الوكيل من حيث دقة استدعاء الأدوات ودقة توجيه المهام إلى الوكيل المناسب.

ويتيح ذلك للمؤسسات تحديد الجوانب التي يحتاج الوكيل إلى تحسينها بسرعة، والجوانب التي يحقق فيها أداءً جيدًا. كما تساعد أطر التقييم الفرق على تحديد معايير النجاح في مرحلة مبكرة من التطوير، وتوفر إطارًا مرجعيًا واضحًا لاختبارات الانحدار.

توفر منصات قابلية الملاحظة رؤية في الوقت الفعلي ورؤية تاريخية لسلوك الوكلاء. وقد تكون هذه المنصات مدمجة أحيانًا في المنصة نفسها التي تضم أطر التقييم، حيث تراقب شبكات الوكلاء بصورة مستمرة للكشف عن الحالات الشاذة وحالات الانحدار فور ظهورها. وتتتبّع منصات قابلية ملاحظة الذكاء الاصطناعي تفاعلات الوكلاء، وتجمع المقاييس، وتنبه أعضاء الفريق عند ظهور حالات غير اعتيادية. وتكون مفيدة بوجه خاص للمهندسين الذين يراقبون أنظمة معقدة متعددة الوكلاء، إذ تتيح رؤية واضحة لاستدلال الوكلاء تساعد في تحديد الأسباب الأساسية للمشكلة. 

مستوى التحكم بالوكلاء هو طبقة إدارة تعلو الوكلاء الأفراد، وتوفر رؤية وتحكمًا مركزيين في كيفية نشر الوكلاء وحوكمتهم داخل المؤسسة ككل. فبينما تركز أطر التقييم ومنصات قابلية الملاحظة على قياس ما يفعله الوكيل، يركز مستوى التحكم بالوكلاء على ما يُسمح له بفعله. كما تضمن تطبيق القواعد المنظمة لسلوك الوكيل بصورة متسقة وإمكان إنفاذها.

وفي سياق الاختبار، يحتفظ مستوى التحكم بالوكلاء بسجل لتهيئة كل وكيل، مما يتيح إعادة إنشاء الظروف ذاتها بدقة. ويدعم العديد من مستويات التحكم بالوكلاء إدارة الإصدارات والاختبار والنشر الخاضع للضبط، بما يدعم التحسين التكراري عبر النظم البيئية متعددة الوكلاء.

توفر عدة منصات رائدة للذكاء الاصطناعي حاليًا إمكانات مدمجة لاختبار الوكلاء وتقييمهم عند بناء الوكلاء على بنيتها التحتية. وتوفر هذه الأدوات المضمّنة في المنصة ميزة التكامل الوثيق مع بيئة النشر، إلى جانب سهولة الإعداد. ومع ذلك، فإن هذه الأدوات توفر عادةً مرونة أقل من أطر التقييم المستقلة للفرق ذات احتياجات التقييم المعقدة. 

اختبار وكلاء الذكاء الاصطناعي عملية مستمرة. ويساعد البدء بالاختبار في المراحل الأولى من التطوير، ثم مواصلة اختبار الوكلاء وتحسينهم بعد نشرهم، على الحفاظ على الجودة على المدى الطويل.

ينبغي تطبيق عمليات أتمتة اختبارات شاملة وعالية الجودة عند تعديل الموِّجهات أو إضافة أدوات جديدة، كما ينبغي أن تشكل جزءًا من بروتوكول المؤسسة المعتاد لمراقبة الوكلاء. ويتطلب ذلك الاستثمار في البنية التحتية اللازمة لجعل الاختبار سريعًا ومنخفض التكلفة. وتساعد مجموعات بيانات الاختبار المنظمة جيدًا ولوحات معلومات المقاييس على إدماج عملية الاختبار في الممارسات اليومية.

ويعني الاختبار المبكر أيضًا تحديد معايير النجاح قبل بناء الوكيل. فالفرق التي تبدأ التطوير من دون فهم واضح لما تسعى إلى تحقيقه، قد تنتهي إلى اتباع نهج تفاعلي في تصحيح الأخطاء يستند إلى ما يبدو عليه سلوك الوكيل، لا إلى أدائه الفعلي.

تنتج مجموعات الاختبار غير المتوازنة مقاييس قد تبدو جيدة، لكنها قد لا تتنبأ بالأداء في العالم الحقيقي. فعلى سبيل المثال، لا تعكس الاختبارات التي تطغى عليها الحالات السهلة أو تقتصر على نطاق ضيق من المهام مختلف السبل التي قد يتصرف بها نظام الذكاء الاصطناعي الوكيل.

وتختبر مجموعات الاختبار المتوازنة الحالات التي ينبغي أن يسلك فيها الوكيل مسار تنفيذ معينًا، والحالات التي لا ينبغي أن يسلكه فيها. وينبغي أن تتضمن مجموعات الاختبار استعلامات من خطوة واحدة وتفاعلات متعددة الخطوات، وأن تغطي صيغ المدخلات مختلف الطرق التي قد يصوغ بها المستخدمون الحقيقيون طلباتهم. كما يجب تمثيل حالات الحافة صراحةً للحماية من الموِّجهات الخصومية أو المدخلات الفارغة.

وينبغي أيضًا تحديث مجموعات الاختبار بانتظام بإضافة أمثلة مستجدة مستمدة من الاستخدام الفعلي، مع تطور أنماط الاستخدام. وتلجأ بعض المؤسسات إلى التوليد المؤتمت لحالات الاختبار لتخفيف عبء العمل عن المطورين، باستخدام الذكاء الاصطناعي لتحليل متطلبات الوكيل وإنشاء مجموعات اختبار شاملة. 

تؤدي البيانات غير الدقيقة في وسمها، مثل مجموعات الاختبار الملتبسة أو معايير التقييم غير الكافية، إلى مقاييس مشوشة ومضللة. وينبغي أن تخضع بيانات الاختبار لإدارة الإصدارات والتدقيق، حتى يمكن تتبع التغييرات التي تطرأ على مجموعات التقييم وقياس أثرها في نتائج الاختبار. وبالنسبة إلى المهام التي ينفذها الوكلاء متعددة الخطوات، تقتضي البيانات عالية الجودة أيضًا توفير مسارات تنفيذ مرجعية قوية تمثل المعيار الذهبي، تُقاس حالة الاختبار في ضوئها.

ورغم تزايد استخدام الذكاء الاصطناعي لإنشاء نصوص الاختبار وتنفيذ الاختبارات عبر دورة حياة تطوير البرمجيات، لا تكفي الأتمتة وحدها لبناء نظم بيئية متطورة للوكلاء. فبعض جوانب التقييم تتطلب حكمًا بشريًا. وينبغي أن يقيّم البشر، على سبيل المثال، مدى ملاءمة استجابات الوكيل لسياق حساس. وقد تحدد الفرق البشرية أيضًا ما إذا كانت الحالة الطرفية التي كشف عنها الاختبار تعكس استدلالًا سليمًا أم أنها مجرد مصادفة.

من الضروري أن تدمج المؤسسات المراجعة البشرية بصورة منهجية في بنية عملية الاختبار. وأثناء الاختبارات الجارية، ينبغي تطبيق المراجعة البشرية على عينات منظمة من مخرجات الوكلاء عبر عدة مستويات من عملية الاختبار.