ما AgentOps؟

يُقدَّر حجم سوق وكلاء الذكاء الاصطناعي بحوالي 5 مليارات دولار أمريكي في 2024، ومن المتوقع أن ينمو ليصل إلى نحو 50 مليار دولار أمريكي بحلول 2030.¹ ومع توجُّه المزيد من الشركات إلى بناء وكلاء ذكاء اصطناعي لتبسيط وأتمتة مهام سير العمل، تظهر تحديات جديدة في مراقبة سلوك هؤلاء الوكلاء وضمان أدائهم على النحو المنشود. يُعَد نهج AgentOps مجموعة تقريبية من أفضل الممارسات الناشئة في تقييم أداء الوكلاء، يعتمد على المبادئ الموضوعة في المجالات ذات الصلة مثل نهج عمليات التطوير (DevOps) (الذي وحَّد عمليات تسليم البرمجيات) ونهج عمليات التعلم الآلي (MLOps) (الذي فعل الشيء نفسه بالنسبة إلى نماذج التعلم الآلي).

لكن إدارة الوكلاء ليست ببساطة بناء البرمجيات التقليدية أو حتى نماذج الذكاء الاصطناعي. الأنظمة "الوكيلية" معقدة وديناميكية، فهي في الأساس برمجيات لها عقل خاص بها. يتصرف الوكلاء بشكل مستقل، فهم يعملون على ربط المهام واتخاذ القرارات والتصرُّف بطريقة غير حتمية. تتمثَّل الفكرة وراء AgentOps في إدخال قابلية الملاحظة والموثوقية إلى مجال قد يكون فوضويًا، ما يمكِّن المطورين من الاطِّلاع على "الصندوق الأسود" لتفاعلات الوكلاء وسلوك الوكلاء الآخرين. 

لا توجد أداة واحدة لإدارة AgentOps، بل هناك منظومة متكاملة؛ حيث كشفت دراسة حديثة عن وجود 17 أداة على Github ومستودعات التعليمات البرمجية الأخرى ذات الصلة بالممارسة، بدءًا من Agenta وLangSmith وTrulens (من بين أدوات AgentOps الطموحة، توجد أداة اسمها ببساطة "AgentOps"). عادةً ما توفِّر هذه الأدوات دعمًا لإطار عمل الوكيل الذي يختاره المطورون، سواء أكان من وكلاء IBM watsonx أم Agents SDK من OpenAI. في هذا المجال المتسارع، ظهر العديد من المنصات وأطر العمل الشهيرة، بما في ذلك AutoGen وLangChain وCrewAI (والأخير محسَّن لتنسيق الأنظمة متعددة الوكلاء).

وكيل ذكاء اصطناعي مُصمَّم للتعامل مع تذاكر دعم العملاء، على سبيل المثال، غالبًا ما يتكوَّن من نموذج أو أكثر من النماذج اللغوية الكبيرة (LLMs) مع استخدام أدوات مختلفة لأداء مهام متنوعة. قد يتضمن سير عمل الوكيل مراقبة الرسائل الواردة والبحث في قاعدة معرفة الشركة وإنشاء تذاكر الدعم بشكل تلقائي.

يُعَد تصحيح أخطاء مثل هذا الوكيل معقد؛ فتصرفاته المتنوعة تشكِّل عدة نقاط محتملة للفشل أو عدم الكفاءة. مع مراقبة الوكيل، يمكن للمطورين إجراء إعادة تشغيل خطوة بخطوة لجلسات عمل الوكيل، ومراقبة ما فعله نظام الذكاء الاصطناعي ومتى فعله. هل أشار الوكيل إلى وثائق دعم العملاء المناسبة؟ ما أنماط استخدام الأداة، وما واجهات برمجة التطبيقات التي تم استخدامها؟ ما زمن الانتقال لكل خطوة؟ ما التكلفة النهائية للنموذج اللغوي الكبير؟ ما مدى جودة تواصُل الوكلاء أو تعاونهم مع الآخرين؟ 

إن إطلاق وكيل ذكاء اصطناعي دون خطة لتدقيق سلوكه يشبه إعطاء مراهق بطاقة ائتمان وعدم الاطِّلاع على كشف الحساب الناتج. صرَّح Adam Silverman، المدير التنفيذي للعمليات في Agency AI، مؤخرًا لمدونة Google للمطورين أنه باستخدام نماذج لغوية كبيرة مختلفة لكل مهمة، يمكن تقليل التكلفة - وهو أحد المعايير العديدة التي يمكن تعديلها لتحسين كفاءة الوكيل من حيث التكلفة مع مرور الوقت.²

عند التعمق أكثر، يمكن للمطورين تتبُّع سلوك الوكيل من البداية إلى النهاية، بما في ذلك تكلفة كل تفاعل مع النماذج اللغوية الكبيرة عبر مزوِّدين مختلفين (مثل Azure أو AWS). يمكن للمطورين الاطِّلاع على لوحة معلومات بهذه المقاييس في الوقت الفعلي، مع بيانات من مختلَف مراحل دورة حياة الوكيل. ومن خلال المقارنة المعيارية المتكررة، يمكن للمطورين بعد ذلك العمل على تحسين وكيلهم. 

لا توجد وسائل متفق عليها عالميًا لإجراء عمليات الوكلاء (AgentOps)، حيث تتوفر أدوات وأساليب متعددة. في الواقع، حتى المصطلح السابق الأكثر شهرة، عمليات التطوير (DevOps)، يحمل معانيَ مختلفة نوعًا ما حسب الأشخاص. في يونيو، خلال مؤتمر IBM Think، كشفت IBM Research عن نهجها الخاص في عمليات الوكلاء (AgentOps)، حيث حددت ثلاثة مجالات تركيز أساسية تعتبرها ضرورية لدعم قابلية الملاحظة في حالات استخدام الذكاء الاصطناعي الوكيل في المؤسسات.

أولًا، طوَّرت IBM Research حل AgentOps الخاص بها بناءً على معايير OpenTelemetry (OTEL)، وهي مجموعة أدوات تطوير برمجيات مفتوحة المصدر، ما يُتيح إدراج كلٍّ من أدوات القياس التلقائية واليدوية عبر أطر العمل الوكيلة المختلفة. ثانيًا، طوَّرت منصة تحليلات مفتوحة اعتمادًا على OTEL، ما يمنح المستخدمين مستوًى عاليًا من الدقة عند الاطِّلاع على سلوك وكلائهم في الداخل. تُعَد المنصة قابلة للتوسع، ما يعني أنه يمكن إضافة مقاييس جديدة بسهولة. ثالثًا، تعتمد هذه التحليلات نفسها على الذكاء الاصطناعي، ما يُتيح رؤًى فريدة تشمل طرق عرض سير العمل متعددة التتبُّعات واستكشاف المسارات. 

استخدمت IBM Research نهج AgentOps الخاص بها للمساعدة على تطوير عدة منتجات أتمتة من IBM، بما في ذلك Instana وConcert وApptio. مع طرح IBM لحلولها الوكيلة في السوق، أصبحت جوانب AgentOps ميزات ضمن استوديو المطورين watsonx.ai ومجموعة أدوات watsonx.governance لدعم توسيع نطاق الذكاء الاصطناعي الموثوق به.

ومع ذلك، هناك العديد من الأساليب المتبعة لإدارة AgentOps، والمجال يتطور بسرعة لتلبية احتياجات صناعة تتبنى مهام سير العمل الوكيلة بوتيرة مذهلة. 

يمكن تطبيق أفضل ممارسات AgentOps على جميع مراحل دورة حياة الوكيل، ويجب ذلك.

التطوير: في هذه المرحلة، يحدِّد المطورون أهدافًا وقيودًا محددة لوكلائهم، مع تعيين التبعيات المختلفة ومسارات البيانات.

الاختبار: قبل إطلاقه في بيئة الإنتاج، يمكن للمطورين تقييم أداء الوكيل في بيئة محاكاة أو "صندوق اختبار".

المراقبة: بعد النشر، يمكن للمطورين فحص نتائج القياس، وتقييم أداء الوكيل على مستوى الجلسة أو التتبُّع أو الفترة الزمنية. يمكن للمطورين مراجعة إجراءات الوكيل، واستدعاءات واجهات برمجة التطبيقات، والمدة الإجمالية (أو زمن الانتقال) لسلوك الوكيل.

التعليقات: في هذه المرحلة، يحتاج كلٌّ من المستخدم والمطور إلى أدوات لتسجيل الحالات التي ارتكب فيها الوكيل خطأً أو تصرَّف بشكل غير متسق، بالإضافة إلى آليات لمساعدة الوكيل على التحسن في عملية التشغيل التالية.

الحوكمة: مع خضوع الذكاء الاصطناعي التوليدي لمزيدٍ من الرقابة التنظيمية (كما في قانون الذكاء الاصطناعي في الاتحاد الأوروبي)، ومع تطوُّر أطر عمل أخلاقية جديدة، يحتاج المطورون إلى مجموعة من الضوابط والسياسات للمساعدة على تقييد سلوك الوكيل وضمان الامتثال.