ما المقصود بقابلية ملاحظة الذكاء الاصطناعي؟

تدرك أدوات القابلية للملاحظة التقليدية الحالة أو الوضع الداخلي لنظام معقد باستخدام الركائز الثلاث لقابلية الملاحظة: السجلات، وآثار التتبع، والمقاييس. تضيف تطبيقات ووكلاء الذكاء الاصطناعي طبقة إضافية من التعقيد تتطلب أدوات قابلية ملاحظة فريدة، يمكنها تحسين أداء النماذج من خلال تتبع المخرجات الخاصة بالذكاء الاصطناعي وإنتاج تصورات بيانية (غالباً ما تكون ناتجة عن الذكاء الاصطناعي نفسه).

على عكس البرامج التقليدية، فإن مخرجات النماذج اللغوية الكبيرة (LLMs) وغيرها من تطبيقات الذكاء الاصطناعي التوليدي هي مخرجات احتمالية. يمكن أن تؤدي المدخلات المتطابقة إلى استجابات مختلفة، مما يصعب تتبع كيفية تشكيل المدخلات للمخرجات، مما يسبب مشاكل لأدوات قابلية الملاحظة التقليدية. لذلك، فإن استكشاف الأخطاء وتصحيحها، ومراقبة الأداء أكثر تعقيدًا في أنظمة الذكاء الاصطناعي التوليدي.

علاوة على ذلك، فإن القابلية للتفسير في الذكاء الاصطناعي—وهو مجال متنامٍ يسعى إلى تقليل خصائص "الصندوق الأسود" للعديد من نماذج الذكاء الاصطناعي—لا يمكنها بعد تقديم تفسير كامل لكيفية تفاعل هذه النماذج مع أنظمة تكنولوجيا المعلومات ومهام سير العمل الأوسع نطاقاً. يجب على حلول قابلية الملاحظة للذكاء الاصطناعي إعطاء الأولوية للأمور التي يمكنها قياسها وتحليلها بفعالية. تكتسب عملية تحديد الأولويات هذه أهمية خاصة عند استخدام نماذج من جهات خارجية مثل OpenAI أو Google، والتي تتولى تشغيل وإدارة هذه النماذج بشكل خاص.

تفرض وكلاء الذكاء الاصطناعي — وهي أنظمة تعمل بشكل مستقل لتصميم وتنفيذ سير العمل عبر النظام البنائي لتكنولوجيا المعلومات—تحديات فريدة من نوعها فيما يتعلق بقابلية الملاحظة، مما يتطلب نهجاً فريداً ومواكباً لجمع البيانات. أشار ما يقرب من نصف المديرين التنفيذيين الذين شملهم استطلاع معهد IBM Institute for Business Value في عام 2025 إلى أن "نقص الرؤية الواضحة لعمليات صنع القرار لدى الوكلاء يمثل عائقاً كبيراً أمام التنفيذ" فيما يخص الذكاء الاصطناعي الوكيل. تُعد قابلية ملاحظة هذه الأنظمة أمراً بالغ الأهمية لاعتمادها.

تعمل قابلية ملاحظة الذكاء الاصطناعي عن طريق جمع مقاييس محددة للذكاء الاصطناعي من مختلف طبقات البنية التقنية في الوقت الفعلي، وتنظيمها في لوحة بيانات موحدة. تمنح هذه العملية المسؤولين رؤية أعمق لآليات العمل الداخلية لنماذج الذكاء الاصطناعي، مما يساهم في تقليل الاختناقات، ومعالجة مشكلات الهلوسة، وتقليل زمن الانتقال، بالإضافة إلى حل مشكلات شائعة أخرى

تركز منصات القابلية للملاحظة على ثلاثة أنواع رئيسية من القياس عن بُعد، والتي لها متغيراتها الخاصة بأنظمة الذكاء الاصطناعي: السجلات، وآثار التتبع، والمقاييس.

السجلات عبارة عن سجلات دقيقة ومختومة زمنيًا وكاملة وغير قابلة للتغيير لأحداث التطبيق. من بين أمور أخرى، يمكن استخدام السجلات لإنشاء سجل عالي الدقة، بالمللي ثانية لكل حدث في نظام تكنولوجيا المعلومات، مع استكمال السياق المحيط. في تطوير الذكاء الاصطناعي، يستخدم المطورون السجلات لاستكشاف الأخطاء وإصلاحها.

تُسجل أثار التتبع "الرحلة" الكاملة لكل طلب مستخدم، بدءاً من واجهة المستخدم أو تطبيق الهاتف، ومروراً بالبنية التحتية بالكامل ونموذج الذكاء الاصطناعي، وصولاً إلى المستخدم مرة أخرى.

المقاييس هي قياسات أساسية لسلامة التطبيق والنظام بمرور الوقت. على سبيل المثال، تُستخدم المقاييس لقياس مقدار الذاكرة أو سعة وحدة المعالجة المركزية التي يستخدمها التطبيق في خمس دقائق، أو زمن الانتقال الذي يواجهه التطبيق خلال فترة الاستخدام.

تنتج وكلاء الذكاء الاصطناعي، والذكاء الاصطناعي التوليدي، وغيرها من أنظمة الذكاء الاصطناعي مثل النماذج اللغوية الكبيرة أنواعاً فريدة خاصة بها من بيانات القياس عن بُعد، والتي يجب جمعها وتحليلها لتزويد المسؤولين برؤى قابلة للتنفيذ.

تعد مراقبة استهلاك الرموز المميزة، وانحراف النموذج، وجودة الاستجابة؛ ثلاثة محاور أساسية لمعظم مبادرات مراقبة الذكاء الاصطناعي. يمكن أن تساعد مراقبة هذه العوامل في تقليل مشاكل الأداء خلال دورة حياة النموذج وتحسين تجربة المستخدم.

كما يمكن لأدوات قابلية ملاحظة الذكاء الاصطناعي جمع بيانات القياس عن بُعد الأكثر تقليدية مثل استخدام وحدة معالجة الرسومات (GPU)، واختناقات البنية التحتية للشبكة، وتعليقات واجهة المستخدم وذلك عندما تكون ذات صلة بالنموذج.

الرمز المميز هو وحدة فردية من اللغة - عادةً ما تكون كلمة أو جزء من كلمة - يمكن لنموذج الذكاء الاصطناعي فهمها. يؤثر عدد الرموز المميزة التي يعالجها النموذج لفهم الإدخال أو إنتاج المخرجات بشكل مباشر على تكلفة وأداء التطبيق القائم على النماذج اللغوية الكبيرة (LLMs). قد يؤدي ارتفاع استهلاك الرموز المميزة إلى زيادة النفقات التشغيلية وزمن الانتقال المرتبط بالاستجابة.

المقاييس الرئيسية لتتبع استخدام الرمز المميز تشمل:

• معدلات استهلاك الرمز المميز وتكاليفه، والتي يمكن أن تساعد في تحديد النفقات التشغيلية.
  
  
• كفاءة الرمز المميز، مقياس لمدى فعالية استخدام كل رمز مميز في التفاعل. تنتج التفاعلات الفعالة مخرجات عالية الجودة إلى جانب تقليل عدد الرموز المميزة المستهلكة.
  
  
• أنماط استخدام الرموز المميزة عبر أنواع مختلفة من الموجّهات، والتي يمكن أن تساعد في تحديد الاستخدامات كثيفة الموارد للنماذج.

يمكن أن تساعد هذه المقاييس المؤسسات في تحديد فرص التحسين لتقليل استهلاك الرموز المميزة، مثل تنقيح الموجِّهات لنقل المزيد من المعلومات في عدد أقل من الرموز المميزة. من خلال تحسين استخدام الرموز المميزة، يمكن للمؤسسات الحفاظ على جودة استجابة عالية مع إمكانية تقليل تكاليف الاستدلال لأحمال تشغيل التعلم الآلي.

على عكس البرمجيات التقليدية، يمكن أن تتغير نماذج الذكاء الاصطناعي تدريجيًا في سلوكها بطرق غير مرغوب فيها مع تطور البيانات في العالم الحقيقي. يمكن أن يؤثر هذا الظاهرة، المعروفة باسم انحراف النموذج، بشكل كبير على موثوقية وأداء نظام الذكاء الاصطناعي.

تتضمن المقاييس الرئيسية لتتبع انحراف النموذج ما يلي:

• التغييرات في أنماط الاستجابة مع مرور الوقت لتحديد التناقضات الناشئة.
  
  
• الاختلافات في جودة المخرجات أو الملاءمة التي قد تشير إلى انخفاض أداء النموذج.
  
  
• التحولات في زمن الانتقال أو استخدام الموارد التي قد تشير إلى عدم كفاءة الحوسبة.

يمكن لآليات الكشف عن الانحراف أن توفر تحذيرات مبكرة عندما تنخفض دقة النموذج لحالات استخدام محددة، مما يمكّن الفرق من التدخل قبل أن يتسبب النموذج في تعطيل عمليات الأعمال.

تعد مراقبة جودة مخرجات الذكاء الاصطناعي أمرًا ضرورياً للحفاظ على الثقة والموثوقية والامتثال. تتضمن المقاييس الرئيسية لتتبع جودة الاستجابة ما يلي:

• معدل تكرار الهلوسة عبر أنواع موجِّهات مختلفة لتحديد المحفزات المحتملة للمخرجات غير الدقيقة.
  
  
• الدقة الواقعية للاستجابات التي يتم إنشاؤها، على الرغم من أن هذا يتطلب غالبًا تحققًا خارجيًا من الصحة والإشراف البشري.
  
  
• اتساق المخرجات للمدخلات المماثلة للتحقق من استقرار النموذج بمرور الوقت.
  
  
• ملاءمة الاستجابات  لموجِّهات المستخدم لتقييم كيفية توافق النموذج مع نية المستخدم.
  
  
• يعد تتبع زمن الانتقال أمرًا حساسًا بالنسبة إلى تطبيقات الذكاء الاصطناعي التي تواجه المستخدم، حيث تتطلب السرعة والدقة في كثير من الأحيان المفاضلة بينهما. يمكن أن تساعد مراقبة أوقات الاستجابة عبر أنواع مختلفة من الموجِّهات المؤسسات على تحديد اختناقات الأداء وأوجه القصور الحاسوبية.

OpenTelemetry (OTel)، إطار عمل مفتوح المصدر لجمع ونقل بيانات القياس عن بُعد، يمكن أن يساعد في التخفيف من تحديات قابلية الملاحظة التي يفرضها الذكاء الاصطناعي.

بالنسبة لمقدمي خدمات الذكاء الاصطناعي، يوفر OpenTelemetry طريقة لتوحيد كيفية مشاركة بيانات الأداء دون الكشف عن تفاصيل النموذج الخاص أو مصدر الرمز. بالنسبة للمؤسسات، يضمن تدفق بيانات قابلية الملاحظة بشكل متسق عبر مسارات الذكاء الاصطناعي المعقدة التي قد تشمل نماذج متعددة وتبعيات مختلفة وأنظمة التوليد المعزز بالاسترجاع (RAG).

تتضمن المزايا الرئيسية لـ OpenTelemetry لقابلية ملاحظة الذكاء الاصطناعي ما يلي:

• استقلال البائعين: يمكن للمؤسسات تجنب التقيد بمنصات محددة لقابلية الملاحظة، مما يساعدها على الحفاظ على المرونة مع تطور تقنيات الذكاء الاصطناعي.
  
  
• الرؤية الشاملة: تتدفق بيانات القياس عن بعد بشكل متسق من جميع عناصر البنية التحتية لتطبيق الذكاء الاصطناعي.
  
  
• الاستعداد للمستقبل: مع تطور تقنيات الذكاء الاصطناعي، يمكن لمعيار OpenTelemetry التكيف معها، مما يساعد في ضمان استمرار ملاءمة استراتيجيات قابلية الملاحظة.
  
  
• تكامل النظام البنائي: تتيح المعايير المفتوحة قابلية الملاحظة عبر حلول الذكاء الاصطناعي متعددة البائعين ونماذج النشر الهجينة.
  
  
• توحيد البيانات الوصفية: نظرًا لأن OpenTelemetry محايدة تجاه البائع، فإنه يمكّن المطورين من التقاط البيانات الوصفية الأساسية المتعلقة بالذكاء الاصطناعي والحفاظ على الرؤية عبر المجموعة بغض النظر عن الواجهات الخلفية لقابلية الملاحظة أو البائعين الذين يستخدمونها.

نظرًا للمستوى العالي من الاستقلالية والأتمتة التي تتمتع بها وكلاء الذكاء الاصطناعي داخل الشبكة، فإنها تتطلب اهتمامًا خاصًا من منصات قابلية الملاحظة—وتحديدًا فيما يتعلق بالإجراءات التي تتخذها داخل النظام، وما يصاحب تلك الإجراءات من سجلات وتتبعات.

إنَّ القدرات ذاتها التي تجعل وكلاء الذكاء الاصطناعي ذوي قيمة—مثل استخدامهم للنماذج اللغوية الكبيرة (LLMs)، واسترجاعهم للمحادثات السابقة، واستعانتهم بالأدوات الخارجية—هي نفسها التي قد تجعل من الصعب مراقبتهم وفهمهم والتحكم بهم.

تشمل الإجراءات الشائعة التي قد يتخذها وكيل الذكاء الاصطناعي استدعاء واجهة برمجة التطبيقات (API) للتفاعل مع محرك بحث، أو استدعاء نموذج لغوي كبير لإنتاج نص أو فهم مدخلات المستخدم، أو تصعيد الطلبات إلى الموظفين البشريين، أو تمرير تحذير آلي بشأن خرق أمني أو انخفاض في توفر الموارد الحوسبية.

في حين أن هذه القدرات تمكن الوكلاء من العمل بشكل مستقل، فإنها تجعلهم أيضًا أقل شفافية بكثير من التطبيقات التقليدية المبنية على قواعد ومنطق صريح ومُحدد مسبقًا. من خلال تتبع البيانات المرتبطة بهذه العمليات الوكيلية، يمكن للمسؤولين اكتساب رؤية متعمقة حول سلوك الوكيل، مما يساعد في منع انتهاكات الامتثال، والإخفاقات التشغيلية، وما يتبع ذلك من تآكل لثقة المستخدم.

تتضمن السجلات الفريدة لقابلية ملاحظة وكلاء الذكاء الاصطناعي ما يلي:

• سجلات تفاعل المستخدم، التي توثق كل تفاعل بين المستخدمين ووكلاء الذكاء الاصطناعي.
  
  
• سجلات تفاعلات النماذج اللغوية الكبيرة (LLM) ، التي توثق التفاعلات بين الوكلاء والنماذج اللغوية الكبيرة.
  
  
• سجلات تنفيذ الأدوات ، التي تقيس الأدوات والوسائل التي يستخدمها الوكلاء، ومتى يستخدمونها، وما هي الأوامر التي يرسلونها، والنتائج التي يحصلون عليها.
  
  
• سجلات قرارات الوكلاء، التي تسجل كيف توصل وكيل الذكاء الاصطناعي إلى قرار أو إجراء محدد عندما يكون ذلك متاحًا.

تشمل فوائد قابلية ملاحظة الذكاء الاصطناعي التحكم في تكلفة استخدام النموذج، وسهولة الامتثال، وتحسين النموذج نفسه.

إن اكتساب رؤية أعمق لكيفية تفاعل الأدوات المدعومة بالذكاء الاصطناعي مع منظومة تكنولوجيا المعلومات يمكن أن يساعد في تحديد الموارد المهدرة. على سبيل المثال، إذا وجدت مؤسسة أن النموذج يستخدم جزءًا صغيرًا فقط من قوة المعالجة الممنوحة له، يمكن لفرق عمليات التطوير تقليص أو تحويل الموارد إلى الأماكن التي تحتاجها أكثر.

يمكن لأدوات قابلية ملاحظة الذكاء الاصطناعي جمع ومعالجة وتخزين بيانات التتبع الخاصة بوكلاء الذكاء الاصطناعي تلقائياً لغايات تدقيق الامتثال. تكتسب خدمات دعم التدقيق أهمية متزايدة، لا سيما وأن التشريعات بما في ذلك قانون الذكاء الاصطناعي التابع للاتحاد الأوروبي، بالإضافة إلى مختلف اللوائح المقترحة في الولايات المتحدة، قد أطلقت موجة من الجهود لتقنين استخدام الذكاء الاصطناعي في قطاع الأعمال، وحماية أي معلومات تعريف الشخصية (PII) تستخدمها النماذج.

بالنسبة لمطوري النماذج، يمكن أن يساعد حجم البيانات التي تجمعها أدوات قابلية الملاحظة في تقليل انحراف النماذج، وتتبع الميزات الأكثر قيمة وفائدة (أو الأكثر اضطرابًا)، والتحقق من التحيز والعدالة.

بينما تُعد قابلية ملاحظة الذكاء الاصطناعي ممارسة تهدف إلى فهم أنظمة الذكاء الاصطناعي من خلال بيانات القياس عن بُعد الخاصة بها، فإن قابلية ملاحظة التعلم الآلي تركز بشكل أدق على كيفية استخدام أداة الذكاء الاصطناعي للبيانات على مستوى النموذج.

إنّ فهم القياسات للتعلم الآلي أمر بالغ الأهمية، لأن البيانات التي يستهلكها النموذج ويتعلم منها في تغير مستمر. إن التعمق في فهم كيفية عمل النموذج داخلياً لا يوضح للمسؤولين مجرد حقيقة انحراف النموذج أو تراجع فاعليته فحسب، بل يعلمهم السبب وراء ذلك أيضاً.

تقيس المقاييس الرئيسية لقابلية ملاحظة التعلم الآلي، وغالبًا مراقبة النماذج اللغوية الكبيرة (LLM)، جودة النموذج، والبيانات نفسها التي يستوعبها النموذج، وكيفية تفاعل النموذج مع البنية التحتية المحيطة به.

النماذج المختلفة لها مقاييس جودة مختلفة قد تتتبعها منصة قابلية الملاحظة.

بالنسبة لنموذج التصنيف، الذي يصنف البيانات إلى فئات محددة مسبقًا، تشمل مقاييس الأداء الشائعة:

• الدقة: عدد التنبؤات الصحيحة مقارنةً بالعدد الإجمالي للتنبؤات التي تم إجراؤها
  
  
• الدقة والاستدعاء: مقياس لمدى ملاءمة العناصر المحددة
  
  
• درجة F1: مزيج شائع الاستخدام من هذه المقاييس

أما نموذج الانحدار، من ناحية أخرى، فعادةً ما يتم تقييمه باستخدام مقاييس مثل جذر متوسط مربع الخطأ، الذي يقيس متوسط الفرق بين التنبؤات التي يقدمها النموذج ونقاط البيانات الفعلية المعنية.

يمكن لقابلية الملاحظة قياس انحراف البيانات—مثل التباعدات الكبيرة بين بيانات الإدخال وبيانات التدريب، أو التغير في التوزيع الإحصائي لتوقعاتها—بالإضافة إلى مقاييس جودة البيانات البسيطة مثل القيم المفقودة وأنواع القيم الخاطئة وغير الصالحة. باستخدام هذه المقاييس، يمكن لأدوات قابلية الملاحظة في التعلم الآلي إجراء تحليل السبب الأساسي لفهم انحراف النموذج أو منعه قبل حدوثه.

غالبًا ما تقيس قابلية ملاحظة التعلم الآلي أيضًا مقاييس أكثر تقليدية قد تكون ذات صلة بالنموذج، مثل زمن الانتقال، واستخدام الذاكرة، ومعدل النقل، أو عدد التنبؤات التي يمكن للنموذج القيام بها في أي فترة زمنية معينة.