ما المقصود بقابلية ملاحظة النماذج اللغوية الكبرى؟

يتكون الحل الجيد لقابلية الملاحظة من جمع المقاييس والآثار والسجلات ذات الصلة من تطبيقات النماذج اللغوية الكبرى وواجهات برمجة التطبيقات (APIs) وسير العمل، ما يسمح للمطورين بمراقبة التطبيقات وتصحيح أخطائها وتحسينها بكفاءة واستباقية وعلى نطاق واسع. 

النماذج اللغوية الكبرى (LLMs) ومنصات الذكاء الاصطناعي التوليدي مثل IBM watsonx.ai® ومجموعة متزايدة من النماذج مفتوحة المصدر تتزايد انتشارًا عبر المجالات. وبسبب هذه الزيادة، أصبح من المهم أكثر من أي وقت مضى الحفاظ على موثوقية وسلامة وكفاءة النماذج والتطبيقات بعد تبنيها. وهنا تصبح قابلية ملاحظة النماذج اللغوية الكبرى ضرورية.

• مراقبة جودة ومخرجات النماذج اللغوية الكبرى:
  يمكن تصنيف التقييم المستمر للمخرجات التي تنتجها النماذج اللغوية الكبرى إلى عدة أبعاد للجودة، وهو أمر مفيد وقابل للتطبيق بالنسبة إلى المستخدمين. تتضمن هذه الأبعاد الصحة والملاءمة والترابط والاتساق الواقعي مع مقاييس التقييم المحددة. يساعد التحقق الدوري من أبعاد الأداء هذه على منع التأخيرات أو المشكلات التي قد تتسبب في فقدان المستخدمين الثقة في البرنامج وصعوبة استخدام النماذج اللغوية الكبرى بكفاءة.
  
  
• تحليل سريع للأسباب الأساسية واستكشاف الأخطاء وإصلاحها:
  عندما يحدث عطل كبير أو سلوك غير متوقع في تطبيقات النماذج اللغوية الكبرى، يمكن لأداة قابلية الملاحظة أن توفر معارف مفيدة لتحديد السبب (أو الأسباب) الأساسي لظهور المشكلة بسرعة. سيسمح هذا المستوى من القياس عن بُعد الدقيق للأطراف المعنية عمومًا بالتعرف على المشكلات بمستويات أعلى من الثقة في العديد من المجالات. على سبيل المثال، بيانات التدريب التالفة، أو عملية الضبط الدقيق سيئة التصميم، أو استدعاءات واجهة برمجة التطبيقات الخارجية الفاشلة، أو تعطل الواجهة الخلفية بسبب تعطل مقدم الخدمة الخارجي.
  
  
• تحسين التطبيقات، وتفاعل المستخدمين، وكفاءة النظام:
  تسمح قابلية ملاحظة النماذج اللغوية الكبرى بتحسين أداء التطبيقات وتفاعل المستخدمين من خلال المراقبة المستمرة لمجموعة النماذج اللغوية الكبرى بأكملها. يُجرى تتبع المقاييس مثل زمن الانتقال، والرموز المميزة المستخدمة، وزمن الاستجابة، وسرعة الإنتاج، لتحديد العوائق والعوامل المقيدة للسماح بتحسين الأداء وتقليل التكاليف، خاصة في سير العمل التوليد المعزز بالاسترجاع (RAG). يساعد تتبع التفاعلات وتعليقات المستخدمين في الوقت الفعلي على توفير معارف حول حالات توليد مخرجات منخفضة الجودة، وحل المشكلات عند ظهورها، واكتشاف الأسباب الأساسية. يتيح هذا التكيف المستمر مع سلوك المستخدم للنماذج اللغوية الكبرى إنتاج استجابات مخصصة، وتحسين سير العمل، والتوسع لتلبية الطلب من دون التأثير سلبًا في الأداء.^{2، 3}

يمكن تصنيف مقاييس قابلية ملاحظة النماذج اللغوية الكبرى إلى ثلاثة أبعاد أساسية.

لا يمكن أن تحدث قابلية الملاحظة الشاملة للنماذج اللغوية الكبرى (LLMs) إلا إذا تتبعنا مقاييس قابلية الملاحظة التي تتبع أداء النظام، واستخدام الموارد، وسلوك النماذج.⁴

مقاييس أداء النظام:

• زمن الانتقال: يمثل المدة من الإدخال إلى المخرجات والتي تمثل زمن استجابة النموذج.
  
  
• الإنتاجية: عدد الطلبات التي يعالجها النموذج في مدة محددة؛ وهو مقياس لحمل النموذج.
  
  
• معدل الخطأ: معدل حالات الفشل أو الاستجابات غير الصالحة؛ ويعكس مدى موثوقية النموذج.

مقاييس استخدام الموارد:

• استخدام وحدة المعالجة المركزية/وحدة معالجة الرسومات: قياس الموارد المستهلكة في أثناء عملية الاستنتاج، مع مراعاة التكلفة والكفاءة.
  
  
• استخدام الذاكرة: المساحة المستهلكة من ذاكرة الوصول العشوائي أو وحدة التخزين في أثناء المعالجة. ورغم أهميته للأداء وقابلية التوسع، فإن هذا الاستخدام يُعد ثانويًا بالنسبة إلى المهمة العامة.
  
  
• استخدام الرموز المميزة: تتبع الرموز المميزة المُعالَجَة. تُعد هذه الخطوة مهمة بشكل خاص عندما تكون الرموز المميزة مرتبطة بالتكلفة في النماذج.
  
  
• نسبة الإنتاجية إلى زمن الانتقال: تصف الإنتاجية أحمال تشغيل النظام مقارنةً بسرعة استجابته؛ ويُعد تحقيق توازن جيد بين هذين الأمرين أمرًا أساسيًا لتحقيق الكفاءة.

مقاييس سلوك النموذج:

• الصحة: يراقب معدل إصدار النموذج لاستجابة صحيحة.
  
  
• الصحة الواقعية: يُقيّم ما إذا كان النموذج يقدم مخرجات واقعية "صحيحة".
  
  
• تفاعل المستخدمين: يقيس مدة التفاعل، والتعليقات، والرضا لتقييم التجربة.
  
  
• جودة الاستجابة: يقيس مدى اتساق المخرجات ووضوحها وملاءمتها.⁵

من الصعب مراقبة النماذج اللغوية الكبرى يدويًا نظرًا إلى كمية البيانات الكبيرة وبنية النظام المعقدة والحاجة إلى التتبع في الوقت الفعلي. وكثرة السجلات والمقاييس تصعب تحديد المشكلات بسرعة. علاوة على ذلك، تتطلب المراقبة اليدوية موارد كثيفة، وتكون عرضة للأخطاء، ولا يمكن أن تتوسع بفعالية مع توسع الأنظمة، ما يؤدي إلى بطء اكتشاف المشكلات وعدم كفاءة استكشاف المشكلات وإصلاحها.

 تُظهر هذه القيود مدى صعوبة المتابعة في قابلية الملاحظة يدويًا في النماذج اللغوية الكبرى، ما يسلط الضوء على الحاجة إلى حلول أكثر تطورًا واستقلالية في بيئات المؤسسات.⁶

يشير استكشاف الأخطاء وإصلاحها بشكل تلقائي إلى الأنظمة التي يمكنها تحديد المشكلات وتشخيصها وحلها بشكل مستقل من دون الحاجة إلى تدخل بشري من خلال استخدام طرق مراقبة متقدمة تعتمد على أنظمة قائمة على الوكلاء. يراقب الوكلاء الأداء ويرصدون الحالات الشاذة وينفذون عمليات تشخيص في الوقت الفعلي، ما يسمح بتشغيل الأنظمة من دون إشراف ومن دون أي تدخل بشري.⁷

تساعد عملية استكشاف الأخطاء وإصلاحها التلقائية والقائمة على الوكلاء على ما يلي:

• الكشف في الوقت الفعلي: تحديد المشكلات فورًا من دون الحاجة إلى إدخال يدوي.
  
  
• تحليل الأسباب الأساسية: تحديد مصدر المشكلات باستخدام معارف مستندة إلى الذكاء الاصطناعي. 
  
  
• الحل الآلي: تطبيق حلول محددة مسبقًا وجاهزة للاستخدام الفوري لحل المشكلات.
  
  
• المراقبة المستمرة: التكيف والتعلم من البيانات لتحسين عملية استكشاف الأخطاء وإصلاحها بمرور الوقت.
  
  
• قابلية التوسع: التعامل مع البيئات المعقدة واسعة النطاق بكفاءة من خلال تقليل العمل اليدوي بشكل كبير.
  
  
• الصيانة التنبئية: توقع المشكلات المحتملة قبل ظهورها، وهو ما يمكن أن يكون ذا قيمة كبيرة خلال دورات ذروة الأداء. 
  
  
• التكامل مع قابلية الملاحظة: تستخدم أدوات قابلية الملاحظة الأخرى لحل المشكلات بشكل أسرع.

مصممة للتوسع، تقدم IBM® Instana® رؤية فورية وإمكانية استكشاف الأخطاء وإصلاحها بشكل تلقائي بما يتناسب مع قابلية الملاحظة المعقدة في المؤسسات اليوم.

من خلال عملية مكونة من ثلاث خطوات—الكشف، والتشخيص المستند إلى الذكاء الاصطناعي، والمعالجة التلقائية—توفر Instana عملية استكشاف الأخطاء وإصلاحها بشكل تلقائي وشامل لضمان اكتشاف المشكلات وإصلاحها قبل أن تؤثر في الأداء.⁸

لمعرفة المزيد عن هذه الإمكانات، سجّل في قائمة انتظار الذكاء الاصطناعي الوكيل من Instana.

يشمل توسيع نطاق الذكاء الاصطناعي التوليدي استكشاف الأخطاء وإصلاحها بشكل تلقائي باستخدام أدوات ذكية، ومراقبة النماذج اللغوية الكبرى في الوقت الفعلي، والتنسيق الفعال. يُعد تحسين مجموعات البيانات، ومخرجات النماذج، واستجابة النماذج اللغوية الكبرى بالإضافة إلى الصيانة الفائقة لأداء النماذج من خلال مسارات محسنة واختبار النماذج اللغوية الكبرى في الوقت الفعلي أمرًا بالغ الأهمية لتجربة مستخدم سلسة عبر حالات الاستخدام المختلفة مثل روبوتات المحادثة. يزداد استخدام النماذج اللغوية الكبرى مفتوحة المصدر وسير عمل التعلم الآلي بشكل مستمر بالاستفادة من تقنيات التضمين ومراقبة استدعاءات النماذج اللغوية الكبرى باستخدام مجموعة من الأدوات. أدوات مثل OpenTelemetry وغيرها من الأدوات التي تدمج أدوات متطورة لقابلية ملاحظة النماذج اللغوية الكبرى في منصات ولوحات معلومات متكاملة لقابلية الملاحظة ستكون ضرورية لتطوير أنظمة ذكاء اصطناعي قابلة للتوسع ومستقرة وتوفر الأداء الأمثل.^{9، 10}