ما المقصود بهندسة قابلية الملاحظة؟
هندسة قابلية الملاحظة هي عملية تصميم وبناء أنظمة قابلة للملاحظة بطبيعتها والاستفادة من الأدوات والأساليب المتقدمة لجمع بيانات قابلية الملاحظة وتحليلها وتصورها.
عندما يكون النظام قابلًا للملاحظة، يمكن للمطورين تمييز حالة أنظمة البرامج والبنية التحتية وعناصر الشبكات من خلال تحليل مخرجاتها الخارجية. غالبًا ما تكون أدوات مراقبة تكنولوجيا المعلومات التقليدية غير قادرة على توفير رؤية كاملة لبيئات البرامج المعقدة اليوم، والتي تتميز بالبنى الموزعة ومجموعة كبيرة من الخدمات المصغرة والعناصر المترابطة الأخرى.
تتطلب أنظمة البرمجيات وبيئات الحوسبة الحديثة أدوات قابلية ملاحظة شاملة وعصرية توفِّر ميزات التتبُّع الموزع والمقاييس الشاملة ووظائف التسجيل. باستخدام هندسة قابلية الملاحظة، يتم دمج ميزات قابلية الملاحظة في أنظمة التطوير والإنتاج.
يعمل مهندسو قابلية الملاحظة على بناء وظائف قابلية الملاحظة في طبقات كود التطبيق والبنية التحتية والبرامج الوسيطة ودمج بيانات أحداث النظام في مسارات المراقبة. فهم يستخدمون أدوات متقدمة تربط أحداث النظام عبر الحاويات والحجيرات والخوادم وشبكات توصيل المحتوى (CDNs) لتمكين إمكانية التتبُّع الشاملة في بيئات الحوسبة السحابية الأصلية المعقدة.
تساعد هندسة قابلية الملاحظة الفِرَق على تحليل بيانات المراقبة والقياس عن بُعد، وإنشاء آليات تنبيه أكثر استجابة، والحصول على عروض مصورة للبيانات ولوحات معلومات أكثر دقة. كما أنها تدعم استراتيجية قابلية الملاحظة المبكرة، والتي تمكِّن المطورين من اكتشاف مشكلات النظام بشكل استباقي، وفهم السبب الأساسي لها وتحديد الطريقة الأكثر فاعلية لحلها من خلال تشغيل ميزات قابلية الملاحظة في وقت مبكر من دورة حياة التطوير.
من خلال دمج هندسة قابلية الملاحظة في ممارسات التطوير وإدارة الشبكات، يمكن للشركات إنشاء المزيد من الأنظمة القابلة للملاحظة والتي تسهِّل تقديم تطبيقات وخدمات آمنة وعالية التوفر والأداء.
أحدث الأخبار والرؤى حول الذكاء الاصطناعي
تتوفر معارف وأخبار منسقة بمهارة حول الذكاء الاصطناعي والسحابة وغيرها في نشرة Think الإخبارية الأسبوعية.
قابلية الملاحظة هي القدرة على فهم الحالة أو الوضع الداخلي لنظام معقد بالاعتماد فقط على معرفة مخرجاته الخارجية، وتحديدًا بيانات القياس عن بُعد.
في النظام القابل للملاحظة، يمكن لفِرَق تكنولوجيا المعلومات مراقبة أداء النظام وتحليله بسهولة أكبر. على سبيل المثال، يمكنهم رؤية كيفية تدفق البيانات بدقة عبر البنية التقنية للمؤسسة، بما في ذلك التطبيقات، ومراكز البيانات المحلية، والبيئات السحابية، وتحديد أماكن العوائق المحتملة. تساعد هذه الرؤى الفِرَق على تحديد المشكلات ومعالجتها بسرعة أكبر، وإنشاء أنظمة أقوى وأكثر مرونة بشكل عام.
في الأساس، تتمحور قابلية الملاحظة حول تحويل البيانات غير المنسقة إلى رؤى قابلة للتنفيذ. ومع ذلك، وعلى عكس طرق المراقبة التقليدية (التي تركِّز على المقاييس المحددة مسبقًا واستكشاف الأخطاء وإصلاحها بشكل تفاعلي)، تتَّبِع قابلية الملاحظة نهجًا استباقيًا.
تعتمد أدوات قابلية الملاحظة على جمع البيانات من مجموعة واسعة من المصادر لإجراء تحليلات أعمق وتسريع معالجة المشكلات. فهي تجمع بيانات القياس عن بُعد وغيرها من البيانات من عناصر الشبكة المختلفة (الحاويات والحجيرات والخدمات المصغرة وغيرها) لتزويد فِرَق التطوير برؤية شاملة حول سلامة العناصر وأدائها، وكذلك أداء الأنظمة الكبرى التي هي جزء منها.
يتضمن القياس عن بُعد "الركائز الثلاث" من قابلية الملاحظة: السجلات والمقاييس والتتبعات.
السجلات هي سجلات تفصيلية لما يحدث داخل الشبكة وأنظمة البرمجيات. توفِّر السجلات معلومات تفصيلية عن الحدث، وزمن وقوعه، ومكانه داخل البيئة.
المقاييس هي تقييمات رقمية لأداء النظام واستخدام الموارد. فهي توفِّر نظرة عامة عالية المستوى على سلامة النظام من خلال التقاط أنواع بيانات محددة ومؤشرات الأداء الرئيسية (KPIs)، مثل زمن الانتقال وفقدان الحِزَم ومدى توافر النطاق الترددي واستخدام وحدة المعالجة المركزية للجهاز.
التتبعات هي سجلات شاملة لمسار كل طلب يُجريه المستخدم عبر الشبكة. توفِّر التتبعات رؤًى حول مسار وسلوك حِزَم البيانات أثناء مرورها عبر الأجهزة المتعددة والأنظمة المعقدة، ما يجعلها ضرورية لفهم البيئات الموزعة.
على عكس أدوات المراقبة، تستخدم منصات قابلية الملاحظة القياس عن بُعد بطريقة استباقية. تستخدم فِرَق عمليات التطوير ومهندسو موثوقية الموقع (SREs) أدوات قابلية الملاحظة لربط القياس عن بُعد في الوقت الفعلي والحصول على عرض كامل وسياقي لسلامة النظام. وهذا يمكِّن الفِرَق من فهم كل عنصر في النظام وكيفية ترابطه مع العناصر الأخرى.
من خلال تقديم رؤية شاملة لبيئة تكنولوجيا المعلومات بما في ذلك الاعتماديات، يمكن لحلول قابلية الملاحظة أن توضِّح للفِرَق "ما الذي حدث" في النظام و"أين حدث" و"لماذا حدث" وكيف قد يؤثِّر الحدث في أداء البيئة بأكملها. ويمكنهم أيضًا تلقائيًا اكتشاف مصادر جديدة للقياس عن بُعد قد تظهر في النظام (على سبيل المثال، استدعاء واجهة برمجة تطبيقات جديدة لتطبيق البرنامج).
غالبًا ما تحدِّد ميزات القياس عن بُعد وارتباط البيانات كيفية قيام مهندسي البرمجيات وفِرَق عمليات التطوير بتنفيذ أدوات التطبيق وعمليات تصحيح الأخطاء وحل المشكلات. تمكِّن هذه الأدوات فِرَق تكنولوجيا المعلومات من اكتشاف المشكلات ومعالجتها قبل تفاقمها، ما يساعد على ضمان اتصال سلس وتقليل فترات التعطل إلى الحد الأدنى وتحسين تجارب المستخدمين.
وتوفِّر أيضًا تعليقات يمكن للمطورين دمجها في ممارسات قابلية الملاحظة المستقبلية، ما يجعلها جزءًا لا يتجزأ من هندسة قابلية الملاحظة أيضًا.
تعتمد هندسة قابلية الملاحظة الناجحة على بعض المبادئ المهمة، بما في ذلك:
أدوات المراقبة الشاملة للتطبيقات
يساعد تضمين التسجيل والمقاييس والتتبُّع في جميع قواعد التعليمات البرمجية للتطبيق على التقاط البيانات الحساسة في نقاط التجميع الرئيسية.
يمكن للفِرَق استخدام تنسيقات تسجيل منظمة (مثل JSON) لتبسيط إدارة السجلات وتسهيل البحث في السجلات وتحليلها. كما أن استخدام الأدوات لكل خدمة مصغرة وتكامل طرف ثالث لجمع تتبعات طلبات البيانات الواردة والصادرة يسهِّل الرؤية الكاملة عبر بيئة تكنولوجيا المعلومات ليتمكن المطورون من العثور على المشكلات وإصلاحها بشكل أسرع.
التتبُّع الموزع
تساعد أدوات التتبُّع الموزع، التي تصوِّر المسار الكامل لكل طلب بيانات في بيئة الحوسبة، فِرَق تكنولوجيا المعلومات على استكشاف المشكلات وإصلاحها بسرعة عند ظهورها.
يمكن للمطورين استخدام معرِّفات فريدة من نوعها لمتابعة الطلبات أثناء عبورها لخدمات متعددة، ما يوفر رؤًى كاملة وشاملة لعمليات النظام. على سبيل المثال، يستطيع المهندسون تعيين معرِّفات تتبُّع فريدة لكل طلب بيانات وارد عند حافة المنظومة (عند API Gateway، على سبيل المثال) وتطبيق معرِّفات النطاق على كل جزء من مسار الطلب.
أهداف مستوى الخدمة (SLOs) ذات المغزى
تُعَد أهداف مستوى الخدمة أهداف الأداء المتفق عليها للخدمة خلال فترة محددة. وتساعد هذه الأهداف في ضمان قدرة الشركات على تلبية اتفاقيات مستوى الخدمة (SLAs)، وهي العقود بين مقدِّمي الخدمة والعملاء التي تحدِّد الخدمة التي يجب تقديمها، ومستوى الأداء الذي يجب أن يتوقعه المستخدمون.
يُعَد إنشاء مقاييس واضحة وقابلة للقياس تمثِّل تجارب المستخدم الفعلية وتحديد أهداف قابلة للتحقيق لموثوقية النظام وأدائه جزءًا لا يتجزأ من هندسة قابلية الملاحظة. لا تساعد هذه العملية على ضمان عمل المهندسين دائمًا مع بيانات قابلية الملاحظة ذات الصلة فحسب، بل تسهِّل أيضًا اكتشاف المشكلات وحلها بدقة.
ثقافة تُعطي الأولوية لقابلية الملاحظة
لا تقتصر هندسة قابلية الملاحظة على تطبيق قابلية الملاحظة المبكرة في دورة حياة التطوير فحسب. بل يتعلق الأمر أيضًا بتسهيل التطوير القائم على قابلية الملاحظة، حيث يتم دمج ممارسات قابلية الملاحظة في مهام سير العمل اليومية للمطورين، كما تعمل على توجيه كيفية إنشاء المهندسين للكود وإدارته.
بالإضافة إلى البيانات الأساسية للقياس عن بُعد وأدوات الارتباط، تعتمد هندسة قابلية الملاحظة على ما يلي:
يُعَد إنشاء بروتوكولات مراقبة قوية أمرًا بالغ الأهمية للحفاظ على الأنظمة القابلة للملاحظة. يمكن لأدوات المراقبة جمع مجموعة من مقاييس النظام بشكل مستمر وتتبُّعها، بما في ذلك استهلاك الذاكرة ومعدلات الأخطاء وأوقات الاستجابة ونتائج المعاملات الاصطناعية. تساعد المراقبة في الوقت الفعلي على ضمان حصول المهندسين على معلومات محدَّثة حول سلوك النظام.
تتضمن معظم حلول قابلية الملاحظة أيضًا آليات تنبيه تلقائية تعمل على إخطار الفِرَق بالأحداث الشاذة والانحرافات عن القيم الأساسية المحددة.
الأحداث المنظمة هي سجلات بيانات تحتوي على أزواج من القيم والمفاتيح، تصف نشاطًا أو حدثًا محددًا داخل النظام. يُعَد نقل الأحداث المنظمة في كثير من الأحيان الطريقة الأفضل لتتبُّع الأنشطة والتغييرات المهمة في النظام؛ لأنها تلتقط السياق وتسلسل العمليات التي أدَّت إلى حالة أو خطأ معين.
يتضمّن كل حدث عادةً معرِّفًا فريدًا وبيانات وصفية (مثل الرؤوس والمتغيرات) وطابعًا زمنيًا للتنفيذ، ما يجعلها ذات قيمة كبيرة في عمليات تصحيح الأخطاء والتدقيق والتحليل الجنائي.
توفِّر أدوات مراقبة أداء التطبيقات رؤية شاملة لسلامة التطبيق وتجربة المستخدم النهائية. يمكنها تتبُّع مؤشرات أداء التطبيق الحيوية -مثل معدل معالجة المعاملات وزمن الانتقال والتبعيات بين الخدمات- ما يساعد الفِرَق على تشخيص عوائق الأداء وتتبُّع تفاعلات المستخدمين وفهم أثر التغييرات عبر بنية التطبيق.
تعمل لوحات المعلومات على تجميع المقاييس والسجلات والتتبعات من عناصر النظام المختلفة، وعرضها في صورة مرئية تزوِّد الفِرَق برؤى تساعدها على تقييم أداء النظام بسرعة وتحديد توجهات البيانات واكتشاف المشكلات بدقة. غالبًا ما تكون لوحات المعلومات قابلة للتخصيص، ما يمكِّن المطورين من تكوينها لتسليط الضوء على البيانات الأكثر صلة بدور كل طرف معنيّ في المؤسسة.
ترتبط هندسة قابلية الملاحظة ارتباطًا وثيقًا بمنهجيات عمليات التطوير (DevOps) وهندسة موثوقية الموقع (SRE).
فهي توفِّر البيانات التي تحتاجها الفِرَق لتطبيق ممارسات قابلية الملاحظة المتقدمة، مثل تفعيل الميزات المشروطة (حيث يمكن تشغيل الميزات الجديدة أو إيقافها أثناء التشغيل للتحكم في المستخدمين الذين يمكنهم الوصول إليها)، وعمليات النشر الأزرق-الأخضر (حيث يشغِّل المطورون بيئتين إنتاجيتين متشابهتين ومتوازيتين -أو مجموعتين- وتعمل كل بيئة بإصدار مختلف من التطبيق).
من خلال تضمين هندسة قابلية الملاحظة في مسارات التكامل والتسليم المستمر (CI/CD) وعمليات الأتمتة، يمكن لفِرَق تكنولوجيا المعلومات تعزيز موثوقية النظام ككل وتسريع تسليم البرمجيات وإدارة التغييرات في بيئة الإنتاج بثقة.
تتضمن هندسة قابلية الملاحظة مجموعة من الممارسات والأدوات التي يمكنها تعميق الرؤية في بيئات تكنولوجيا المعلومات. كما تمكِّن المطورين من تنفيذ تقنيات هندسية أكثر تطورًا، بما في ذلك:
ارتباط مؤشرات الأداء الرئيسية للأعمال
تساعد هندسة قابلية الملاحظة الفِرَق على ربط المؤشرات الفنية (مثل زمن الانتقال) بنتائج الأعمال الرئيسية (مثل رضا العملاء أو توليد الإيرادات). يمكِّن هذا النهج موظفي تكنولوجيا المعلومات من تقييم تأثير المشكلات التقنية في الأعمال، وتحديد أولويات الإصلاحات الأكثر أهمية، ومواءمة الأولويات التقنية مع الأهداف التنظيمية.
على سبيل المثال، إذا أظهرت بيانات قابلية الملاحظة أن زمن الانتقال الطويل مرتبط بانخفاض معدلات التحويل، يمكن للمطورين معالجة مشكلات زمن الانتقال للمساعدة على زيادة التحويلات.
OpenTelemetry (اختصارًا OTel)
يُعَد OpenTelemetry إطار عمل مفتوح المصدر لقابلية ملاحظة، يتضمّن مجموعة من حِزم تطوير البرمجيات (SDKs) وواجهات برمجة تطبيقات غير مرتبطة ببائع محدد، إلى جانب أدوات أخرى لتهيئة مراقبة التطبيقات والأنظمة والأجهزة. يعمل OTel على تبسيط عملية جمع بيانات القياس عن بُعد، بغض النظر عن لغة البرمجة أو البنية التحتية أو بيئة التشغيل، ويُتيح للمطورين إنشاء وجمع وتصدير بيانات قياس معيارية لأي نظام قابلية ملاحظة خلفي.
باستخدام OTel، يمكن لمهندسي قابلية الملاحظة جمع بيانات القياس عن بُعد بشكل متسق عبر التطبيقات والأنظمة وحالات الاستخدام المختلفة، وتبسيط ممارسات تكامل البيانات وقابلية الملاحظة، وتأمين بيئات تكنولوجيا المعلومات الخاصة بهم في المستقبل.
التحقق المستمر
يُتيح التحقق المستمر للمطورين تضمين عمليات التحقق من قابلية الملاحظة مباشرةً في مسارات CI/CD وتحديد المشكلات قبل وصولها إلى الإنتاج. باستخدام ميزات المراقبة الآلية والتسجيل والتنبيه أثناء مرحلتَي بناء التطبيق ونشره، يمكن للفِرَق اكتشاف مشكلات الأداء على الفور. تساعد هذه العمليات على تحسين موثوقية النشر وتسريع دورة التعليقات لإصدارات برمجيات أسرع وأعلى جودة.
اكتشاف حالات الخلل القائم على التعلم الآلي
يمكن للشركات استخدام الخوارزميات المدعومة بالذكاء الاصطناعي لفحص كميات هائلة من بيانات قابلية الملاحظة والعثور على مشكلات النظام الناشئة التي قد تعجز الأدوات التقليدية عن رصدها. على سبيل المثال، في شبكة الذاكرة طويلة المدى (LSTM)، تعمل تقنية التعلم الآلي (ML) على تمكين الشبكة من النمذجة والتعلم بشكل أفضل من البيانات التي تأتي في تسلسلات، مثل بيانات السلاسل الزمنية واللغة الطبيعية.
يمكن تدريب LSTMs على القياس عن بُعد لتحديد سلوك النظام الطبيعي والتنبؤ بحالات النظام المستقبلية. إذا انحرفت البيانات الفعلية بشكل كبير عن التوقعات، تتلقى الفرق تنبيهًا لإخطارها باحتمال حدوث اختراق أمني أو فشل في الشبكة أو تدهور النظام.
هندسة الفوضى
هندسة الفوضى هي عملية يتسبب فيها المطورون عمدًا في حدوث إخفاقات في بيئة الإنتاج أو ما قبل الإنتاج لفهم تأثيرها في النظام. تعمل محاكاة الاضطرابات (مثل أعطال الشبكة أو أعطال الخادم أو زيادة حركة المرور) على تمكين مهندسي قابلية الملاحظة من تحديد نقاط الضعف في النظام. كما تساعدهم على تحسين وضعهم الدفاعي واستراتيجية الاستجابة للحوادث وضمان قدرة النظام على تحمُّل الأحداث غير المتوقعة.
- اكتشاف الحالات الشاذة واكتشاف الأخطاء وإصلاحها بشكل أفضل. تساعد هندسة قابلية الملاحظة الفِرَق على اكتشاف النشاط غير المعتاد بسرعة، لاستكشاف الأخطاء وإصلاحها وتصحيحها بشكل أسرع وأكثر شمولًا.
- تسريع متوسط زمن الإصلاح (MTTR). تمكِّن هندسة قابلية الملاحظة فِرَق التطوير من اكتشاف المشكلات وحلها بسرعة، ما يقلل بشكل كبير من MTTR.
- صناعة القرار القائمة على البيانات. يمكن أن تؤدي الرؤى القابلة للتنفيذ التي توفِّرها أدوات قابلية الملاحظة للفِرَق إلى تمكين الفِرَق من اتخاذ قرارات أكثر ذكاءً بشأن بنية النظام وإدارة الموارد وضبط الأداء.
- تحسين تجارب المستخدمين. تساعد هندسة قابلية الملاحظة المطورين على تحديد فرص ترقية الميزات وتحسينها بشكل استباقي بحيث يتفاعل المستخدمون بسلاسة مع البرامج والشبكات.
- التحسين المستمر.من خلال هندسة قابلية الملاحظة، تحصل فِرَق عمليات التطوير على فهم شامل ومتعمق لكيفية أداء التعليمات البرمجية الخاصة بهم في الإنتاج، ما يساعد على تسريع تحديد الأخطاء وتسهيل التحسين المستمر.
الموارد
تمكَّن من تحديد مصدر المشكلة وإصلاحه سريعًا. حيث توفِّر البيانات عالية الدقة في الوقت الفعلي رؤية شاملة لبيئات التطبيقات والبنية التحتية الديناميكية.
تمكَّن من رفع مستوى أتمتة وتشغيل تكنولوجيا المعلومات باستخدام الذكاء الاصطناعي التوليدي، مع ضمان توافق كل جانب من جوانب البنية التحتية لتكنولوجيا المعلومات مع أولويات الأعمال.
IBM SevOne Network Performance Management هو برنامج مراقبة وتحليلات يوفر رؤية ومعارف في الوقت الفعلي للشبكات المعقدة.
الحواشي السفلية:
1 Kumar, S., & Singh, R. (2024). Don't blame the user: Toward means for usable and practical authentication. Communications of the ACM, 67(4), 78–85. https://doi.org/10.1145/3706599.3719914.
2 Datadog. (n.d.). What Is LLM Observability & Monitoring?. Retrieved May 19, 2025, from https://www.datadoghq.com/knowledge center/llm-observability/.
3 LLM-observability, GitHub. Retrieved May 19, 2025, from https://github.com/DataDog/llm-observability, Datadog. (n.d.).
4 Dong, L., Lu, Q., & Zhu, L. (2024). AgentOps: Enabling Observability of LLM Agents. arXiv. https://arxiv.org/abs/2411.05285.
5 LangChain. (n.d.). Datadog LLM Observability - LangChain, Langsmith .js. Retrieved May 19, 2025, from https://js.langchain.com/docs/integrations/callbacks/datadog_tracer/.
6 Optimizing LLM Accuracy, Retrieved May 19, 2025, from https://platform.openai.com/docs/guides/optimizing-llm-accuracy.
7 IBM Instana Observability. Retrieved May 19, 2025, from https://www.ibm.com/ae-ar/products/instana.
8 Monitoring AI Agents. IBM Documentation. Retrieved May 19, 2025, from https://www.ibm.com/docs/en/instana-observability/1.0.290?topic=applications-monitoring-ai-agents.
9 Zhou, Y., Yang, Y., & Zhu, Q. (2023). LLMGuard: Preventing Prompt Injection Attacks on LLMs via Runtime Detection. arXiv preprint arXiv:2307.15043. https://arxiv.org/abs/2307.15043.
10 Vesely, K., & Lewis, M. (2024). Real-Time Monitoring and Diagnostics of Machine Learning Pipelines. Journal of Systems and Software, 185, 111136. https://doi.org/10.1016/j.jss.2023.111136