أحدث اتجاهات الذكاء الاصطناعي، يقدمها لك الخبراء
احصل على رؤى منسقة حول أهم أخبار الذكاء الاصطناعي وأكثرها إثارةً للاهتمام. اشترِك في خدمة رسائل Think الإخبارية الأسبوعية. راجع بيان الخصوصية لشركة IBM.
ما هو AI TRiSM؟
تاريخ النشر 17 يونيو 2025
تاريخ التحديث 26 فبراير 2026
إدارة الثقة والمخاطر والأمن في الذكاء الاصطناعي (AI) أو AI TRiSM، "تضمن حوكمة نماذج الذكاء الاصطناعي، وجدارتها بالثقة، وإنصافها، وموثوقيتها، وقوتها، وفعاليتها، وحماية البيانات. يتضمن ذلك حلولًا وتقنيات لتفسير النماذج وقابليتها للشرح، وحماية بيانات الذكاء الاصطناعي، وعمليات النماذج، ومقاومة الهجمات العدائية."1
وقد طورته شركة Gartner للأبحاث والاستشارات، حيث يوفر حلولاً استباقية لتحديد هذه المخاطر والحد منها، بما يضمن الموثوقية والجدارة بالثقة والأمن.".2
وفقًا للباحثين، على الرغم من أن العديد من الأطر المنفصلة تركز بشكل خاص على ثقة الذكاء الاصطناعي أو مخاطر الذكاء الاصطناعي أو أمان الذكاء الاصطناعي، إلا أنه من الصعب دمجها ومزامنتها. يمكن أن يؤدي هذا النقص في التنسيق إلى إدارة مجزأة للذكاء الاصطناعي. كما يمكن أن يؤدي إلى فجوات معرفية فيما يتعلق بالمخاطر والعواقب الأمنية الناجمة عن تطبيق الذكاء الاصطناعي وممارسات الذكاء الاصطناعي.
ومع ذلك، يوفر إطار العمل AI TRiSM نهجًا موحدًا. فهو يجمع بين الأجزاء المهمة من الأطر المختلفة لإدارة أكثر شمولاً لتقنيات الذكاء الاصطناعي.
يرى مؤيدو إطار عمل AI TRiSM أنه مهم للتخفيف من المخاطر والتهديدات السيبرانية المتعلقة بتقدم الذكاء الاصطناعي التوليدي (gen AI) واستخدامه المتزايد، مثل النماذج اللغوية الكبيرة (LLMs). يمكن أن يؤدي استخدام الذكاء الاصطناعي التوليدي إلى زيادة أسطح الهجوم للمؤسسات، وتمكين هجمات إلكترونية أكثر تعقيدًا من قبل المتسللين، وإثارة اعتبارات أخلاقية جديدة. فوائد تطبيقات AI TRiSM في مجالات مثل الرعاية الصحية والتمويل تشمل تخفيف المخاطر، وتعزيز إجراءات مراقبة النماذج، وضمانات ضد الهجمات العدائية والوصول غير المصرح به.3
وفقًا لشركة Gartner، "تضمن إدارة الثقة والمخاطر والأمن في الذكاء الاصطناعي (AI TRiSM) ما يلي:
- الحوكمة
- الجدارة بالثقة
- الإنصاف
- الموثوقية
- حماية البيانات في عمليات نشر الذكاء الاصطناعي"4
حوكمة الذكاء الاصطناعي
حوكمة الذكاء الاصطناعي تشير إلى العمليات والمعايير وحواجز الحماية التي تساعد على ضمان أن تكون أنظمة الذكاء الاصطناعي وأدواته آمنة وأخلاقية. تتضمن حوكمة الذكاء الاصطناعي الفعالة إدارة المخاطر—مع آليات لمعالجة التحيزات المحتملة وانتهاكات خصوصية البيانات وغيرها من المخاوف —مع بناء الثقة ودعم الابتكار.
يتضمن ذلك المراقبة والتقييم المستمرين لأنظمة الذكاء الاصطناعي لضمان امتثالها للمعايير الأخلاقية واللوائح القانونية المعمول بها. تتضمن حوكمة الذكاء الاصطناعي إدارة البيانات، وهي منهجية لإدارة البيانات مصممة للحفاظ على بيانات آمنة وعالية الجودة يسهل الوصول إليها لمبادرات اكتشاف البيانات وذكاء الأعمال.
الجدارة بالثقة
تؤكد المؤسسات والأطر المختلفة على مبادئ توجيهية وأهداف متنوعة لتحديد جدارة أنظمة الذكاء الاصطناعي بالثقة. تشمل مبادئ الذكاء الاصطناعي الجديرة بالثقة التي يتم الاستشهاد بها بشكل متكرر المساءلة وقابلية الشرح وقابلية التفسير.
عندما يواجه مستخدمو نماذج الذكاء الاصطناعي وغيرهم من الأطراف المعنية صعوبة في فهم كيفية عمل النموذج، فإن ذلك يمكن أن يعيق ثقتهم في نظام الذكاء الاصطناعي. يمكن للعمليات والمنهجيات الصحيحة أن تساعد المستخدمين على فهم وثقة عمليات صنع القرار ومخرجات نماذج التعلم الآلي.
العدالة
تتضمن العدالة غالبًا تخفيف أو إزالة التحيز في نماذج الذكاء الاصطناعي والبيانات خلال دورة حياة تطوير الذكاء الاصطناعي. نماذج الذكاء الاصطناعي تمتص تحيزات المجتمع التي يمكن تضمينها في بياناتها التدريبية. يمكن أن يؤدي جمع البيانات المتحيز الذي يعكس عدم المساواة المجتمعية إلى إلحاق الضرر بالمجموعات المهمشة تاريخياً في تقييم الجدارة الائتمانية والتوظيف ومجالات أخرى.
يتطلب تحديد التحيز ومعالجته في الذكاء الاصطناعي القدرة على توجيه وإدارة ومراقبة أنشطة الذكاء الاصطناعي للمؤسسة. يمكن تحقيق ذلك من خلال حوكمة الذكاء الاصطناعي—وتحديداً، وضع سياسات وممارسات لتوجيه تطوير الذكاء الاصطناعي المسؤول واستخدام تقنيات الذكاء الاصطناعي.
الموثوقية
تشير الموثوقية عمومًا إلى قدرة شيء ما على العمل كما هو متوقع أو مطلوب لفترة معينة في ظل ظروف معينة. فيما يتعلق بأنظمة الذكاء الاصطناعي، فإن تلبية توقعات الأداء يتضمن توفير مخرجات صحيحة لمدة قد تمتد طوال عمر النظام.5
حماية البيانات
حماية البيانات هي عملية حماية البيانات الحساسة من الفقدان والتلف. تهدف حماية البيانات إلى الحفاظ على توافر البيانات، مما يضمن قدرة المستخدمين على الوصول إلى البيانات لأغراض العمليات، حتى في حالة تلف البيانات أو فقدانها في حالة اختراق أمن البيانات أو هجوم برنامج ضار.
تشمل حماية البيانات أمن البيانات (حماية المعلومات الرقمية من الوصول غير المصرح به أو تلفها أو سرقتها) وخصوصية البيانات (المبدأ الذي ينص على أن الشخص يجب أن يكون لديه سيطرة على بياناته الشخصية). تعد حماية البيانات أمرًا أساسيًا للامتثال للأنظمة التنظيمية الرئيسية، مثل اللائحة الأوروبية العامة لحماية البيانات (GDPR).
تدعم كل من التقنيات التقليدية والحلول الأحدث الخاصة بالذكاء الاصطناعي، مفهوم إدارة الثقة والمخاطر والأمن في الذكاء الاصطناعي (AI TRiSM). وتشمل الفئة الأولى أدوات توفيرإدارة الهوية والوصول (IAM) وحلولإدارة الوضع الأمني للبيانات.
وتدعم تقنيات تقليدية وتقنيات أحدث مخصصة للذكاء الاصطناعي مفهوم إدارة الثقة والمخاطر والأمن في الذكاء الاصطناعي (AI TRiSM). يركز بعضها على وظائف محددة، مثل الأمن أو الامتثال. بينما يقدم بعضها الآخر منتجات أكثر شمولاً تضم مجموعة واسعة من القدرات، منها:
حوكمة الذكاء الاصطناعي
حماية بيانات الذكاء الاصطناعي وتصنيفها
فحص بيئة تشغيل الذكاء الاصطناعي وفرض السياسات فيها (انظر المعلومات الإضافية في القسم التالي)
ووفقاً لإرشادات إضافية أصدرتها Gartner في فبراير 2025، ينبغي أن تتضمن حلول إدارة الثقة والمخاطر والأمن في الذكاء الاصطناعي (AI TRiSM) ما يلي:7
كتالوج الذكاء الاصطناعي
جرداً لجميع كيانات الذكاء الاصطناعي المستخدمة داخل المؤسسة، مثل النماذج والوكلاء والتطبيقات بمختلف تكويناتها، بدءاً من الذكاء الاصطناعي المدمج في التطبيقات الجاهزة التابعة لجهات خارجية، مروراً بنماذج الذكاء الاصطناعي التي يجلبها المستخدمون بأنفسهم، ووصولاً إلى أنظمة التوليد المعزز بالاسترجاع- (RAG) والنماذج المطورة داخلياً
رسم خرائط بيانات الذكاء الاصطناعي
البيانات المستخدمة لتدريب نماذج الذكاء الاصطناعي أو ضبطها الدقيق، أو لتوفير السياق لاستفسارات المستخدمين في أنظمة التوليد المعزز بالاسترجاع، أو لتغذية الأنظمة الوكيلة المستندة إلى الذكاء الاصطناعي.
الضمانات والتقييم المستمر
آليات ضمان وتقييم مستمرة للأداء والموثوقية والأمن أو السلامة، إلى جانب التوقعات والمقاييس المستخدمة خطوطاً أساسية مرجعية. وتُطبق عمليات الضمان والتقييم قبل النشر وبعده (خارج النطاق التشغيلي المباشر).
فحص وقت التشغيل والإنفاذ
تطبيق الضوابط على النماذج والتطبيقات وتفاعلات الوكلاء الأذكياء لدعم التوافق التشغيلي مع سياسات الحوكمة المعتمدة في المؤسسة. فحص الاتصالات والعمليات ووسائل التواصل والمدخلات والمخرجات ذات الصلة للكشف عن أي انتهاكات للسياسات أو للسلوك المتوقع. إبراز الحالات الشاذة وحظرها أو معالجتها تلقائياً أو إحالتها إلى المختصين أو إلى أنظمة الاستجابة للحوادث للتحقيق والتقييم والاستجابة واتخاذ إجراءات المعالجة المناسبة.
هناك العديد من حالات الاستخدام لبرنامج AI TRiSM في نشر وإدارة الذكاء الاصطناعي للمؤسسات. ويشمل ذلك:
حماية بيانات الرعاية الصحية الحساسة
يستخدم المتخصصون في المجال الطبي بشكل متزايد أدوات مدعومة بالذكاء الاصطناعي لمجموعة من الأغراض، بدءاً من الأتمتة إلى تحليل الصور. يمكن لبرنامج AI TRiSM المساعدة في حماية بيانات الرعاية الصحية المستخدمة في هذه الأنظمة من خروقات أمن البيانات. يمكن لتدابير مثل ضوابط الوصول، على سبيل المثال، أن تخفف من المخاطر المحتملة للوصول غير المصرح به.
تحسين تجربة العملاء في المعاملات المالية
عندما تُستخدم مجموعات بيانات تتضمن تحيزات ديموغرافية لتدريب خوارزميات الذكاء الاصطناعي، فقد تصبح النتائج متحيزة. وتُعد هذه المشكلة معروفة في القطاع المالي، حيث تؤثر في الموافقات على القروض وأسعار الفائدة وغير ذلك. وفي الدنمارك، طبقت ممارسات إدارة الثقة والمخاطر والأمن في الذكاء الاصطناعي (AI TRiSM) من خلال إجراء اختبارات للعدالة للتحقق من صحة تنبؤات نماذج الذكاء الاصطناعي التي تشرف على المعاملات المالية، مما عزز ثقة العملاء.8
منع الاحتيال المصرفي ودعم الامتثال التنظيمي
وإلى جانب تعزيز العدالة في المعاملات المالية، تساعد تدابير AI TRiSM على حماية أنظمة كشف الاحتيال في المؤسسات المالية من الهجمات الخصومية.9 كما تساعد هذه الحلول المدعومة بالذكاء الاصطناعي البنوك على الامتثال للمتطلبات القانونية المتعلقة بحماية المستهلك وحماية المعلومات الحساسة.
اقرأ التقرير الكامل هنا.
الموارد
يمكنك إدارة نماذج الذكاء الاصطناعي التوليدي من أي مكان ونشرها على السحابة أو محليًا باستخدام IBM watsonx.governance.
اكتشف كيف يمكن لحوكمة الذكاء الاصطناعي أن تساعد على زيادة ثقة موظفيك في الذكاء الاصطناعي وتسريع الاعتماد عليه وتعزيز الابتكار، بالإضافة إلى تحسين ثقة العملاء.
تمكَّن من الاستعداد لقانون الذكاء الاصطناعي في الاتحاد الأوروبي ووضع نهج حوكمة مسؤول للذكاء الاصطناعي بمساعدة IBM Consulting.
الحواشي
1 Gartner Glossary, AI TRiSM, https://www.gartner.com/en/information-technology/glossary/ai-trism. GARTNER هي علامة تجارية وعلامة خدمة مسجلة تابعة لشركة Gartner Inc. و/أو الشركات التابعة لها في الولايات المتحدة وخارجها وتُذكر في هذه الوثيقة بموجب تصريح. جميع الحقوق محفوظة.
2، 4 مقال Gartner، معالجة الثقة والمخاطر والأمن في نماذج الذكاء الاصطناعي، Avivah Litan، في 24 ديسمبر 2024، https://www.gartner.com/en/articles/ai-trust-and-ai-risk.
3, 8 “Artificial Intelligence Trust, Risk and Security Management (AI TRiSM): Frameworks, applications, challenges and future research directions.” Expert Systems with Applications. 15 April 2024.
5 "مخاطر الذكاء الاصطناعي والجدارة بالثقة." المعهد الوطني الأمريكي للمعايير والتقنية (NIST). تم الوصول إليه في 23 فبراير 2025.
6 إطار عمل Gartner لإدارة الحوكمة والثقة والمخاطر والأمن في الذكاء الاصطناعي. [ندوة عبر الإنترنت] Gartner. تم الوصول إليه في 28 يناير 2025، جدول الأعمال | إطار عمل Gartner لإدارة الحوكمة والثقة والمخاطر والأمن في الذكاء الاصطناعي
7 Gartner Article, Market Guide for AI Trust, Risk and Security Management, Avivah Litan, Max Goss, Sumit Agarwal, Jeremy D’Hoinne, Andrew Bales, Bart Willemsen. February 18, 2025. https://www.ibm.com/qa-ar/forms/mkt-53702
9 ”The Role of Artificial Intelligence in Modern Finance: Current Applications and Future Prospects.” Applied and Computational Engineering. December 2024.