ما هو AI TRiSM؟

إدارة الثقة والمخاطر والأمن في الذكاء الاصطناعي (AI) أو AI TRiSM، "تضمن حوكمة نماذج الذكاء الاصطناعي، وجدارتها بالثقة، وإنصافها، وموثوقيتها، وقوتها، وفعاليتها، وحماية البيانات. يتضمن ذلك حلولًا وتقنيات لتفسير النماذج وقابليتها للشرح، وحماية بيانات الذكاء الاصطناعي، وعمليات النماذج، ومقاومة الهجمات العدائية."¹
 

 تم تطويره من قبل شركة الأبحاث والاستشارات ®Gartner، و "يوفر حلولًا استباقية لتحديد هذه المخاطر والتخفيف من حدتها، مما يضمن الموثوقية والجدارة بالثقة والأمان".²

وفقًا للباحثين، على الرغم من أن العديد من الأطر المنفصلة تركز بشكل خاص على ثقة الذكاء الاصطناعي أو مخاطر الذكاء الاصطناعي أو أمان الذكاء الاصطناعي، إلا أنه من الصعب دمجها ومزامنتها. يمكن أن يؤدي هذا النقص في التنسيق إلى إدارة مجزأة للذكاء الاصطناعي. كما يمكن أن يؤدي إلى فجوات معرفية فيما يتعلق بالمخاطر والعواقب الأمنية الناجمة عن تطبيق الذكاء الاصطناعي وممارسات الذكاء الاصطناعي.

ومع ذلك، يوفر إطار العمل AI TRiSM نهجًا موحدًا. فهو يجمع بين الأجزاء المهمة من الأطر المختلفة لإدارة أكثر شمولاً لتقنيات الذكاء الاصطناعي.

يرى مؤيدو إطار عمل AI TRiSM أنه مهم للتخفيف من المخاطر والتهديدات السيبرانية المتعلقة بتقدم الذكاء الاصطناعي التوليدي (gen AI) واستخدامه المتزايد، مثل النماذج اللغوية الكبيرة (LLMs). يمكن أن يؤدي استخدام الذكاء الاصطناعي التوليدي إلى زيادة أسطح الهجوم للمؤسسات، وتمكين هجمات إلكترونية أكثر تعقيدًا من قبل المتسللين، وإثارة اعتبارات أخلاقية جديدة. فوائد تطبيقات AI TRiSM في مجالات مثل الرعاية الصحية والتمويل تشمل تخفيف المخاطر، وتعزيز إجراءات مراقبة النماذج، وضمانات ضد الهجمات العدائية والوصول غير المصرح به.³

وفقًا لشركة Gartner، "تضمن إدارة الثقة والمخاطر والأمن في الذكاء الاصطناعي (AI TRiSM) ما يلي:

• الحوكمة
• الجدارة بالثقة
• الإنصاف
• الموثوقية
• حماية البيانات في عمليات نشر الذكاء الاصطناعي"⁴

حوكمة الذكاء الاصطناعي تشير إلى العمليات والمعايير وحواجز الحماية التي تساعد على ضمان أن تكون أنظمة الذكاء الاصطناعي وأدواته آمنة وأخلاقية. تتضمن حوكمة الذكاء الاصطناعي الفعالة إدارة المخاطر—مع آليات لمعالجة التحيزات المحتملة وانتهاكات خصوصية البيانات وغيرها من المخاوف —مع بناء الثقة ودعم الابتكار.

يتضمن ذلك المراقبة والتقييم المستمرين لأنظمة الذكاء الاصطناعي لضمان امتثالها للمعايير الأخلاقية واللوائح القانونية المعمول بها. تتضمن حوكمة الذكاء الاصطناعي إدارة البيانات، وهي منهجية لإدارة البيانات مصممة للحفاظ على بيانات آمنة وعالية الجودة يسهل الوصول إليها لمبادرات اكتشاف البيانات وذكاء الأعمال.

تؤكد المؤسسات والأطر المختلفة على مبادئ توجيهية وأهداف متنوعة لتحديد جدارة أنظمة الذكاء الاصطناعي بالثقة. تشمل مبادئ الذكاء الاصطناعي الجديرة بالثقة التي يتم الاستشهاد بها بشكل متكرر المساءلة وقابلية الشرح وقابلية التفسير.

عندما يواجه مستخدمو نماذج الذكاء الاصطناعي وغيرهم من الأطراف المعنية صعوبة في فهم كيفية عمل النموذج، فإن ذلك يمكن أن يعيق ثقتهم في نظام الذكاء الاصطناعي. يمكن للعمليات والمنهجيات الصحيحة أن تساعد المستخدمين على فهم وثقة عمليات صنع القرار ومخرجات نماذج التعلم الآلي.

تتضمن العدالة غالبًا تخفيف أو إزالة التحيز في نماذج الذكاء الاصطناعي والبيانات خلال دورة حياة تطوير الذكاء الاصطناعي. نماذج الذكاء الاصطناعي تمتص تحيزات المجتمع التي يمكن تضمينها في بياناتها التدريبية. يمكن أن يؤدي جمع البيانات المتحيز الذي يعكس عدم المساواة المجتمعية إلى إلحاق الضرر بالمجموعات المهمشة تاريخياً في تقييم الجدارة الائتمانية والتوظيف ومجالات أخرى.

يتطلب تحديد التحيز ومعالجته في الذكاء الاصطناعي القدرة على توجيه وإدارة ومراقبة أنشطة الذكاء الاصطناعي للمؤسسة. يمكن تحقيق ذلك من خلال حوكمة الذكاء الاصطناعي—وتحديداً، وضع سياسات وممارسات لتوجيه تطوير الذكاء الاصطناعي المسؤول واستخدام تقنيات الذكاء الاصطناعي.

تشير الموثوقية عمومًا إلى قدرة شيء ما على العمل كما هو متوقع أو مطلوب لفترة معينة في ظل ظروف معينة. فيما يتعلق بأنظمة الذكاء الاصطناعي، فإن تلبية توقعات الأداء يتضمن توفير مخرجات صحيحة لمدة قد تمتد طوال عمر النظام.⁵

حماية البيانات هي عملية حماية البيانات الحساسة من الفقدان والتلف. تهدف حماية البيانات إلى الحفاظ على توافر البيانات، مما يضمن قدرة المستخدمين على الوصول إلى البيانات لأغراض العمليات، حتى في حالة تلف البيانات أو فقدانها في حالة اختراق أمن البيانات أو هجوم برنامج ضار.

تشمل حماية البيانات أمن البيانات (حماية المعلومات الرقمية من الوصول غير المصرح به أو تلفها أو سرقتها) وخصوصية البيانات (المبدأ الذي ينص على أن الشخص يجب أن يكون لديه سيطرة على بياناته الشخصية). تعد حماية البيانات أمرًا أساسيًا للامتثال للأنظمة التنظيمية الرئيسية، مثل اللائحة الأوروبية العامة لحماية البيانات (GDPR).

تدعم كل من التقنيات التقليدية والحلول الأحدث الخاصة بالذكاء الاصطناعي، مفهوم إدارة الثقة والمخاطر والأمن في الذكاء الاصطناعي (AI TRiSM). يتضمن الأول أدوات لتوفير إدارة الهوية والوصول (IAM) وحلول لإدارة الوضع الأمني للبيانات.

تختلف التقنيات الخاصة بـ AI TRiSM حسب مزود الخدمة. يركز البعض على وظائف معينة، مثل الأمان أو الامتثال. يقدم البعض الآخر منتجات أكثر شمولاً مع مجموعة من الإمكانات لحوكمة الذكاء الاصطناعي وفحص وقت تشغيل الذكاء الاصطناعي وتطبيقه:

يمكن لبرامج حوكمة الذكاء الاصطناعي تمكين الشركات من تسجيل ومراقبة معلومات النموذج تلقائيًا، بما في ذلك أنشطة تطوير الذكاء الاصطناعي، لدعم عمليات التدقيق؛ وإجراء تقييمات مخاطر النموذج؛ وتقييم أداء النموذج ومنع إنشاء محتوى ضار؛ وإدارة الامتثال التنظيمي. بينما تقتصر بعض أدوات الحوكمة على نماذج الذكاء الاصطناعي التي يتم إنشاؤها داخل المؤسسة، يمكن تطبيق أدوات أخرى على النماذج التي يتم إنشاؤها على منصات خارجية، مثل Amazon Bedrock و Microsoft Azure.

وفقًا لندوة Gartner على الإنترنت، تشمل وظائف فحص وقت تشغيل الذكاء الاصطناعي وتطبيقه نماذج الذكاء الاصطناعي وتطبيقات الذكاء الاصطناعي ووكلاء الذكاء الاصطناعي. تُوفر نماذج الذكاء الاصطناعي وتطبيقاته ووكلاء الذكاء الاصطناعي "الامتثال للضوابط الداخلية والخارجية"، وتُوفر تطبيقات الذكاء الاصطناعي "التحكم في الوصول القائم على السياق والتصنيف الديناميكي للبيانات السياقية."⁶

هناك العديد من حالات الاستخدام لبرنامج AI TRiSM في نشر وإدارة الذكاء الاصطناعي للمؤسسات. ويشمل ذلك:

يستخدم المتخصصون في المجال الطبي بشكل متزايد أدوات مدعومة بالذكاء الاصطناعي لمجموعة من الأغراض، بدءاً من الأتمتة إلى تحليل الصور. يمكن لبرنامج AI TRiSM المساعدة في حماية بيانات الرعاية الصحية المستخدمة في هذه الأنظمة من خروقات أمن البيانات. يمكن لتدابير مثل ضوابط الوصول، على سبيل المثال، أن تخفف من المخاطر المحتملة للوصول غير المصرح به.

عندما يتم استخدام مجموعات البيانات التي تحتوي على تحيزات ديموغرافية لتدريب خوارزميات الذكاء الاصطناعي، يمكن أن تكون النتائج متحيزة. كانت هذه مشكلة معروفة في القطاع المالي، مما أثر على موافقات القروض ورسوم أسعار الفائدة والمزيد. وفي الدنمارك، طبقت رابطة الأعمال الدنماركية ممارسات الذكاء الاصطناعي في مجال تكنولوجيا المعلومات والاتصالات من خلال إجراء اختبارات عدالة للتحقق من صحة تنبؤات نماذج الذكاء الاصطناعي التي تشرف على المعاملات المالية، مما يزيد من ثقة العملاء.⁷

بالإضافة إلى ضمان قدر أكبر من العدالة في المعاملات المالية، يمكن أن تساعد تدابير AI TRiSM في حماية أنظمة الكشف عن الغش في المؤسسات المالية من الهجمات العدائية.⁸ كما تساعد حلول الذكاء الاصطناعي هذه البنوك على الامتثال للمتطلبات القانونية المتعلقة بحماية المستهلك وحماية المعلومات الحساسة.