تطرح أنظمة الذكاء الاصطناعي التوليدي عددًا من التحديات الأمنية الفريدة. إلى جانب التحدي المعتاد المتمثل في تأمين الوصول إلى نماذج الذكاء الاصطناعي التوليدي، يتعين على المؤسسات تحقيق توازن بين القدرة الإبداعية للنماذج اللغوية الكبيرة (LLMs) وغيرها من التقنيات التوليدية، وبين المخاطر المتمثلة في احتمال أن تنتج هذه النماذج مخرجات غير صحيحة أو غير مرغوب فيها، أو تفصح عن معلومات حساسة أو خاصة، أو تنفِّذ إجراءات غير مرغوب فيها أو غير صحيحة / غير مسموح بها / غير قانونية.
- التوليد المعزَّز بالاسترجاع (RAG)
- المحادثة بمساعدة وكيل برمجي
- البحث التوليدي
- الذكاء الاصطناعي الوكيل
- تلخيص الوثائق
- تحديث وتوليد التعليمات البرمجية
- توليد تعليمات برمجية لـ Ansible
- توليد تعليمات برمجية لـ Z
- تطوير البرامج المعزَّزة بالذكاء الاصطناعي باستخدام الوكيل البرمجي
نشر Open Web Application Security Project (OWASP) الإصدار الأول من أهم 10 مخاطر وثغرات أمنية تخص تطبيقات النماذج اللغوية الكبيرة والذكاء الاصطناعي التوليدي. يوضِّح المخطط أدناه هذه الثغرات الأمنية في سياق بنية الذكاء الاصطناعي الوكيل.
- يحدث حقن المطالبات عندما يتمكن مهاجم من إدخال محتوى ضار في المطالبات الموجَّهة إلى النموذج اللغوي الكبير. وقد يتراوح هذا المحتوى بين مطالبات أو تعليمات مضمَّنة داخل مطالبة أكبر، أو روابط لمحتوى سيقوم النموذج اللغوي الكبير بقراءته (مثل: "اقرأ النص الموجود في عنوان URL التالي وحلله...")، أو وسائل أخرى. يمكن أن يمكِّن حقن المطالبات المهاجم من التلاعب بالنموذج لدفعه إلى تجاهل التعليمات و/أو تقديم مخرجات غير مرغوب فيها أو غير صحيحة.
- تحدث المعالجة غير الآمنة للمخرجات عندما لا يتم التحقق من مخرجات النموذج اللغوي الكبير بشكل كافٍ لاحتمال احتوائها على محتوى ضار أو نوايا خبيثة. ومن الأمثلة على هذا النوع من الثغرات الأمنية أن يُطلب من النموذج اللغوي الكبير إنشاء كود Javascript يتم تمريره إلى متصفح المستخدم لتنفيذه، وكذلك التنفيذ المباشر للبرامج النصية shell أو غيرها من أكواد "النظام" التي يتم إنشاؤها بواسطة النموذج اللغوي الكبير.
- يحدث تسمم البيانات في التدريب عندما يتمكن مهاجم من تعديل أو التلاعب ببيانات تدريب النموذج و/أو بيانات تكوينه بهدف إدخال ثغرات أمنية في النموذج. فعلى سبيل المثال، قد يعدِّل مهاجم وصف عملية أعمال للسماح بتحويلات مالية غير محدودة إلى شخص معين؛ أو قد يعدِّل منافس بيانات الضبط الدقيق بحيث يوصي النموذج بمنتجاته بدلًا من منتجات المؤسسة.
- يحدث حجب خدمة النموذج عندما يتمكن مهاجم من التلاعب بالنموذج ليستهلك قدرًا كبيرًا من الموارد، ما يؤدي إلى ضعف الأداء أو عدم توفُّر النموذج للمستخدمين الآخرين. ومن أمثلة حجب الخدمة على مستوى النموذج إرسال مطالبات بشكل متكرر تكون أقل بقليل من حجم نافذة السياق الخاصة بالنموذج، ما يستهلك كميات كبيرة من الذاكرة؛ وكذلك إرسال مطالبات تدفع النموذج إلى توسيع ومعالجة نافذة السياق بشكل تكراري (حلقة لا نهائية).
- تُشير الثغرات الأمنية في سلسلة التوريد إلى كلٍ من الثغرات الأمنية المعتادة المرتبطة باستخدام برامج من جهات خارجية قد تحتوي على ثغرات أمنية غير معروفة يمكن أن يستغلها مهاجم، وكذلك الثغرات الأمنية الناتجة عن استخدام النماذج لبيانات غير موثَّقة و/أو بيانات جماعية المصدر في عملية تدريبها.
- يحدث الكشف عن البيانات الحساسة عندما يكشف النموذج معلومات حساسة أو شخصية. وقد يحدث ذلك نتيجة هجوم ناجح من نوع حقن المطالبات، أو بسبب التعامل غير الآمن مع مخرجات أنظمة المؤسسة، أو من خلال مطالبات خبيثة تتلاعب بالنموذج لدفعه إلى إنتاج مخرجات حساسة، مثل أرقام بطاقات ائتمان صالحة.
- يحدث التصميم غير الآمن للمكونات الإضافية عندما لا يتم تصميم الأدوات التي تستدعيها النماذج مباشرةً بشكل آمن؛ مثل الأدوات التي تعمل بحساب إداري، أو الأدوات التي تُتيح تنفيذ حقن المطالبات من خلال مخرجاتها.
- تحدث الوكالة المفرطة عندما يمتلك النموذج أو الوكيل المستقل القدرة على تنفيذ إجراءات ضارة أو غير مصرح بها استجابةً لمخرجات غير متوقعة أو ملتبسة من النموذج اللغوي الكبير.
- يحدث الإفراط في الاعتماد عندما لا يتم التحقق من صحة مخرجات النموذج مقارنةً بالمصادر الواقعية أو ضوابط الإجراءات. وأكثر أمثلة الاعتماد المفرط شيوعًا هو عندما يهلوس النموذج ويتم قبول المخرجات غير الصحيحة على أنها حقائق، مثل قيام روبوت المحادثة بتقديم إجابة غير صحيحة لعميل حول سياسة الإرجاع في متجر، إلا إن الاعتماد المفرط قد يحدث أيضًا مع الكود أو الصور التي يُنشئها النموذج.
- تحدث سرقة النموذج عندما يتمكن مهاجم من اختراق نموذج أو سرقته فعليًا أو نسخه، بما في ذلك أوزانه و/أو معاملاته. وبمجرد امتلاك النموذج، يمكن للمهاجم الاستفادة من الملكية الفكرية القيّمة المضمَّنة فيه، أو إنشاء نسخة مكررة من النموذج لاستخدامه الخاص.
يوضِّح الشكل أدناه البنية بعد تعزيزها لإظهار مواضع عناصر الأمن المستخدمة للحماية من الثغرات الأمنية الواردة في قائمة OWASP Top 10 أو الحد منها.
تتم إضافة مكون إدارة الهوية والوصول (IAM) لتوفير هويات مستخدمين قوية وأدوار واضحة؛ ما يَحُدّ من مخاطر سرقة النماذج من خلال التحكم في الوصول إلى وظائف التطبيق وواجهات برمجة التطبيقات التي قد تؤدي إلى سرقة النموذج أو الكشف عنه.
كما تتم إضافة التحكم في هوية الوكيل وإمكانية وصوله (التحكم في وصول الوكلاء)، والذي يعمل بطريقة مشابهة للمستخدم ذي الامتيازات، لمواءمة صلاحيات وصول الوكيل مع هويات المستخدمين وأدوارهم؛ بما يساعد على الحماية من الوكالة المفرطة والإجراءات غير الطبيعية التي قد يقوم بها الوكيل نتيجة الهلوسة أو المطالبات غير المكتوبة جيدًا أو الغامضة.
تتم إضافة عناصر مراقبة الذكاء الاصطناعي التوليدي (GenAI Monitoring) عبر مختلف أجزاء البنية للحماية من هجمات حقن المطالبات، والتعامل غير الآمن مع المخرجات، وكشف البيانات الحساسة، والاعتماد المفرط. كما يتم نشر مزيج من مراقبة الذكاء الاصطناعي التوليدي وآليات مراقبة تسرُّب البيانات التقليدية للحماية من الهجمات المعتمدة على المطالبات أو الاستجابات، مثل إدخال مطالبة خبيثة ضمن نتائج استعلام SQL، وكذلك لمنع الكشف عن المعلومات الحساسة التي قد تظهر في نتائج استدعاءات واجهات برمجة التطبيقات أو استعلامات قواعد البيانات وما شابه ذلك.
يتم الحد من هجمات تسميم بيانات التدريب من خلال إضافة أدوات إدارة التكوين والمراقبة، إلى جانب عملية منظمة للتحكم في الإصدارات والإصدارات المرتبطة بتدريب النماذج والضبط الدقيق وبيانات التكوين.
وأخيرًا، تتم إضافة عنصر مراقبة السلوك المتكامل وربط الأحداث لتحديد الثغرات الأمنية والهجمات المحتملة استنادًا إلى سجلات العناصر الفردية. كما تتم إضافة عنصر الإشعار والتنبيه لإخطار مشغِّلي النظام بالمشكلات المحتملة، وإضافة مكون تنسيق الاستجابة لأتمتة و/أو تنسيق استجابات النظام والاستجابات اليدوية للمشكلات التي يتم تحديدها.