ما هو أمن وكيل الذكاء الاصطناعي؟

الوكلاء هم أنظمة الذكاء الاصطناعي المصممة للعمل بشكل مستقل من خلال التخطيط واتخاذ القرارات واستدعاء الأدوات الخارجية. ومن المهم للغاية حماية الوكلاء من كلٍ من الهجمات الإلكترونية الخارجية والإجراءات غير المقصودة التي يتخذها الوكلاء. ونظرًا لأن الذكاء الاصطناعي الوكيل هو مجال سريع التطور، فإن مشهد التهديدات يتطور في الوقت الفعلي جنبًا إلى جنب مع التقنية. 

من السمات المميزة لوكلاء الذكاء الاصطناعي هي قدرتهم على إجراء استدعاء الأدوات، حيث يتصلون بواجهة برمجة التطبيقات أو قاعدة بيانات أو موقع ويب أو أداة أخرى ويستخدمونها عند الحاجة. عادة ما يتم تنسيق استدعاء الأدوات من خلال أُطُر عمل وكلاء الذكاء الاصطناعي وواجهات برمجة التطبيقات. 

من الناحية النظرية، يستخدم الوكلاء أدوات لزيادة قدراتهم الخاصة في تخطيط المهام المعقدة وإكمالها. على سبيل المثال، يمكن لوكيل خدمة العملاء التفاعل مع أحد العملاء، ثم الاتصال بقاعدة بيانات داخلية للوصول إلى سجل تسوق هذا العميل. 

تأخذ الأنظمة متعددة الوكلاء الأمور خطوة أخرى إلى الأمام من خلال الجمع بين العديد من الوكلاء لتفويض المهام المعقدة إلى أجزاء أصغر. يدير وكيل التخطيط المركزي سير العمل الوكيل بينما يكمل وكلاء العمال الأجزاء المعينة لهم من المهمة. 

تتحد عملية اتخاذ القرار بواسطة الذكاء الاصطناعي المستقل مع استدعاء الأدوات لتقديم سطح هجوم مزدوج واسع النطاق. يمكن للقراصنة التلاعب بسلوك الوكيل والتسبب في إساءة استخدام الأدوات، أو مهاجمة الأداة نفسه من خلال متجهات أكثر تقليدية مثل حقن SQL. يسعى تأمين وكيل الذكاء الاصطناعي إلى حماية أنظمة الذكاء الاصطناعي الوكيل من كلا النوعين من التهديدات. 

توفر أنظمة الذكاء الاصطناعي الوكيل نطاقًا أكبر من الثغرات الأمنية عند مقارنتها بنماذج الذكاء الاصطناعي المستقلة، مثل نماذج اللغات الكبيرة (LLMs)، أو تطبيقات البرامج التقليدية. حتى دون وجود مهاجم، يمكن للوكلاء أنفسهم أن يمثلوا مخاطر أمنية عندما لا تتم إدارتها وصيانتها بشكل صحيح باستخدام حواجز حماية وأذونات وعناصر واضحة للتحكم في الوصول. 

يغطي مشهد تهديدات وكيل الذكاء الاصطناعي ما يلي: 

• سطح الهجوم الموسع

• الإجراءات الذاتية بسرعة 

• استدلال لا يمكن التنبؤ به 

• انعدام الشفافية

غالبًا ما يتم دمج الوكلاء في أنظمة أكبر تشمل واجهات برمجة التطبيقات وقواعد البيانات والأنظمة المستندة إلى السحابة وحتى وكلاء آخرين (أنظمة متعددة الوكلاء). يمثّل كل عنصر في النظام الوكيل مجموعته الخاصة من نقاط الضعف. ويتوفر لدى المهاجمين مجموعة من الأدوات والثغرات التي يمكنهم استغلالها لاستهداف نقاط الضعف المحتملة في سير العمل الوكيل.

تعني أتمتة الوكلاء أن الوكلاء يتصرفون دون تلقي تعليمات صريحة من مستخدم بشري. ويمكن للوكلاء التصرف بسرعة، مما قد يتيح لهم التواصل مع وكلاء آخرين يقومون أيضًا بنفس الشيء في نفس الوقت. يقدم كل من إجراءات ومخرجات الوكيل هذه فرصة هجوم ومتجه تضخيم في حالة نجاح المهاجم في اختراق وكيل أو نظام وكيل بأكمله.

الاستدلال هو العملية التي تعتمد عليها النماذج اللغوية الكبيرة (LLMs) ونماذج الذكاء الاصطناعي التوليدي الأخرى، بما في ذلك الوكلاء، في اتخاذ القرارات. فهم باختصار يستخدمون النمذجة الإحصائية "لاستنتاج" المخرجات الأكثر ترجيحًا لأي إدخال. ونظرًا لأن الاستدلال احتمالي، فلا يمكن التنبؤ بمخرجات النموذج بالكامل، مما يؤدي إلى عدم اليقين في سلوك الوكيل. 

وعلى هذا النحو، لا يمكن لمقدمي الأمن السيبراني توقع ما سيفعله الوكيل بشكل تام. يؤدي عدم القدرة على التنبؤ هذا إلى تعقيد طبيعة التخفيف من تهديدات الوكلاء مقارنةً بتقنيات الأمن السيبراني التقليدية.

العديد من نماذج الذكاء الاصطناعي، مثل نماذج GPT الخاصة بـ OpenAI ونماذج Claude الخاصة بـ Anthropic، ليست مصادر مفتوحة. لا يمكن "النظر داخل" النموذج ومعرفة كيفية اتخاذ قراراته. وحتى نماذج المصادر المفتوحة لا توفر الشفافية الكاملة؛ نظرًا للطبيعة المعقدة والمبهمة بطبيعتها لكيفية وصول النماذج إلى المخرجات. 

قد يواجه موظفو الأمن السيبراني الذين يعملون مع الأنظمة الوكلاء صعوبة في إجراء تحليل السبب الأساسي وصياغة خطط الاستجابة للحوادث .

إن الطبيعة المتعددة الجوانب لمشهد التهديدات الوكيلية تقدم مجموعة من الثغرات الأمنية التي يمكن للمهاجمين استغلالها. 

تتضمن ثغرات تأمين وكيل الذكاء الاصطناعي ما يلي: 

• الحقن الفوري 

• التلاعب بالأدوات وواجهات برمجة التطبيقات 

• تسميم البيانات 

• تسميم الذاكرة 

• تسوية الامتيازات 

• انتحال المصادقة والتحكم في الوصول 

• هجمات تنفيذ التعليمات البرمجية عن بعد (RCE) 

• الأعطال المتتالية وزيادة تحميل الموارد

يعد الحقن الفوري إحدى أخطر نقاط الضعف في أي نموذج لغوي كبير (LLM)، وليس فقط لوكلاء الذكاء الاصطناعي. ولكن مع الوكلاء، تتعاظم المخاطر لأن الوكلاء يمكنهم اتخاذ إجراءات مستقلة. في هجوم الحقن الفوري، يقوم المهاجم بتغذية LLM بمدخلات معادية تأمرها بالتصرف بطرق غير المقصودة. يمكن توجيه الوكيل لتجاهل إرشادات السلامة والأخلاق أو إرسال رسائل بريد إلكتروني للتصيد الاحتيالي أو تسريب البيانات أو أدوات إساءة الاستخدام. 

يؤدي هجوم حقن المطالبة غير المباشرة إلى إخفاء المطالبة الضارة في مصدر بيانات العميل بدلًا من إرسالها إلى النموذج بشكل مباشر. وعندما يقوم العميل باستدعاء مصدر البيانات، مثل موقع ويب خارجي، يتم نقل المطالبة الضارة إلى النموذج. ويكون الوكلاء متعددو الوسائط، القادرون على التعامل مع أنواع متعددة من البيانات، معرضين بشكل خاص لهذا النوع من الهجوم - فكل شكل من أشكال البيانات التي يمكن للوكيل معالجتها تصبح ناقل هجوم محتملًا.

وغالبًا ما يكون التلاعب بالأهداف واختطاف الوكلاء من النتائج المرغوبة لهجمات الحقن الفوري. من خلال التلاعب بالهدف، يقوم المهاجمون بتعديل الطريقة التي يتعامل بها الوكيل مع المهام ويتخذ القرارات عن طريق تغيير أهدافه أو عملية تفكيره. اختطاف الوكلاء هو هجوم يُجبر فيه المهاجم وكيلًا على تنفيذ إجراءات غير مقصودة، مثل الوصول إلى البيانات الحساسة. 

يشتهر الذكاء الاصطناعي الوكيل بقدرته على استخدام الأدوات والاتصال بواجهات برمجة التطبيقات. لكن هذه القدرة نفسها تشكل أيضًا نقطة ضعف. في كثير من الأحيان من خلال الحقن الفوري، إذ يخدع المهاجمون الوكيل لإساءة استخدام الأدوات التي يتصل بها. 

قد تؤدي إساءة استخدام الأداة إلى تسرب البيانات حيث يقوم الوكيل بسحب بيانات المستخدم الحساسة إلى المهاجم، أو الهجمات الموزعة لحجب الخدمة (DDoS) حيث يقوم الوكيل باستغلال اتصالاته الخارجية. في مثل هذا الهجوم، ينسق الوكيل سيلًا من طلبات الاتصال بالشبكة المستهدفة، مما يؤدي إلى زيادة تحميلها وإجبارها على إيقاف التشغيل.

تسمم البيانات هو إدخال بيانات ضارة في مجموعة بيانات تدريب الوكيل أو مصادر البيانات الخارجية. تحدد البيانات كيفية تعلم الوكيل وتصرفاته وأسباب ذلك. وقد يؤدي تلف بيانات التدريب أو إدخال البيانات إلى سلوك غير مقصود، مثل تسرب البيانات. 

على سبيل المثال، قد يقوم وكيل التعليمات البرمجية باستدعاء مكتبة تعليمات برمجية خارجية للرجوع إليها. التطفل غير المنظم - وهو مزيج من "الاستيلاء على البيانات غير السليمة" و"الاستيلاء على البيانات المطبعية" - يحدث عندما يقوم شخص ما عمدًا بتسجيل اسم مكتبة تعليمات برمجية مشابه لاسم مكتبة شرعية. القصد من ذلك هو أن يقوم النموذج بسحب مجموعة فرعية من التعليمات البرمجية عن طريق الخطأ من المكتبة المزيفة وإضافتها إلى التعليمات البرمجية التي تم إنشاؤها. 

إلى جانب إساءة استخدام الأدوات، فإن تسميم البيانات هو عنصر من عناصر استغلال سلسلة التوريد: حيث يتسلل المهاجم إلى النظام المحيط بوكيل الذكاء الاصطناعي ويفسده.

تسمم الذاكرة هو تلف الذاكرة المستمرة للوكيل: البيانات التي يحتفظ بها والتي تبقيه على اطلاع بما كان يفعله مؤخرًا. تهدف هجمات تسمم الذاكرة إلى تشكيل السلوك المستقبلي للوكيل عن طريق تغيير فهمه حول الإجراءات السابقة.

توجد لدى الوكيل الموجود في مركز سير العمل المؤتمت أذونات النظام التي تمكنه من الوصول إلى البيانات والأدوات التي يحتاجها في المهام الموكلة إليه. إذا لم تتم مراقبة الوكلاء، فقد يحتفظون أو يمنحون أذونات مفرطة تتجاوز ما يحتاجون إليه. 

إذا لم تتم إزالة هذه الامتيازات عندما لا يحتاج الوكيل إليها، فلن تضيف قيمة بعد الآن - لكنها لا تزال ناقل هجوم محتملًا. يمكن للمهاجمين استغلال أذونات الوكيل لإرسال الرسائل، وتنفيذ المعاملات، ومنح أنفسهم المزيد من الأذونات، وتغيير الأنظمة، وقراءة البيانات الحساسة وغيرها.

إذا تمكن المهاجمون من سرقة بيانات اعتماد الوكيل، فيمكنهم التظاهر بأنهم هؤلاء الوكلاء لاختراق الأنظمة التي يمكن للوكيل الوصول إليها. يمنح انتحال هوية الوكيل المهاجمين نفس الأذونات التي يمتلكها الوكيل - أي شيء يمكن للوكيل القيام به، يمكن للمستخدم غير المصرح له القيام به الآن أيضًا. 

تتضافر بروتوكولات المصادقة الضعيفة مع التعلم الآلي لإنتاج الحركة الجانبية السريعة: عندما يتحرك المهاجمون إلى عمق الشبكة بعد الاختراق الأوَّلي. تفتح الحركة الجانبية الباب أمام نقل غير مصرح للبيانات وهجمات التصيد الاحتيالي وتوزيع برامج ضارة وغير ذلك. يمكن للمهاجمين أيضًا تعديل الطريقة التي يتصرف بها الوكيل لتغيير تصرفاته المستقبلية.

تنفيذ التعليمات البرمجية عن بعد (RCE) هو نوع من الهجمات الإلكترونية يقوم فيه المهاجم بحقن تعليمات برمجية ضارة في نظام من موقع مختلف. باستخدام الوكلاء، يمكن للمهاجمين جعل الوكيل يقوم بتشغيل تعليمات برمجية ضارة تمنح المهاجم حق الوصول إلى بيئة تنفيذ التعليمات البرمجية. من بين الأمثلة الشائعة في العالم الحقيقي قيام مهاجم باستخراج بيانات اعتماد المستخدم من النظام المضيف للوكيل المخترق.

تؤدي كلٌ من الإخفاقات المتتالية والحمل الزائد للموارد إلى إرباك النظام الوكيل. في نظام متعدد الوكلاء، تحدث حالات إخفاق متتالية عندما يؤثر إخراج الوكيل المخترق سلبًا على الوكيل التالي في الشبكة حتى يتعطل النظام بأكمله. 

يشبه التحميل الزائد على الموارد الهجوم الموزع لحجب الخدمة (DDoS) ضد الوكيل: يثقل المهاجمون كاهل الوكيل بطلبات تتجاوز إنتاجيته، مما قد يؤدي إلى تعطيل وقت التشغيل تمامًا. ومن وجهة نظر المستخدم النهائي، يبدو أن التطبيق المدعوم من الوكيل معطل.

على الرغم من مشهد التهديدات الواسع والمتنوع، يمكن تأمين أنظمة الذكاء الاصطناعي الوكيل من خلال تدابير مضادة فعالة وحماية الذكاء الاصطناعي. يساعد اعتماد وضع أمني استباقي واتباع أفضل الممارسات لإدارة الثغرات الأمنية متخصصي التعلم الآلي والأمن السيبراني على تأمين وكلاء الذكاء الاصطناعي وسبق المجرمين الإلكترونيين بخطوة. 

تتضمن أفضل ممارسات أمان وكلاء الذكاء الاصطناعي ما يلي: 

• هندسة الثقة الصفرية 

• مبدأ الامتيازات الأقل 

• المصادقة المدركة للسياق

• تشفير البيانات 

• التجزئة الدقيقة 

• التعزيز الفوري 

• التحقق الفوري 

هندسة الثقة الصفرية (ZTA) هي نهج للأمن السيبراني يفترض أنه لا يوجد جهاز على الشبكة جدير بالثقة افتراضيًا. بدلًا من ذلك، يجب مصادقة كل طلب وصول إلى الشبكة وتفويضه قبل المتابعة. تساعد المراقبة المستمرة والمصادقة متعددة العوامل (MFA) على التصدي للتهديدات. 

تعامل مع الشبكة وكأنها موقع ويب ومع طلب الوصول وكأنه مستخدم لهذا الموقع. باستخدام هندسة الثقة الصفرية ZTA، لا يوجد خيار على شاشة تسجيل الدخول لتحديد مربع وجعل الموقع "يتذكرني في المرة القادمة". يجب على المستخدم إدخال كلمة المرور الخاصة به - وتلبية تحديات المصادقة متعددة العوامل الأخرى - في كل مرة يريد فيها تسجيل الدخول. 

من خلال اختيار "لا تثق أبدًا، تحقق دائمًا"، تقلل هندسة الثقة الصفرية (ZTA) من قدرة المهاجم على الحركة الجانبية، مما يقلل من سطح الهجوم ويوفر المزيد من الوقت للأمن للاستجابة.

ينص مبدأ "أقل الامتيازات" على أن كل جهاز أو وكيل في الشبكة ينبغي ألا تكون لديه سوى أقل الأذونات الممكنة اللازمة لمسؤولياته. فهو مبدأ يستوجب التعامل مع جميع الأشخاص والأشياء وفقًا للقاعدة الصارمة: "ما الحاجة إلى معرفة هذه المعلومة؟". التحكم في الوصول المبني على الأدوار (RBAC) والتحكم في الوصول المبني على السمات (ABAC) هما طريقتان للحفاظ على مستويات الصلاحيات وزيادة أمان البيانات.

تسمح المصادقة المدركة للسياق للوكلاء باسترداد البيانات فقط إذا سُم~ح للمستخدم بالوصول إليها. كما يمكن ضبط أذونات الوصول ديناميكيًا اعتمادًا على دور الوكيل أو الأذونات أو حتى الوقت من اليوم. 

وبالإضافة إلى تقليل الوصول إلى أدنى حد ممكن باستخدام مبدأ "أقل الامتيازات"، يمكن حماية البيانات بشكل أكبر من الوكلاء المخترقين من خلال التشفير. يجب تشفير البيانات أثناء النقل والتخزين باستخدام التشفير AES-256 أو ما شابه ذلك. كما يجب إخفاء هوية البيانات التي تحتوي على معلومات حساسة، مثل معلومات التعريف الشخصية (PII)، أيضًا لمزيد من الحماية للموظفين والعملاء.

التقسيم الدقيق هو ممارسة التصميم لتقسيم الشبكات والبيئات إلى قطاعات فردية. عندما يتمكن الوكلاء من تنفيذ التعليمات البرمجية، يجب عليهم القيام بذلك في بيئات آليات تحديد الوصول لمنع الحركة الجانبية. تعمل عناصر التحكم الصارمة في وقت التشغيل على تقوية البيئة لاحتواء الوكيل داخل آليات تحديد الوصول.

زيادة الحماية الفورية هي عبارة عن ممارسة أمن الذكاء الاصطناعيالتي تتمثل في إعطاء تعليمات صارمة ومحدودة للنماذج اللغوية الكبيرة (LLMs) لا تترك مجالًا كبيرًا للتفسير الخطأ. من خلال تقييد الوكيل في ممر ضيِّق، يمكن لمصممي أنظمة التعلم الآلي (ML) المساعدة في الحد من قدرة المهاجم على خداع الوكيل للقيام بسلوكيات غير مقصودة. 

تتضمن تقنيات التقوية الفورية عدم السماح للوكيل بالإفصاح عن تعليماته وجعله يرفض تلقائيًا أي طلبات تقع خارج نطاقه المقيد.

يتحقق التحقق الفوري من الموجِّهات مقابل القواعد المحددة مسبقًا قبل تمريرها إلى الوكيل. تُعرف هذه الممارسة أيضًا باسم تنقية الموجِّه أو التحقق من صحة الإدخال، وتساعد هذه الممارسة على عزل الوكلاء عن هجمات الحقن الفوري. وبالمثل، يجب التحقق من صحة المخرجات قبل استخدامها في حالة تعرض الوكيل للخطر.

يعلم التدريب على الخصوم النماذج كيفية التعرف على الهجمات المحتملة عن طريق خلط المدخلات الخادعة في بيانات التدريب. التدريب على الخصوم قيد التطوير المستمر ولم يصبح بعد مجموعة قياسية من بروتوكولات التدريب.