وكلاء الذكاء الاصطناعي المتقدمون لا يكتفون بالتفكير، بل يعملون أيضًا. بينما كانت أدوات الذكاء الاصطناعي التوليدي السابقة تكتفي بإنشاء المحتوى أو تقديم التنبؤات أو الرؤى استجابةً لتوجيهات بشرية، فإن الوكلاء قادرون على الخروج إلى العالم وتنفيذ مهام معقدة بشكل مستقل. علاوةً على ذلك، يمكن للوكلاء اتخاذ القرارات سريعًا والتكيف مع الظروف المتغيرة. وهذا يطرح تحديات جديدة أمام حوكمة الذكاء الاصطناعي.
تُشير حوكمة الذكاء الاصطناعي (AI) إلى العمليات والمعايير والضوابط التي تساعد على ضمان أن تكون أنظمة وأدوات الذكاء الاصطناعي آمنة وأخلاقية. توجِّه إطارات حوكمة الذكاء الاصطناعي أبحاث الذكاء الاصطناعي وتطويره وتطبيقه للمساعدة على ضمان السلامة والعدالة واحترام حقوق الإنسان.
عندما يتعلق الأمر بالوكلاء، سيتعيّن تحديث أطر الحوكمة لتأخذ في الاعتبار استقلالية هؤلاء الوكلاء. الإمكانات الاقتصادية للوكلاء هائلة، لكن مشهد المخاطر المرتبط بها لا يقل اتساعًا. سيصبح تعزيز عمل الأنظمة الذكية بطريقة أكثر أمانًا وأخلاقية وشفافية مصدر قلق متزايد مع ازدياد استقلاليتها.
الرسالة الإخبارية الخاصة بالمجال
احصل على رؤى منسقة حول أهم أخبار الذكاء الاصطناعي وأكثرها إثارةً للاهتمام. اشترِك في خدمة رسائل Think الإخبارية الأسبوعية. راجع بيان الخصوصية لشركة IBM.
سيتم تسليم اشتراكك باللغة الإنجليزية. ستجد رابط إلغاء الاشتراك في كل رسالة إخبارية. يمكنك إدارة اشتراكاتك أو إلغاء اشتراكك هنا. راجع بيان خصوصية IBM لمزيد من المعلومات.
إن الخصائص التي تجعل الذكاء الاصطناعي الوكيلي قويًا، مثل الاستقلالية والتكيف والتعقيد، هي ذاتها التي تجعل من الصعب حوكمة الوكلاء. أحد التحديات الرئيسية التي تواجه وكلاء الذكاء الاصطناعي هي قدرتهم على اتخاذ القرارات بشكل مستقل. على عكس أنظمة البرامج التقليدية التي تتَّبِع برمجة صارمة قائمة على القواعد، يستخدم وكلاء الذكاء الاصطناعي خوارزميات التعلم الآلي لتحليل البيانات وتحديد الإجراءات بناءً على الاحتمالات. يُتيح هذا الاستقلال للذكاء الاصطناعي العمل في بيئات الوقت الفعلي.
هذا النقص في التحكم البشري يجعل من الصعب ضمان أن يتصرف وكلاء الذكاء الاصطناعي بطريقة آمنة وعادلة وأخلاقية. في المواقف عالية المخاطر مثل المركبات ذاتية القيادة أو التداول الآلي في الأسواق المالية، قد تترتب على قرار وكيل الذكاء الاصطناعي عواقب جسيمة، ومع ذلك لا يكون الإشراف البشري متاحًا دائمًا. وينتج عن ذلك تحدٍ في حوكمة هذه الأنظمة. كيف يمكن للقادة الموازنة بين كفاءة الذكاء الاصطناعي واستقلاليته من جهة، وبين الحاجة إلى المساءلة والتحكم من جهة أخرى؟
يقوم العديد من وكلاء الذكاء الاصطناعي، وخصوصًا المتقدمين منهم والمدعومين بالتعلم الآلي، بعمليات اتخاذ قرار يصعب على البشر تفسيرها. على عكس الأنظمة القائمة على القواعد ذات المنطق القابل للتتبع، تتخذ نماذج التعلم الآلي قرارات استنادًا إلى أنماط معقدة في البيانات يعجز حتى مطوروها عن فهمها بالكامل. هذا الغموض يجعل من الصعب تدقيق القرارات المعتمدة على الذكاء الاصطناعي، وهو ما يشكِّل تحديًا في حالات استخدام الأتمتة سريعة التغير. تخيّل لو أن نظام ذكاء اصطناعي رفض طلب قرض استنادًا إلى بيانات غير صحيحة، أو أن نظامًا صحيًا أوصى بعلاج خاطئ. يجب أن يكون الأطراف المعنيون قادرين على فهم المبررات وراء القرار.
والتحيز هو التحدي الآخر. تتعلم أنظمة الذكاء الاصطناعي من البيانات التاريخية، ولكن إذا كانت هذه البيانات تحتوي على تحيُّزات، فقد يقوم الذكاء الاصطناعي بتضخيمها. قد يتخذ وكلاء الذكاء الاصطناعي قرارات غير مرغوب فيها، مثل تفضيل الكفاءة على حساب العدالة أو الخصوصية.
مثل أي نظام ذكاء اصطناعي، فإن الوكلاء المستقلين معرضون أيضًا للتهديدات الأمنية. يمكن التلاعب بنماذج الذكاء الاصطناعي والروبوتات من خلال الهجمات المعادية، حيث تؤدي التعديلات الطفيفة على بيانات الإدخال إلى خداع الذكاء الاصطناعي لاتخاذ قرارات خاطئة. يمكن خداع النماذج اللغوية الكبيرة (LLMs) وروبوتات المحادثة التي تتفاعل مع المستخدمين بلغة طبيعية لإنتاج محتوى ضار. كما أن نشر وكلاء الذكاء الاصطناعي بطريقة لا مركزية يجعل من الصعب تنفيذ تدابير أمنية موحَّدة.
غالبًا ما تعتمد الأنظمة الوكيلية على واجهات برمجة التطبيقات للتكامل مع التطبيقات الخارجية ومصادر البيانات. يمكن لواجهات برمجة التطبيقات ذات الحوكمة السيئة أن تكشف عن ثغرات، ما يجعلها هدفًا للهجمات الإلكترونية. تشمل مخاطرالأمن الإلكتروني الهجمات المعادية، وعمليات تسرُّب البيانات، والوصول غير المصرح به الذي يعرِّض المعلومات الحساسة للخطر. للتخفيف من هذه المخاطر، يجب أن تحتوي واجهات برمجة التطبيقات على عناصر تحكُّم في الوصول وآليات مصادقة لمنع التفاعلات غير المصرح بها.
إلى جانب الأمن، تحتاج المؤسسات أيضًا إلى الالتزام باللوائح عند تصميم وكلاء الذكاء الاصطناعي. ومع ذلك، غالبًا ما تتأخر اللوائح عن مواكبة التقدم التكنولوجي. أنظمة الذكاء الاصطناعي بطبيعتها معقدة وغير قابلة للتنبؤ، ومتطلبات الامتثال قد تكون غامضة أو متضاربة. ربما نرى قريبًا هيئات الحوكمة الوطنية والدولية تضع أطرًا تنظيمية مخصصة لاستخدام الوكلاء.
تنطبق أفضل ممارسات حوكمة الذكاء الاصطناعي التقليدية مثل حوكمة البيانات وتقييمات المخاطر وسير العمل الواضح والقدرة على التفسير والمعايير الأخلاقية والمراقبة المستمرة أيضًا على الأنظمة الوكيلية. لكن الحوكمة الوكيلية قد تمتد إلى ما هو أبعد من هذه الممارسات المتَّبعة.
بدلًا من الاكتفاء باختبار النماذج قبل النشر، يمكن للمؤسسات إنشاء بيئات محاكاة تُتيح لوكلاء الذكاء الاصطناعي اتخاذ قرارات دون تبعات في العالم الحقيقي قبل النشر الكامل. يُتيح العزل الآمن للذكاء الاصطناعي للمطورين دراسة المعضلات الأخلاقية غير المقصودة قبل تعريض الوكلاء للمستخدمين الحقيقيين. يمكن اختبار نماذج الذكاء الاصطناعي الأخلاقي من خلال اختبارات ضغط أخلاقي، مثل سيناريوهات حوادث القيادة الذاتية المُحاكاة أو المعضلات الأخلاقية في أنظمة التوظيف المعتمدة على الذكاء الاصطناعي.
تُعَد مراقبة الوكلاء لبعضهم وسيلة أخرى لتفادي المشكلات قبل خروجها عن السيطرة. نظرًا لتعقيد المنظومات الوكيلية، سيحتاج الوكلاء إلى التعاون والتفاوض فيما بينهم بشكل متكرر. يمكن أن يساعد رصد هذه التفاعلات ووضع قواعد لحل النزاعات بين الوكلاء على ضمان قدرتهم على العمل معًا بانسجام.
يمكن أيضًا إقران الوكلاء العاملين "بوكلاء حوكمة" مصممين لمراقبة الوكلاء الآخرين وتقييمهم ومنع الأضرار المحتملة. للتخفيف من المخاطر، تجب مراقبة الوكلاء باستمرار للكشف عن انحراف النموذج. تخيَّل وكيل خدمة عملاء يتعامل طوال اليوم مع زبائن غاضبين، فيكتسب مع الوقت شخصية حادة المزاج نتيجة تأقلمه مع تلك التفاعلات. الآن تخيَّل وكيل إدارة يتصرف كمراقب ممرات، يوقف ذلك الوكيل جانبًا ويقول له شيئًا مثل: "يبدو أنك لست على طبيعتك اليوم". يمكن أيضًا برمجة الوكلاء لطلب موافقة الإنسان على إجراءات معينة.
بالإضافة إلى هذه الممارسات، يوصي العديد من الخبراء بأن تكون للوكلاء آلية إيقاف طارئ تسمح بإيقاف تشغيلهم على الفور، خاصةً في البيئات عالية المخاطر. يمكن للمؤسسات وضع إجراءات احتواء لضمان عدم تصعيد الذكاء الاصطناعي المعطَّل للمشكلات قبل التدخل. تُجري بعض المؤسسات تجارب لإخضاع الوكلاء لاختبارات ضغط باستخدام هجمات معادية في الحالات القصوى أو الظروف غير المتوقعة بهدف كشف الثغرات.
ستصبح إدارة وكلاء الذكاء الاصطناعي أسهل قريبًا. سيقدم موفرو منصات الحوكمة أدوات حوكمة قوية للذكاء الاصطناعي مع لوحات معلومات توفِّر الوصول إلى مقاييس متخصصة لأنظمة الوكلاء والتفاعل مع الوكلاء. على سبيل المثال، يعمل مهندسو البرمجيات في شركة IBM حاليًا على دمج مقاييس متخصصة مثل ملاءمة السياق والدقة وتشابه الإجابات في watsonx.gov. سيساعد برنامج الحوكمة المناسب الأطراف المعنية على متابعة وكلائهم عبر دورة حياتهم الشاملة، ما يسمح لهم بالحصول على أقصى استفادة من الذكاء الاصطناعي الوكيل.
مع تزايد استقلالية أنظمة الذكاء الاصطناعي الوكيل، تصبح مسألة ضمان عملها بأمان وأخلاقية وأمان إلكتروني تحديًا متناميًا. إذ يتعين على المؤسسات اعتماد نماذج حوكمة قابلة للتطوير، وتطبيق بروتوكولات قوية للأمن الإلكتروني وإدارة المخاطر، ودمج الرقابة البشرية. وإذا تمكنت المؤسسات من توسيع نطاق الأنظمة الوكيلية بأمان، فستتمكن من تحقيق قيمة شبه غير محدودة.
يمكنك إدارة نماذج الذكاء الاصطناعي من أي مكان ونشرها على السحابة أو بشكل محلي باستخدام IBM watsonx.governance.
اكتشف كيف يمكن لحوكمة الذكاء الاصطناعي أن تساعد في زيادة ثقة موظفيك في الذكاء الاصطناعي، وتسريع الاعتماد عليه وتعزيز الابتكار، بالإضافة إلى تحسين ثقة العملاء.
تمكَّن من الاستعداد لقانون الذكاء الاصطناعي في الاتحاد الأوروبي ووضع نهج حوكمة مسؤول للذكاء الاصطناعي بمساعدة IBM Consulting.