ما هو الصندوق الأسود في الذكاء الاصطناعي؟

تخيَّل نموذج صندوق أسود يقيّم السير الذاتية للمرشحين للوظائف. يمكن للمستخدمين رؤية الإدخلات - السير الذاتية التي يقومون بإدخالها في نماذج الذكاء الاصطناعي. ويستطيع المستخدمون رؤية النتائج - التقييمات التي يعيدها النموذج لهذه السير الذاتية. لكن المستخدمين لا يعرفون بالضبط كيف يصل النموذج إلى استنتاجاته - العوامل التي يأخذها في الاعتبار، وكيف يزن هذه العوامل وما إلى ذلك. 

العديد من نماذج التعلم الآلي الأكثر تقدمًا المتاحة اليوم، بما في ذلك النماذج اللغوية الكبيرة مثل ChatGPT من OpenAI وLlama من Meta، تُعد أنظمة ذكاء اصطناعي من نوع الصندوق الأسود. يتم تدريب هذه النماذج من الذكاء الاصطناعي على مجموعات بيانات ضخمة عبر عمليات تعلم عميق معقدة، وحتى مبتكروها لا يفهمون تمامًا كيفية عملها. 

يمكن لهذه الصناديق السوداء المعقدة تقديم نتائج مذهلة، لكن نقص الشفافية قد يجعل من الصعب أحيانًا الوثوق بمخرجاتها. لا يمكن للمستخدمين التحقق بسهولة من مخرجات النموذج إذا لم يعرفوا ما يحدث داخله. علاوةً على ذلك، يمكن أن يُخفي غموض نماذج الصندوق الأسود ثغرات في الأمن الإلكتروني، والتحيّزات، وانتهاكات الخصوصية، ومشكلات أخرى. 

لمواجهة هذه التحديات، يعمل باحثو الذكاء الاصطناعي على تطوير أدوات ذكاء اصطناعي قابلة للتفسير تجمع بين أداء النماذج المتقدمة والحاجة إلى الشفافية في نتائج الذكاء الاصطناعي. 

تنشأ نماذج الذكاء الاصطناعي من نوع الصندوق الأسود لسبب واحد من اثنين: إما أن يقوم مطوروها بتحويلها إلى صناديق سوداء عمدًا، وإما أن تصبح كذلك كنتيجة ثانوية لعملية تدريبها. 

يُخفي بعض مطوري ومبرمجي الذكاء الاصطناعي طريقة عمل أدوات الذكاء الاصطناعي قبل إصدارها للعامة. في كثير من الأحيان، يهدف هذا الأسلوب إلى حماية الملكية الفكرية. يعرف مبتكرو النظام تمامًا كيفية عمله، لكنهم يحتفظون بسرية مصدر الرمز وعملية صناعة القرار. ولهذا السبب، فإن العديد من خوارزميات الذكاء الاصطناعي التقليدية القائمة على القواعد هي عبارة عن صناديق سوداء.

ومع ذلك، فإن العديد من تقنيات الذكاء الاصطناعي المتقدمة، بما في ذلك أدوات الذكاء الاصطناعي التوليدي، تُصنَّف بما يمكن أن نسميه "الصناديق السوداء العضوية". لا يُخفي مبتكرو هذه الأدوات عملياتها عن عمد. بل إن أنظمة التعلم العميق التي تشغِّل هذه النماذج معقدة جدًا لدرجة أن المبتكرين أنفسهم لا يفهمون بالضبط ما يحدث داخلها.

تُعَد خوارزميات التعلم العميق نوعًا من خوارزميات التعلم الآلي التي تستخدم شبكات عصبية متعددة الطبقات. بينما قد يستخدم نموذج التعلم الآلي التقليدي شبكة من طبقة أو طبقتين، يمكن أن تحتوي نماذج التعلم العميق على مئات أو حتى آلاف الطبقات. تحتوي كل طبقة على عدة خلايا عصبية، وهي وحدات برمجية مصممة لمحاكاة وظائف الدماغ البشري.

يمكن للشبكات العصبية العميقة استيعاب مجموعات البيانات الكبيرة غير المنسقة وغير المنظمة وتحليلها مع القليل من التدخل البشري. يمكنها استيعاب كميات هائلة من البيانات، وتحديد الأنماط، والتعلم من هذه الأنماط واستخدام ما تتعلمه لإنشاء مخرجات جديدة، مثل الصور والفيديو والنص. 

وهذه القدرة على التعلم على نطاق واسع دون إشراف تمكِّن أنظمة الذكاء الاصطناعي من تنفيذ أشياء مثل معالجة اللغة المتقدمة وإنشاء المحتوى الأصلي وغيرها من الإنجازات التي قد تبدو قريبة من الذكاء البشري.

ومع ذلك، فإن هذه الشبكات العصبية العميقة غير واضحة بطبيعتها. يمكن للمستخدمين، بما في ذلك مطورو الذكاء الاصطناعي، رؤية ما يحدث في طبقات الإدخال والإخراج، والتي تُسمَّى أيضًا "الطبقات المرئية". يمكنهم رؤية البيانات التي تدخل والتنبؤات أو التصنيفات أو أي محتوى آخر يظهر. لكنهم لا يعرفون ما يحدث في جميع الطبقات الوسيطة للشبكة، والمعروفة باسم "الطبقات المخفية".

يعرف مطوِّرو الذكاء الاصطناعي بشكل عام كيفية تحرك البيانات عبر كل طبقة من الشبكة، ولديهم فهم عام لما تفعله النماذج بالبيانات التي تستقبلها. لكنهم لا يعرفون كل التفاصيل. على سبيل المثال، قد لا يعرفون ماذا يعني تنشيط مجموعة معينة من الخلايا العصبية، أو كيف يتمكَّن النموذج على وجه التحديد من العثور على تضمينات المتجهات ودمجها للاستجابة لمطالبة ما. 

حتى نماذج الذكاء الاصطناعي مفتوحة المصدر التي تشارك كودها الأساسي تظل في النهاية صناديق سوداء؛ لأن المستخدمين لا يستطيعون تفسير ما يحدث داخل كل طبقة من النموذج أثناء عمله.

تُعَد أكثر نماذج الذكاء الاصطناعي والتعلم الآلي تقدمًا اليوم قوية جدًا، لكن هذه القوة تأتي على حساب انخفاض مستوى القدرة على التفسير. 

تعتمد نماذج الذكاء الاصطناعي التوليدي على شبكات عصبية معقدة للاستجابة لأوامر اللغة الطبيعية، وحل المشكلات الجديدة، وإنتاج محتوى أصلي، لكن من الصعب تفسير ما يحدث داخل تلك الشبكات. نماذج الذكاء الاصطناعي الأبسط والقائمة على قواعد أسهل في الشرح، لكنها عادةً ليست قوية أو مرنة مثل نماذج الذكاء الاصطناعي التوليدي.

لذلك، لا يمكن للمؤسسات حل مشكلة الصندوق الأسود بمجرد استخدام أدوات الذكاء الاصطناعي التقليدي الأكثر قابلية للتفسير. يمكن لنماذج الذكاء الاصطناعي التقليدي أداء العديد من الوظائف، لكن هناك بعض الأمور التي لا يستطيع القيام بها إلا نموذج ذكاء اصطناعي متقدم.

رغم وجود أسباب عملية لاستخدام نماذج التعلم الآلي كالصناديق السوداء، فإن نقص الشفافية قد يشكِّل عائقًا أمام تحقيق القيمة الكاملة من هذه النماذج المتقدمة. 

على وجه التحديد، يطرح الذكاء الاصطناعي من نوع الصندوق الأسود تحديات مثل:

لا يعرف المستخدمون كيف يتخذ نموذج الصندوق الأسود قراراته، أي العوامل التي يوازن بينها والارتباطات التي يستنتجها. حتى إذا بدت مخرجات النموذج دقيقة، فقد يكون التحقق منها صعبًا دون فهم واضح للعمليات التي تؤدي إلى هذه المخرجات. 

دون علم المستخدمين، يمكن لنماذج الصندوق الأسود الوصول إلى الاستنتاجات الصحيحة لأسباب خطأ. تُعرَف هذه الظاهرة أحيانًا باسم "تأثير هانز الذكي"، نسبةً إلى حصان كان يُفترض أنه يستطيع العد وإجراء العمليات الحسابية البسيطة بواسطة رفس حافره. في الواقع، كان هانز يلتقط إشارات دقيقة من لغة جسد مالكه ليعرف متى يجب التوقف عن الرفس.

يمكن أن يكون لتأثير هانز الذكي عواقب وخيمة عند تطبيق النماذج في مجالات مثل الرعاية الصحية. على سبيل المثال، من المعروف أن نماذج الذكاء الاصطناعي المدرَّبة على تشخيص كوفيد-19 باستخدام صور أشعة الصدر تحقِّق دقة عالية مع بيانات التدريب، لكنها تؤدي أداءً أقل كفاءة في العالم الحقيقي. 

غالبًا ما ينشأ هذا الفارق في الأداء؛ لأن النماذج تتعلم التعرُّف على كوفيد استنادًا إلى عوامل غير ذات صلة. أحد النماذج التجريبية كان "يشخِّص" كوفيد بناءً على وجود التعليقات التوضيحية على صور الأشعة بدلًا من الصور نفسها. حدث ذلك؛ لأن صور الأشعة الإيجابية لكوفيد كانت أكثر احتمالًا لأن تحتوي على تعليقات توضيحية في بيانات تدريب النموذج، حيث كان الأطباء يُبرزون ميزاتها ذات الصلة لأطباء آخرين.¹

إذا اتخذ نموذج الصندوق الأسود قرارات خطأ أو أنتج مخرجات غير دقيقة أو ضارة بشكل مستمر، فقد يكون من الصعب تعديل النموذج لتصحيح هذا السلوك. ودون معرفة ما يحدث بالضبط داخل النموذج، لا يستطيع المستخدمون تحديد المكان الذي يحدث فيه الخطأ بالضبط.

تمثِّل هذا المشكلة تحديًا كبيرًا في مجال المركبات ذاتية القيادة، حيث يدرِّب المطورون أنظمة ذكاء اصطناعي متقدمة لاتخاذ قرارات القيادة في الوقت الفعلي. إذا اتخذت مركبة ذاتية القيادة قرارًا خطأً، فقد تكون العواقب وخيمة. لكن بسبب تعقيد النماذج المستخدمة في هذه المركبات، يكون فهم سبب اتخاذها لقرارات خطأ وكيفية تصحيحها أمرًا صعبًا. 

لتجاوز هذه المشكلة، يعتمد العديد من مطوِّري المركبات الذاتية على تعزيز أنظمة الذكاء الاصطناعي لديهم بأنظمة أكثر قابلية للتفسير، مثل أجهزة استشعار الرادار والليدار. رغم أن هذه الأنظمة لا توضِّح ما يحدث داخل الذكاء الاصطناعي نفسه، فإنها تمنح المطورين فهمًا للبيئات والظروف التي يبدو أن النماذج تتخذ فيها قرارات خطأ.²

نظرًا لأن المؤسسات لا تستطيع رؤية كل ما يحدث داخل نموذج الصندوق الأسود، فقد تفوتها الثغرات المحتملة بداخله. كما أن نماذج الذكاء الاصطناعي التوليدي عرضة لهجمات حقن المطالبات وهجمات تسميم البيانات، التي يمكن أن تغيِّر سلوك النموذج سرًا دون علم المستخدمين. وإذا لم يتمكن المستخدمون من رؤية عمليات النموذج، فلن يعرفوا متى تم تغيير هذه العمليات.

قد تكون نماذج الصندوق الأسود عرضةً للتحيز. يمكن لأي أداة ذكاء اصطناعي إعادة إنتاج التحيّزات البشرية إذا كانت هذه التحيّزات موجودة في بيانات التدريب أو في تصميمها. مع نماذج الصندوق الأسود، قد يكون من الصعب بشكل خاص تحديد وجود التحيّز أو أسباب ظهوره.

يمكن أن يؤدي التحيّز إلى نتائج غير مثالية وضارة تمامًا وغير قانونية. على سبيل المثال، يمكن أن تتعلم نماذج الذكاء الاصطناعي المدرَّبة على فحص المرشحين للوظائف تصفية المتقدمات الموهوبات إذا كانت بيانات التدريب تميل إلى الذكور. 

تستخدم بعض أنظمة العدالة الجنائية نماذج الذكاء الاصطناعي المتطورة لتقييم خطر عودة الشخص إلى ارتكاب الجرائم. غالبًا ما تكون هذه النماذج صناديق سوداء، على الأقل بالنسبة إلى الجمهور، الذي قد لا يعرف بالضبط العوامل التي تأخذها النماذج في الاعتبار. عندما تفتقر الخوارزمية للشفافية، فقد يكون من الصعب الثقة بتنبؤاته أو الاعتراض عليها عند وقوع أخطاء.³

تضع بعض اللوائح، مثل قانون الاتحاد الأوروبي للذكاء الاصطناعي وقانون خصوصية المستهلك في كاليفورنيا (CCPA)، قواعد لكيفية استخدام المؤسسات للبيانات الشخصية الحساسة في أدوات اتخاذ القرار المدعومة بالذكاء الاصطناعي. مع نماذج الصندوق الأسود، قد يكون من الصعب على المؤسسة معرفة إذا ما كانت ملتزمة بالقوانين أو إثبات الالتزام في حال إجراء تدقيق.

يُعرَف الذكاء الاصطناعي الشفاف، أو القابل للتفسير (XAI)، أو الذكاء الاصطناعي الزجاجي، بأنه عكس الذكاء الاصطناعي من نوع الصندوق الأسود. إنه نظام ذكاء اصطناعي تتميز عملياته الداخلية بالشفافية. يفهم المستخدمون كيف يأخذ الذكاء الاصطناعي البيانات ويعالجها ويصل إلى نتيجة. 

تسهّل نماذج الذكاء الاصطناعي الشفاف الثقة في النتائج والتحقق منها، بالإضافة إلى إمكانية تعديل النماذج لتصحيح الأخطاء وتحسين الأداء. ولكن ليس من السهل تحويل كل الذكاء الاصطناعي إلى صندوق أبيض. 

غالبًا ما يمكن جعل نماذج الذكاء الاصطناعي التقليدية شفافة من خلال مشاركة مصدر الرمز. لكن نماذج التعلم الآلي المتطورة تطوِّر مَعلماتها الخاصة من خلال خوارزميات التعلم العميق. إن مجرد الوصول إلى بنى هذه النماذج لا يفسِّر دائمًا ما تفعله بشكل كامل.

ومع ذلك، هناك جهود جارية لجعل نماذج الذكاء الاصطناعي المتقدمة أكثر قابلية للتفسير. على سبيل المثال، يطبِّق الباحثون في شركة Anthropic الترميز التلقائي (autoencoders) -وهو نوع من الشبكات العصبية- على نموذج Claude 3 Sonnet اللغوي الكبير (LLM) لفهم أي تركيبات من الخلايا العصبية ترتبط بأي مفاهيم. حتى الآن، تمكَّن الباحثون من تحديد مجموعات تُشير إلى أشياء مثل جسر Golden Gate ومجال علم الأعصاب.⁴ 

يشارك نموذج o1 الحديث من OpenAI معلومات حول الخطوات التي يتَّبِعها للوصول إلى مخرجاته، ما يساعد على توضيح كيفية التوصل إلى إجاباته. ومع ذلك، فهذه ليست نظرة مباشرة داخل النموذج، بل هو تفسير يُنتجه النموذج نفسه لنشاطه. يظل الكثير من عمليات النموذج، بما في ذلك سلسلة التفكير غير المنسقة، غير مرئي.⁵

طوَّر باحثون آخرون تقنيات تساعد على تفسير كيفية توصُّل النماذج إلى استنتاجات محددة. على سبيل المثال، تُعَد تقنية الشرح المحلي المستقل عن النموذج (LIME) عملية تستخدم نموذج تعلم آلي منفصلًا لتحليل العلاقات بين مدخلات ومخرجات نموذج الصندوق الأسود، بهدف تحديد الميزات التي قد تؤثِّر في مخرجات النموذج. 

غالبًا ما يتم تصميم هذه التقنيات التي تركِّز على الاستنتاج للعمل على النماذج ذات المدخلات والمخرجات المنظمة بوضوح. على سبيل المثال، يمكن لتقنية LIME المساعدة على تفسير التنبؤات والتصنيفات، لكنها توضِّح بشكل أقل الأنظمة المفتوحة القائمة على الشبكات العصبية العميقة.

يمكن للمؤسسات اختيار النماذج الشفافة كلما أمكن، لكن بعض سير العمل يتطلب استخدام أدوات ذكاء اصطناعي معقدة من نوع الصندوق الأسود. ومع ذلك، توجد طرق لجعل نماذج الصندوق الأسود أكثر موثوقية والتخفيف من بعض مخاطرها.