حوكمة النموذج هي العملية الشاملة التي من خلالها تنشئ المؤسسات وتنفذ وتحافظ على الضوابط المتعلقة باستخدام النماذج. إنها تشمل كل شيء بدءًا من الوثائق والتحكم في الإصدار وحتى الاختبار العكسي ومراقبة النموذج وقابلية الملاحظة.
نشأت حوكمة النماذج في القطاع المالي لمعالجة مخاطر النماذج المالية المعقدة. مع ازدياد أهمية تقنيات الذكاء الاصطناعي (AI) والتعلم الآلي (ML)، توسعت أهمية حوكمة النماذج بسرعة. ووفقًا إلى McKinsey، أفادت 78% من المنظمات أنها تستخدم الذكاء الاصطناعي في وظيفة عمل واحدة على الأقل—مما يسلط الضوء على مدى ترسيخ نماذج الذكاء الاصطناعي والتعلم الآلي في اتخاذ القرارات التشغيلية والاستراتيجية.
الغرض من حوكمة النماذج هو ضمان أن النماذج—سواء كانت نماذج مالية تقليدية أو نماذج تعلم آلي—تعمل على النحو المنشود، وتظل متوافقة وتقدم نتائج جديرة بالثقة بمرور الوقت. يدعم إطار العمل القوي الشفافية والمساءلة والتكرار عبر دورة حياة النموذج بأكملها.
في الصناعات الخاضعة للتنظيم مثل البنوك والتأمين، تعد حوكمة النموذج مطلبًا للامتثال. في الولايات المتحدة، يحدد مكتب مراقب العملة (OCC) ممارسات حوكمة محددة لإدارة مخاطر النموذج في المؤسسات المالية. بينما لا تحمل إرشادات OCC قوة القانون، إلا أنها تُستخدم في الفحوصات التنظيمية. ويمكن أن يؤدي عدم الامتثال إلى غرامات أو عقوبات أخرى.
نظرًا لأن اتخاذ القرارات في الوقت الفعلي أصبح هو القاعدة وتطورت المتطلبات التنظيمية، فإن حوكمة النماذج الفعالة تبرز كقدرة بالغة الأهمية للمؤسسات التي تهدف إلى الاستفادة من الذكاء الاصطناعي بمسؤولية.
تستخدم المؤسسات نماذج معقدة بشكل متزايد لدعم اتخاذ القرارات عالية المخاطر. سواء كان الأمر يتعلق بتسجيل الائتمان في الصناعة المصرفية أو تقييم مخاطر المرضى في الرعاية الصحية، فإن هذه النماذج لا تكون فعالة إلا بقدر فعالية الأطر التي تحكمها.
حوكمة النموذج توفر هيكلاً للإشراف على تطوير النماذج ونشرها وأدائها المستمر. من خلال وضع ضوابط واضحة ومساءلة في كل مرحلة من دورة حياة النموذج، يمكن للمؤسسات ضمان بقاء نماذجها موثوقة ومتوافقة مع أهداف العمل. ويجعل هذا حوكمة النموذج مكونًا أساسيًا لإدارة المخاطر والامتثال التنظيمي والسلامة التشغيلية.
أصبحت معظم النماذج—خاصة نماذج التعلم الآلي (ML)—مضمنة في العمليات التجارية الأساسية. وبدون حوكمة سليمة، قد تنحرف هذه النماذج بمرور الوقت، مما يؤدي إلى تدهور أداء النموذج، أو نتائج أو قرارات متحيزة لا تتوافق مع ظروف السوق الحالية أو الاتجاهات الديموغرافية. في قطاعات مثل التمويل أو الرعاية الصحية، يمكن أن يكون لهذه الإخفاقات عواقب وخيمة على أرض الواقع.
تُوفر حوكمة النماذج آلية لتقييم هذه المخاطر والتخفيف من حدتها قبل أن تؤثر على نتائج الأعمال. وبالإضافة إلى ذلك، تستطيع المؤسسات استخدام نموذج الحوكمة من أجل:
مع تسارع تبني الذكاء الاصطناعي، تعمل حوكمة النماذج أيضًا كأساس للذكاء الاصطناعي الأخلاقي. وهي توفر طريقة لتضمين العدالة والمساءلة والشفافية في تصميم ونشر النماذج عبر حالات الاستخدام المختلفة.
إطار حوكمة النماذج يضفي هيكلاً على ما غالبًا ما يكون نظامًا بيئيًا مترامي الأطراف من الخوارزميات ومجموعات البيانات والأطراف المعنية ومهام سير العمل. بينما تختلف أطر العمل باختلاف الصناعات، فإنها تتضمن عادة العناصر الأساسية التالية:
تبدأ الحوكمة القوية من المصدر: تطوير النموذج. يتضمن هذا العنصر تحديد الأهداف واختيار بيانات التدريب والتحقق من صحة مصادر البيانات والتأكد من توافق الإدخال مع حالة الاستخدام. تعتبر جودة البيانات أمرًا ضروريًا هنا، حيث يمكن أن تؤدي المدخلات المتحيزة إلى مخرجات ذات جودة منخفضة للنموذج.
يجب أن توثق النماذج الأساس المنطقي وراء المنهجية المختارة، والافتراضات التي تم وضعها، ومجموعة البيانات المستخدمة، ومخرجات النموذج المتوقعة. يعمل هذا التوثيق كمخطط للشفافية ويساعد على تبسيط التحديثات المستقبلية وعمليات التدقيق والتحقق من صحة النموذج.
يسمح جرد النماذج المركزي للمؤسسات بتتبع كل نموذج مستخدم—جنبًا إلى جنب مع الغرض منه وملكيته ومنهجيته وحالته في دورة الحياة. ويتضمن ذلك النماذج المالية، وخوارزميات تسجيل الائتمان، ونماذج التعلم الآلي (ML) المستخدمة للكشف عن الغش، وحتى النماذج المضمنة في جداول البيانات.
يمكّن الجرد النماذج الذي تتم صيانته جيدًا من تقييم أفضل للمخاطر ويسهل اتخاذ القرارات في الوقت الفعلي حول استخدام النموذج.
يعد التحقق من الصحة أحد الجوانب الأساسية لإدارة مخاطر النموذج. تختبر فرق التحقق المستقلة النموذج مقابل البيانات التاريخية (الاختبار العكسي)، وتقيّم حساسيته للعوامل الديناميكية مثل أسعار الفائدة أو التغيرات الديموغرافية، وتتحقق من توافق المخرجات مع توقعات الأعمال.
بالنسبة لنماذج التعلم الآلي، يمتد التحقق ليشمل التحقق من التحيز الخوارزمي والمتانة والتجهيز الزائد، وهو عندما تتناسب الخوارزمية بشكل وثيق جدًا (أو حتى تمامًا) مع بيانات التدريب الخاصة بها ولا يمكنها استخلاص استنتاجات دقيقة من أي بيانات أخرى. الهدف هو ضمان بقاء النتائج مستقرة وقابلة للتفسير—حتى مع تغير الإدخال.
لا تتوقف الحوكمة بمجرد نشر النموذج. تعد المراقبة المستمرة للنموذج ضرورية لاكتشاف تدهور الأداء أو الانحراف في المدخلات أو التغييرات في جودة البيانات. يمكن أن تساعد أدوات قابلية الملاحظة في تتبع المقاييس مثل الدقة والاستدعاء، واكتشاف الخلل الذي قد يتطلب إعادة التدريب أو إعادة المعايرة.
في سير عمليات التعلم الآلي (MLOps) الحديثة، يمكن للمؤسسات أتمتة أجزاء من عملية النشر، ودمج فحوصات الحوكمة مباشرة في مسار التكامل المستمر والتسليم المستمر (CI/CD). يتيح هذا تكرارًا أسرع دون المساس بالرقابة.
حوكمة النماذج هي رياضة جماعية يعتبر فيها علماء البيانات، وموظفو المخاطر وقادة الأعمال وفرق الامتثال ومدققو الحسابات جميعًا لاعبين أساسيين. يضمن تحديد المسؤوليات ومهام سير العمل الواضحة المساءلة في كل مرحلة من مراحل دورة الحياة—من التطوير إلى التحقق من الصحة إلى إيقاف النموذج.
وتتضمن الحوكمة الفعالة أيضًا التواصل. سواء من خلال لوحة المعلومات الداخلية أو تقارير الحوكمة أو حتى بودكاست مخصص للفرق متعددة الوظائف، يجب أن تتدفق المعلومات بكفاءة بين الأطراف المعنية.
تُطبق مبادئ حوكمة النماذج عبر مجموعة من الصناعات، لكل منها مخاطرها ولوائحها وأولوياتها الخاصة:
في القطاع المصرفي، تساعد النماذج في كل شيء بدءًا من تقييم مخاطر الائتمان وحتى التنبؤ بالربحية. تساعد الحوكمة المؤسسات المالية على الامتثال لإرشادات مكتب مراقبة العملة، وإجراء اختبارات الإجهاد ، والتوافق مع أطر العمل الأوسع نطاقًا.
تجب أن تخضع النماذج التي تُقيّم الموافقة على القروض أو أسعار الفائدة، على سبيل المثال، للتحقق والمراقبة الصارمة لتجنب إدخال التحيز أو الانتهاكات التنظيمية. من خلال الاستفادة من حوكمة النموذج الفعالة، يمكن للبنوك تحسين الشفافية والحفاظ على الثقة مع المنظمين والعملاء على حد سواء.
تستخدم مؤسسات الرعاية الصحية نماذج للمساعدة في دعم القرار السريري والتخطيط التشغيلي وتقييم مخاطر المريض. بطبيعة الحال، المخاطر كبيرة؛ فالأخطاء في مخرجات النموذج يمكن أن تؤدي إلى سوء التشخيص أو ضعف تحديد أولويات العلاج.
حلول الحوكمة في هذا المجال تضمن تدريب نماذج التعلم الآلي على مجموعات بيانات تمثيلية، وتراعي العوامل الديموغرافية المتنوعة، وتبقى متوافقة مع معايير الخصوصية وإدارة البيانات، مثل قانون إخضاع التأمين الصحي لقابلية النقل والمساءلة (HIPAA).
يعتمد تجار التجزئة بشكل متزايد على الذكاء الاصطناعي لتحسين الأسعار والتنبؤ بالطلب وتخصيص تجارب العملاء. تقوم النماذج باستيعاب البيانات من مصادر مختلفة، سواء كانت بيانات تاريخية، مثل سجل المبيعات، أو إشارات في الوقت الفعلي، مثل اتجاهات السوق.
تتيح حوكمة النماذج لتجار التجزئة توثيق الافتراضات، والتحقق من أداء النموذج، والتكيف بسرعة مع التغيرات في العالم الحقيقي، مثل اضطرابات سلسلة التوريد أو تغير سلوك المستهلك.
يتم فرض حوكمة النماذج من خلال اللوائح التنظيمية الإقليمية والعالمية التي تُحمِّل المؤسسات المسؤولية عن كيفية إدارة النماذج عبر دورة حياتها. تشمل اللوائح البارزة ما يلي:
SR 11-7 يضع معيار إدارة مخاطر النموذج في الأعمال المصرفية، ويتطلب من المؤسسات الاحتفاظ بقائمة كاملة من النماذج وتطبيق ممارسات الحوكمة على مستوى المؤسسة. كما ينص على أن تخدم النماذج الغرض المقصود منها، وأن تظل محدثة، وأن تحتوي على وثائق واضحة بما يكفي للفهم المستقل.
قدمت الرابطة الوطنية لمفوضي التأمين (NAIC) لوائح نموذجية حول الذكاء الاصطناعي وصنع القرار الخوارزمي، لا سيما فيما يتعلق بالتصنيف الائتماني والتسعير والعدالة الديموغرافية. تصبح هذه العوامل بالغة الأهمية بشكل متزايد لاكتتاب التأمين وحوكمة معالجة المطالبات.
قانون الذكاء الاصطناعي للاتحاد الأوروبي، والمعروف أيضًا باسم EU AI Act أو AI Act، هو قانون يحكم عملية تطوير أو استخدام الذكاء الاصطناعي في الاتحاد الأوروبي (EU). يتبع القانون نهجًا قائمًا على المخاطر في التنظيم، ويطبق قواعد مختلفة على الذكاء الاصطناعي وفقًا للمخاطر التي يشكلها.
بموجب اللائحة العامة لحماية البيانات (GDPR)، يجب على أي نموذج يعالج البيانات الشخصية لمواطني الاتحاد الأوروبي أن يتبع مبادئ مثل العدالة والشفافية والمساءلة. هذا يؤثر بشكل غير مباشر على حوكمة نماذج التعلم الآلي، وخاصة فيما يتعلق بقابلية الشرح وجودة البيانات.
أصدر كل من الهيئة السويسرية لمراقبة السوق المالية (FINMA) وهيئة التنظيم الاحترازي في المملكة المتحدة (PRA) إرشادات بشأن استخدام الذكاء الاصطناعي والنماذج في الخدمات المالية—توجيهات FINMA 08/2024 والبيان الإشرافي لـ PRA SS1/23، على التوالي.
تتناول هذه الوثائق مجالات مثل حوكمة النماذج، وقابلية شرح نماذج التعلم الآلي، والتوثيق الشامل للنماذج. بينما تشترك في أوجه التشابه مع SR 11-7، يركز كل منها بشكل فريد على جوانب مثل المخاطر الخاصة بالذكاء الاصطناعي والمرونة التشغيلية.
إطار بازل (Basel) يحدد مبادئ لتجميع بيانات المخاطر الفعّال والإبلاغ عن المخاطر (BCB 239)، والتي ترتبط مباشرة بممارسات حوكمة النماذج مثل التوثيق، والقابلية للشرح، والرقابة على مخاطر النماذج. وغالبًا ما تستخدم البنوك العاملة على المستوى الدولي بازل كمعيار ذهبي إلى جانب المعيار SR 11-7.
بينما قيمة حوكمة النماذج واضحة، فإن تطبيقها على نطاق واسع يمثل العديد من التحديات:
بينما يصبح الذكاء الاصطناعي والتعلم الآلي أكثر اندماجًا في سير العمل، تشكل قوى جديدة كيفية تعامل المؤسسات مع حوكمة النماذج. بينما تظل الممارسات التأسيسية مثل التحقق من الصحة، وتوثيق النموذج، ومراقبة النموذج ضرورية، بدأت العديد من الاتجاهات الناشئة في إعادة تعريف التوقعات.
تكتسب المراقبة في الوقت الفعلي زخمًا متزايدًا، خاصة مع ظهور البيانات المتدفقة والطلب على صناعة القرار القائمة على البيانات.
يتم استخدام أدوات قابلية الملاحظة المتقدمة لتتبع الأداء واكتشاف الانحراف عبر نماذج التعلّم الآلي المنشورة.
تعمل المؤسسات على أتمتة أجزاء من سير العمل. على سبيل المثال، من خلال تضمين نقاط تحقق التحقق من الصحة في مسارات نشر النموذج، يمكنهم تقليل الاحتكاك بين التطوير والامتثال.
تتحرك العديد من الفرق نحو أطر حوكمة أكثر توحيدًا، خاصة في القطاعات الخاضعة للتنظيم مثل الخدمات المصرفية والرعاية الصحية.
تدمج الاعتبارات الأخلاقية، بما في ذلك العدالة والكشف عن التحيز، بشكل متزايد في سير عمل التحقق من الصحة.
تعكس هذه الاتجاهات تحولاً أوسع نطاقاً: التطور المستمر لحوكمة النماذج من نهج دفاعي إلى قدرة استراتيجية. من خلال الاستفادة من ممارسات الحوكمة المنظمة والمتعددة الوظائف، يمكن للمؤسسات تعزيز الثقة في نماذج التعلم الآلي الخاصة بها مع تسريع الابتكار.
يمكنك إدارة نماذج الذكاء الاصطناعي من أي مكان ونشرها على السحابة أو بشكل محلي باستخدام IBM watsonx.governance.
اكتشف كيف يمكن لحوكمة الذكاء الاصطناعي أن تساعد في زيادة ثقة موظفيك في الذكاء الاصطناعي، وتسريع الاعتماد عليه وتعزيز الابتكار، بالإضافة إلى تحسين ثقة العملاء.
تمكَّن من الاستعداد لقانون الذكاء الاصطناعي في الاتحاد الأوروبي ووضع نهج حوكمة مسؤول للذكاء الاصطناعي بمساعدة IBM Consulting.