إدارة أحمال تشغيل الذكاء الاصطناعي على نطاق واسع

يبدأ التعقيد في الظهور عند نقل التطبيقات من مرحلة البرامج التجريبية إلى مرحلة الإنتاج الكامل. فعلى سبيل المثال، غالبًا ما تشغل شركات الخدمات المالية نموذج الكشف عن الغش لتقييم المعاملات في الوقت الفعلي، جنبًا إلى جنب مع مساعد العملاء. ولكل سيناريو من هذه السيناريوهات متطلبات زمن انتقال، واحتياجات تخزين بيانات وضوابط امتثال مختلفة.

في الوقت الحالي، تدير معظم المؤسسات الكبرى في مرحلة الإنتاج أنظمة متعددة من هذا النوع في وقت واحد. لا تصبح التحديات أسهل مع إضافة المزيد من الأنظمة؛ بل تتضاعف. في دراسة أجراها IBM Institute for Business Value (IBV)، قال 77% من المديرين التنفيذيين إنهم بحاجة إلى تبني الذكاء الاصطناعي بسرعة للبقاء في المنافسة. ومع ذلك، يتفق 25% منهم فقط بقوة على أن بنية تكنولوجيا المعلومات في مؤسساتهم يمكنها دعم توسيع نطاق الذكاء الاصطناعي على مستوى المؤسسة.

تختلف متطلبات تدريب النماذج عن متطلبات استدلال الذكاء الاصطناعي. يتطلب التدريب قدرة حاسوبية هائلة تعمل باستمرار عبر مجموعات من المعالجات المتخصصة. أما الاستدلال فيُجرى في مرحلة الإنتاج، حيث يكون زمن الانتقال والتوافر أهم من قوة المعالجة الأولية.

وفقًا لمجلة McKinsey، من المتوقع أن تشكل أحمال تشغيل الاستدلال أكثر من نصف إجمالي عمليات حوسبة الذكاء الاصطناعي بحلول عام 2030. ويعني هذا التحول أن تشغيل النماذج بكفاءة أصبح من الشواغل الملحة في العمل مثله مثل تطوير النماذج.¹

وبالنظر إلى كل هذا التعقيد، لا تُعد إدارة أحمال تشغيل الذكاء الاصطناعي على نطاق واسع مجرد مشكلة تقنية. بل هي مشكلة تشغيلية. فالمؤسسات التي تنجح في إدارتها بشكل جيد هي تلك التي تطبق أفضل الممارسات عبر البنية التحتية والحوكمة والعمليات اليومية.

مقارنةً بأحمال التشغيل التقليدية، عادةً ما تعالج أحمال تشغيل الذكاء الاصطناعي بيانات غير منظمة (مثل الصور، والنصوص، والمقاطع الصوتية)، ما يؤدي إلى ظهور تعقيدات لم تصمم البنية التحتية القياسية لتكنولوجيا المعلومات لمواجهتها.

تصبح موارد الحوسبة هي الموارد الأكثر استنزافًا. يتطلب التدريب والاستدلال وحدات معالجة الرسومات (GPUs) ووحدات معالجة تينسر (TPUs)، والتي تُعد أكثر تكلفة من حيث التزويد والتشغيل من الحوسبة القياسية. ونتيجة لذلك، تشكل قابلية التنبؤ بالتكاليف و تخصيص الموارد تحديات مستمرة.

تضيف البنية التحتية لمراكز البيانات طبقة أخرى من التعقيد. يتطلب تدريب أحمال تشغيل الذكاء الاصطناعي مجموعات حوسبة عالية الكثافة مع أنظمة تبريد متقدمة، بينما تتطلب أحمال تشغيل الاستدلال زمن انتقال قصيرًا للوصول إلى البيانات والتطبيقات. وكلاهما يشكل ضغطًا على البنية التحتية القديمة لمراكز البيانات. كما أن قيود الطاقة تؤثر بشكل متزايد في قابلية التوسع، ما يجعل توافر الطاقة مصدر قلق بالغ.

كما أصبحت متطلبات الأداء أكثر تعقيدًا. فلا يمكن أن تتسبب التأخيرات والعوائق في تعطيل تطبيقات الإنتاج، ويجب وضع أحمال تشغيل الاستدلال بالقرب من البيانات والتطبيقات التي تخدمها، مثل بيئات الحافة.

كما أن الحوكمة تجلب المزيد من التعقيد على مستوى المؤسسة والامتثال. فمع تضاعف عدد الأنظمة، يصبح الحفاظ على اتساق دورة حياة البيانات، وسجلات التدقيق، وضوابط الأمن الإلكتروني أكثر صعوبة. وتضيف متطلبات تخزين البيانات وسيادة البيانات التي تختلف حسب المنطقة تحديات إضافية، خاصةً في المؤسسات الدولية.

وأخيرًا، تُشكل الخبرة التشغيلية فجوة في المهارات لدى العديد من المؤسسات. يتطلب تشغيل أحمال التشغيل في مرحلة الإنتاج خبرة في مجال هندسة البيانات، وعمليات التعلم الآلي (MLOps)، وإدارة البنية التحتية التي لا تزال العديد من المؤسسات تطورها.

كما أن إدارة أنظمة متعددة في مراحل دورة حياة مختلفة تتجاوز سير عمل تكنولوجيا المعلومات التقليدية. والعديد من الفرق غير مستعدة للتعامل مع التعقيدات المترتبة على ذلك.

التحديات المرتبطة بأحمال تشغيل الذكاء الاصطناعي هي تحديات حقيقية، لكنها قابلة للإدارة. يمكن أن تحدث الممارسات التشغيلية التالية، إذا طبقت بشكل متسق، فرقًا كبيرًا في إدارة أحمال تشغيل الذكاء الاصطناعي على نطاق واسع.

أحمال تشغيل الذكاء الاصطناعي المختلفة ليس لها نفس المتطلبات، والتعامل معها على هذا الأساس يؤدي إلى هدر الموارد وظهور مشكلات في الأداء. ومن ثَم، تحافظ مطابقة موارد الحوسبة والتخزين والشبكات مع ما تحتاجه أحمال التشغيل على التكاليف.

تساعد أداة جدولة أحمال التشغيل الفرق على تخصيص موارد الحوسبة بكفاءة وتجنب الإفراط في شراء موارد وحدات معالجة الرسومات عبر بيئات الإنتاج المختلفة.

عندما يتبع كل فريق طريقة مختلفة في النشر، تصبح عملية استكشاف الأخطاء وإصلاحها منعزلة.

تسهم مسارات بيانات الذكاء الاصطناعي المتسقة، وأدوات المراقبة المشتركة، والعمليات التشغيلية الموحدة في تقليل المشكلات الناجمة عن زيادة عدد الأنظمة. وتنجح الفرق الجديدة في اكتساب الخبرة اللازمة بشكل أسرع، كما أن الحفاظ على الجودة يكون أسهل.

من الأسهل بكثير تضمين متطلبات الامتثال منذ البداية بدلاً من إضافتها لاحقًا.

المؤسسات التي تتعامل مع تخزين البيانات ومسارات التدقيق وضوابط الوصول كمتطلبات أساسية منذ اليوم الأول بدلاً من كونها فكرة ثانوية هي المؤسسات التي تضطر إلى إعادة العمل بشكل أقل عندما تتغير اللوائح. وبالنسبة إلى المؤسسات التي تعمل عبر المناطق المختلفة، حيث يمكن أن تختلف المتطلبات بشكل كبير، يُعد هذا العمل ضروريًا.

يتطلب تشغيل الذكاء الاصطناعي في مرحلة الإنتاج أشخاصًا يفهمون في مجال هندسة البيانات، وعمليات النماذج، وإدارة البنية التحتية. وفي معظم المؤسسات، لا يزال هذا المزيج قيد التطوير.

وسواء كان ذلك من خلال التوظيف أو التدريب أو الشراكات الخارجية، فإن سد هذه الفجوة مبكرًا يحافظ على سير العمليات بسلاسة وعلى ضبط التكاليف.

النموذج الذي يعمل بشكل جيد عند الإطلاق لن يظل بالضرورة يعمل بشكل جيد بعد ستة أشهر. فالبيانات تتغير، والظروف تتبدل، والدقة تختلف بطرق لا تكون واضحة دائمًا حتى تتأثر بها نتائج الأعمال.

تُعد أدوات قابلية الملاحظة مثل Prometheus وIBM Turbonomic® جزءًا مهمًا من أي عملية نشر في مرحلة الإنتاج، حيث تتتبع زمن الانتقال ومعدل النقل وأداء النموذج عبر الزمن. وتعمل جداول إعادة التدريب ومراجعات الصيانة الدورية على منع تحول المشكلات الصغيرة إلى مشكلات أكبر.

التحكم في نظام واحد يُعد أمرًا ممكنًا. أما التحكم في عشرة أنظمة عبر بيئات متعددة، مع فرق ومورّدين ومتطلبات امتثال مختلفة، يُعد سيناريو أكثر تعقيدًا.

المؤسسات التي تتوسع من دون الوقوع في أزمات مستمرة هي تلك التي تضع هيكلية واضحة منذ البداية. وهذا يعني عمليات واضحة، وملكية محددة، وأدوات للحفاظ على الرؤية عبر جميع أحمال تشغيل الذكاء الاصطناعي الجارية في مرحلة الإنتاج.

تتطلب مواجهة تحديات إدارة أحمال التشغيل القابلة للتوسع بنية تحتية متخصصة للذكاء الاصطناعي. تشمل هذه البنية التحتية موارد الأجهزة والبرمجيات والشبكات والتخزين التي يمكنها دعم تطوير وتدريب ونشر نماذج الذكاء الاصطناعي الكبرى، مثل النماذج اللغوية الكبرى (LLMs)، عبر مراكز البيانات ومراكز بيانات الذكاء الاصطناعي. بدءًا من نشر النموذج ووصولاً إلى المراقبة المستمرة، فإن لكل مرحلة احتياجاتها المختلفة من البنية التحتية.

تشمل عناصر البنية التحتية لإدارة أحمال تشغيل الذكاء الاصطناعي على نطاق واسع العناصر التالية:

• السحابة الهجينة
• موارد الحوسبة
• الخدمات المصغرة
• النقل بالحاويات وKubernetes
• مسارات البيانات والتخزين
• MLOPS وGenAIOps

في الوقت الحالي، تعتمد المؤسسات على بيئات سحابة متعددة هجينة تجمع بين خدمات السحابة العامة المقدمة من موردين مختلفين وتمتد عبر بُنى تحتية متعددة لمزودي سحابة مختلفين.

لا يمكن لبيئة واحدة من بيئات تكنولوجيا المعلومات التعامل مع كل متطلبات أحمال تشغيل الذكاء الاصطناعي. توفر منصات السحابة العامة، التي يستضيفها مزودون مثل Amazon Web Services (AWS)، وMicrosoft Azure، وIBM Cloud® وGoogle Cloud، سعة وحدات معالجة رسومات عند الطلب تناسب أحمال تشغيل التدريب واسعة النطاق في البيئات واسعة النطاق. ومع ذلك، غالبًا ما تحتاج أحمال تشغيل الاستدلال المرتبطة ببيانات العملاء الحساسة إلى البقاء في البيئات المحلية أو على سحابة خاصة لتلبية المتطلبات التنظيمية.

تمنح السحابة الهجينة المؤسسات المرونة اللازمة لاتخاذ قرارات التوزيع بناءً على ما تحتاجه أحمال التشغيل المختلفة، مع تمكين تقنيات السحابة الأصلية من العمل بشكل متسق عبر البيئات المختلفة.

تتطلب أحمال تشغيل الذكاء الاصطناعي، وخاصة تدريب النماذج، موارد حوسبة متخصصة، بما في ذلك وحدات معالجة الرسومات (مثل NVIDIA) ووحدات معالجة التينسر، بدلاً من وحدات المعالجة المركزية (CPUs) التي تشغل الأنظمة المؤسسية التقليدية.

أُطر العمل مثل TensorFlow وPyTorch مصممة للعمل على هذه الأجهزة وتُستخدم عادةً لتقييم الأداء قبل نقل أحمال التشغيل إلى مرحلة الإنتاج. يُعد تتبع استخدام وحدات معالجة الرسومات واستهلاك الموارد عبر دورات التدريب والاستدلال أمرًا ضروريًا للحفاظ على كفاءة التكلفة مع تزايد عمليات النشر.

تعمل العديد من المؤسسات على تطوير أو تحويل تطبيقات الذكاء الاصطناعي لاستخدام بنية الخدمات المصغرة، التي تقسم التطبيقات إلى عناصر أصغر مترابطة بشكل مرن وتركز على وظائف أعمال محددة.

يجعل هذا النهج عملية تطوير وتوسيع وتحديث أحمال تشغيل الذكاء الاصطناعي بشكل مستقل أسهل، وهو جزء مهم من عملية النقل بالحاويات التي تهدف إلى نشرها عبر البيئات الهجينة المختلفة.

فهم كيفية إدارة أحمال تشغيل الذكاء الاصطناعي القائمة على الحاويات على نطاق واسع يبدأ بفهم الحاويات، وهي وحدات الحوسبة الفعلية للبنية التحتية الحديثة للسحابة الأصلية. تضع الحاويات التطبيقات وملحقاتها في وحدات قابلة للنقل عبر بيئات تشغيل الحاويات مثل Docker، وهو منصة مفتوحة المصدر تعمل بشكل متسق عبر البيئات المختلفة.

يمكن لمنصة تنسيق الحاويات  Kubernetes  أتمتة عمليات نشر وتوسيع وإدارة تلك الحاويات عبر مجموعات Kubernetes، التي تتكون من عُقد مثل الأجهزة المادية أو الأجهزة الافتراضية. يضمن هذا النهج توزيع أحمال تشغيل الذكاء الاصطناعي واستهلاك الموارد بكفاءة من خلال موازنة الأحمال والتوسع التلقائي.

تُنفذ مختلف أحمال التشغيل في حجيرات خاصة بها، والتي تعمل Kubernetes على جدولتها ومراقبتها. يمكن أن تنتقل أحمال تشغيل الذكاء الاصطناعي المبنية والمختبرة في بيئة معينة إلى بيئة أخرى من دون إعادة بنائها عندما تحتاج الأنظمة إلى الانتقال بين البيئات المحلية والسحابة.

يتطلب تطوير النماذج وتدريبها الوصول السريع إلى مجموعات البيانات الكبيرة من خلال مسارات بيانات موثوقة. تتواصل الأنظمة من خلال واجهات برمجة التطبيقات (APIs)، ما يجعل اتساق عملية توجيه البيانات والوصول والتكامل عبر البيئات المختلفة أمرًا ضروريًا مع تزايد عدد النماذج.

تتطلب أحمال تشغيل استدلال الذكاء الاصطناعي اتصالات ذات زمن انتقال قصير بالبيانات وتطبيقات الذكاء الاصطناعي التي تخدمها في مرحلة الإنتاج. ومع تزايد عدد الأنظمة في المؤسسة، تزداد صعوبة إدارة حركة البيانات والحفاظ على الجودة والتأكد من وصول البيانات الصحيحة إلى النموذج الصحيح. وهنا يبرز دور تقنية التخزين المدعوم بالذكاء الاصطناعي .

تطبق عمليات التعلم الآلي مبادئ DevOps على دورة التعلم الآلي (ML) والذكاء الاصطناعي، بما في ذلك تطوير النماذج واختبارها ونشرها ومراقبتها عبر مسارات التكامل المستمر/النشر المستمر. وتتضمن دورة الحياة هذه تقديم خدمات النماذج من خلال الإدارة المستمرة لمرحلة الإنتاج.

ومن دون عمليات التعلم الآلي (MLOPs)، تنحرف النماذج، وتتأخر إعادة التدريب، وتفقد الفرق الرؤية بشأن مقاييس الأداء الرئيسية مثل زمن الانتقال ومعدل النقل.

توسع عمليات الذكاء الاصطناعي التوليدي (GenAIOps) عمليات MLOps لتشمل الذكاء الاصطناعي التوليدي، حيث تقدم نماذج الأساس، وأنظمة التوليد المعزز بالاسترجاع، و وكلاء الذكاء الاصطناعي أنماطًا تشغيلية جديدة. من السهل نسبيًا مراقبة روبوتات المحادثة التقليدية التي تسترجع المعلومات. بينما يمكن لأنظمة الذكاء الاصطناعي الوكيل، مثل الوكيل الافتراضي، أن تعمل بطريقة غير خطية، حيث تختار بين الإجراءات وتُجري تعديلات عبر أنظمة ونقاط نهاية متعددة.

توفر إدارة أحمال تشغيل الذكاء الاصطناعي القابلة للتوسع مجموعة من المزايا للشركات التي تدير أنظمة ذكاء اصطناعي معقدة:

• مركزية الرؤية والتحكم: تسهل قابلية الملاحظة عبر عمليات نشر الذكاء الاصطناعي وأدائه الإدارة على نطاق واسع واكتشاف المشكلات قبل أن تؤثر في الأعمال. كما تعني قابلية النقل عبر البيئات أن الفرق ليست مقيدة بنهج بنية تحتية واحد مع تغير الاحتياجات.

• الكفاءة التشغيلية: تحافظ الأدوات وممارسات النشر المتسقة عبر الفرق على سير العمليات بشكل موثوق مع زيادة عدد أنظمة الذكاء الاصطناعي، ما يضمن بقاء الوظائف الأساسية مستقرة مع إضافة إمكانات جديدة.

• التحكم في التكاليف: في غياب التنسيق المناسب، تُهدر موارد وحدات معالجة الرسومات أو تُشترى بشكل مفرط. تدعم إدارة الموارد فعالية التكلفة مع زيادة عمليات نشر الذكاء الاصطناعي.

• سرعة الوصول إلى السوق: يمكن للفرق التي تنفذ العمليات الصحيحة العمل بشكل أسرع. فما كان يستغرق شهورًا في السابق يمكن أن يحدث في أسابيع عند توفير البنية التحتية والعمليات الصحيحة للذكاء الاصطناعي.

• الامتثال والحوكمة: مع تطور اللوائح، تصبح المؤسسات التي تلتزم بإدارة أحمال تشغيل الذكاء الاصطناعي في وضع أفضل لتلبية متطلبات تخزين البيانات، والتدقيق، والشفافية.

• الابتكار على نطاق واسع: تتيح البنية التحتية والممارسات التشغيلية المناسبة للفرق إمكانية التركيز على الابتكار بدلاً من حل المشكلات.

تختلف إدارة أحمال تشغيل الذكاء الاصطناعي على نطاق واسع من مجال إلى آخر، ومع ذلك يظل للتحديات الأساسية مثل التكلفة والامتثال والموثوقية دور في كل مجال.

وفيما يلي بعض الأمثلة.