ما المقصود بالتعلم الآلي الموزع؟

نظرًا لأن نماذج الذكاء الاصطناعي تختلف من حيث الحجم والتعقيد، يمكن أن تتجاوز الموارد الحسابية اللازمة للتدريب سعة جهاز واحد. وبالمثل، يمكن أن تكون المهام المعقدة واسعة النطاق صعبة للغاية أو تتطلب ذاكرة أكثر مما يمكن أن يوفره جهاز واحد. تعمل الأنظمة الموزَّعة على تقسيم مجموعة البيانات أو نماذج الذكاء الاصطناعي عبر أجهزة أو عُقَد متعددة لتحسين الأداء والدقة والكفاءة. 

التعلم الآلي الموزع هو مجموعة فرعية من الحوسبة الموزَّعة، والتي تشمل جهودًا أوسع نطاقًا لنشر الحوسبة عبر أنظمة معالجة متعددة.

تتضمن أساليب التعلم الآلي الموزع ما يلي: 

• توازي البيانات: تقسيم مجموعة البيانات عبر أجهزة متعددة. 

• توازي النماذج: تقسيم النموذج عبر أجهزة متعددة. 

• التوازي الهجين: الجمع بين جوانب توازي البيانات وتوازي النماذج.

يستخدم إطار عمل التعلم الآلي الموزع عقدة خادم واحدة أو أكثر للحفاظ على تحديثات مَعلمات النموذج، بينما تتعامل العُقد العاملة مع البيانات والحساب.

يقسِّم توازي البيانات مجموعة البيانات الكبيرة التي يتم استخدامها كبيانات تدريب إلى عدد من المجموعات يساوي عدد العُقد في النظام. تستضيف كل عقدة نسخة من نموذج الذكاء الاصطناعي وتزوِّدها بمجموعة فرعية من البيانات الموزَّعة. يمكن تشغيل عمليات توازي البيانات بشكل متزامن أو غير متزامن. يُعَد التدريب المتزامن أكثر شيوعًا مع نماذج التعلم العميق؛ لأنه يضمن الاتساق، ولكن على حساب السرعة. 

نظرًا لأن كل عقدة تتولى تشغيل نسخة كاملة من النموذج، يجب أن يحتوي الجهاز على ذاكرة كافية لاستضافتها. ومع ذلك، يتم تقليل أعباء عمل الذكاء الاصطناعي لكل عقدة نظرًا لأن كلًّا منها يعالج جزءًا فقط من مجموعة البيانات.

يشبه التعلم الموحَّد عملية توازي البيانات من حيث إن العُقد المتعددة تعمل على تدريب نُسخ من النموذج على مجموعات فرعية من البيانات. ومع ذلك، لا يتم إنشاء أقسام البيانات من تجمُّع بيانات مركزي ولكنها تتكون من بيانات محلية لكل عقدة. يتم تجميع تحديثات النموذج بين العُقد، بينما لا تترك البيانات مصدرها الأصلي أبدًا. 

نظرًا لأن كل مجموعة بيانات تكون محلية، غالبًا ما يستخدم علماء البيانات التعلم الموحَّد في تطبيقات التعلم العميق الموزَّعة التي تتطلب أمانًا عاليًا للبيانات أو تخضع للَّوائح قانونية. قد تتسبب مجموعات البيانات المركزية في الكشف عن معلومات التعريف الشخصية (PII) عن طريق الخطأ أثناء النقل. يخفِّف التعلم الموحَّد من هذا الخطر عن طريق عزل كل مجموعة بيانات في عقدتها الخاصة.

في توازي النماذج، يتم تقسيم النموذج إلى عناصر جزئية، مثل طبقات الشبكة العصبية العميقة، يمكنها العمل بشكل مستقل ومتزامن عبر عُقد منفصلة. يستخدم كل جزء من النموذج البيانات نفسها. يُعرف توازي النماذج أيضًا بالتوازي الشبكي. 

عندما يكون نموذج التعلم الآلي الواحد كبيرًا جدًا بحيث لا يمكن لجهاز واحد التعامل معه، فإن توازي النماذج يسمح بتشغيل النموذج عبر عُقد متعددة. تعالج كل عقدة جزءًا من النموذج؛ لذا فإن متطلبات الحوسبة والذاكرة الخاصة بها أقل مما لو كان على جهاز واحد تشغيل النموذج بالكامل. 

عادةً ما يكون تنفيذ توازي النماذج أكثر صعوبةً من توازي البيانات. تؤثِّر خوارزمية التعلم الآلي الموزَّعة المحددة بشكل مباشر على قابلية توسُّع الطريقة، حيث تتناسب بعضها مع التقنية أكثر من غيرها. يجب أن يكون النظام مبنيًا بطريقة تقلل من مقدار مشاركة البيانات بين العُقد. تتطلب أنظمة توازي النماذج عالية الأداء تصميمًا وتحسينًا على مستوى الخبراء. 

غالبًا ما يتم دمج توازي النماذج مع توازي البيانات؛ كي يعالج كل جزء من النموذج جزءًا مختلفًا من بيانات الإدخال. ويتم تجميع النتائج عبر الشبكة.

توازي المسارات هو نوع من توازي النماذج الذي يقسِّم النموذج بالتتابع. تتم استضافة كل مرحلة من النموذج على عقدة خاصة بها. تتم معالجة دفعات البيانات بالتتابع عبر المراحل، على غرار الطريقة التقليدية التي تمرِّر فيها سلسلة من الأشخاص دلوًا من الماء من شخص لآخر، من مصدر الماء إلى موقع الحريق. 

يمكن أن يؤدي توازي المسارات إلى تحسين معدل الإنتاجية - حجم البيانات التي يمكن للنموذج معالجتها مرة واحدة. ومع ذلك، فإن هذا التعزيز يأتي مع تكلفة زيادة زمن الانتقال، وهو مقدار الوقت الذي يستغرقه توليد النتيجة بعد تلقي الإدخال. 

ترجع الزيادة في زمن الانتقال إلى مرحلة التكثيف التي يتم خلالها تمرير الدفعات الأولية الدقيقة من البيانات عبر التسلسل. لا يمكن تهيئة المراحل اللاحقة في مسار التعلم الآلي حتى تمر الدفعات الصغيرة الأولى من البيانات عبر المراحل السابقة.

يظهر توازي التنسورات عندما تتطلب طبقة واحدة من الشبكة العصبية العميقة قدرًا كبيرًا جدًا من القدرة الحاسوبية أو مساحة تخزينية تتجاوز طاقة جهاز واحد. طبقات الانتباه الذاتي والتضمين -وهما ركيزتان أساسيتان في بنية المحول- يمكن أن تصبحا كبيرتين جدًا، ما يعني أن تطوير جميع النماذج اللغوية الكبيرة (LLM) تقريبًا يتضمن توازي التنسورات. دون توازي التنسورات، سيكون من شبه المستحيل تدريب النماذج اللغوية الكبيرة (LLMs)؛ لأن الطبقات ضخمة جدًا بحيث لا يمكن لأي جهاز واحد التعامل معها. 

في توازي التنسورات، يتم توزيع مَعلمات الطبقة الواحدة على وحدات معالجة رسومات (GPUs) أو وحدات معالجة تنسورات (TPUs) متعددة. يحسب كل جهاز جزءًا من عمليات طبقة واحدة، ويتم تجميع النتائج الجزئية لإنتاج مخرجات الطبقة. 

بالمقارنة مع توازي البيانات والعديد من الأنواع الأخرى من توازي النماذج، تتطلب مهام سير عمل توازي التنسورات المزيد من التواصل بين العُقد. يمكن أن تساعد الشبكات ذات النطاق الترددي العالي على تقليل عوائق الاتصالات.

لا يتم استخدام تقنيات توازي البيانات والنماذج في كثير من الأحيان بمعزل عن بعضها. وغالبًا ما يتم دمجها في تكوينات التوازي الهجين المختلفة. أطر التعلم العميق مفتوح المصدر PyTorch وTensorFlow، كلاهما يدعم Python، يتم استخدامها بشكل شائع لبناء أنظمة التعلم الآلي الموزع. 

تعتمد معظم النماذج اللغوية واسعة النطاق، بما في ذلك عائلة GPT، على التوازي الهجين للتدريب بكفاءة على نطاق واسع.

يمكن للتعلم الآلي الموزع أن يعزز كل مرحلة من مراحل مسار التعلم الآلي: عملية بناء نماذج التعلم الآلي وتدريبها ونشرها. المعالجة المسبقة والتدريب والضبط الدقيق والتحقق والاستدلال والنشر. 

• المعالجة المسبقة للبيانات الموزَّعة 

• التدريب الموزع

• الضبط الدقيق الموزع 

• التحقق الموزَّع 

• الاستدلال الموزع 

• النشر الموزع 

تستخدم المعالجة المسبقة للبيانات الموزَّعة شبكات مرتبطة من العُقد -المعالجات أو الأجهزة المتعددة، وليست الخلايا العصبية الفردية للشبكة العصبية، والتي يُشار إليها أحيانًا باسم "العُقد"- لإعداد مجموعات البيانات الكبيرة للتحليل والمزيد من الاستخدام. 

تُدير عقدة التحكم المركزية سير العمل، حيث تقسِّم البيانات وتعيّنها للعُقد العاملة. يؤدي توزيع العمل عبر المعالجة المتوازية إلى زيادة قابلية التوسع والكفاءة مقارنةً بالنماذج التقليدية التي تعتمد على جهاز واحد.

يستفيد التدريب الموزع من تقنيات التعلم الآلي الموزع لنشر تدريب النماذج عبر الأجهزة. على سبيل المثال، غالبًا ما تستخدم هذه التقنية مع الشبكات العصبية. عندما تكون الشبكة أو مجموعة البيانات أو كلتاهما معًا كبيرة جدًا بالنسبة لمعالج واحد، فإن التدريب الموزع ينشر أعباء العمل على عدة خوادم أو وحدات معالجة رسومات أو أجهزة متعددة. 

خوارزمية الانحدار العشوائي التدريجي (SGD) هي خوارزمية تعلُّم تعمل على تقسيم مجموعة البيانات إلى دفعات صغيرة، وتحسب تدرّج دالة الخسارة بعد كل دفعة. يؤدي استخدام دفعات صغيرة بدلًا من مجموعة البيانات الكاملة إلى جَعْل التدريب أكثر كفاءة. 

تقيس دالة الخسارة مقدار الخطأ في تنبؤات النموذج، ويكمن هدف خوارزمية الانحدار العشوائي التدريجي (SGD) في النزول على طول التدرج لتقليل قيمة الدالة إلى أدنى حد ممكن. كما هو الحال مع تدريب النموذج القياسي، تُعَد عملية التدريب مكتملة عندما يصل النموذج إلى التقارب: عندما تقلل خوارزمية SGD بنجاح من قيمة الدالة. 

تعالج العقد الدفعات المصغّرة بالتوازي، وذلك ممكن لأن كل دفعة تتم معالجتها بشكل مستقل عن الأخرى ضمن كل دورة تكرار. تحسب كل عقدة تدرّجها، ثم تدفع قيمة التدرّج المحدَّثة إلى العُقد الأخرى في الشبكة. العُقد العاملة الأخرى تنفِّذ التحديثات التي تتلقاها في نماذجها الخاصة، ما يساعد على ضمان بقاء جميع نسخ النموذج متطابقة طوال عملية التدريب. 

دالة AllReduce هي عملية اتصال جماعي تُتيح لكل عقدة مشاركة نتائجها ونشر النتائج المجمّعة عبر الشبكة. تُتيح AllReduce لجميع العُقد مزامنة تحديثات مَعلمات النموذج والحفاظ على الاتساق. تم استخدام AllReduce منذ فترة طويلة في الحوسبة عالية الأداء، وقد أصبحت شائعة في أطر عمل التعلم الآلي مثل Horovod. 

يمكن تشغيل SGD بشكل متزامن أو غير متزامن. يعمل SGD المتزامن على تحديث جميع العُقد في الوقت نفسه، ما يحافظ على الاتساق على حساب التأخير المحتمل إذا تأخرت بعض العُقد. يعمل SGD غير المتزامن بتحديث المعلمات بمجرد أن يكون التحديث جاهزًا، ولكن قد تتلقى بعض العُقد تحديثات لا تتضمن أحدث القيم. 

من خلال تقليل الموارد الحسابية المطلوبة لكل جهاز، يمكن للتدريب الموزع تسريع أوقات التدريب. ونظرًا لأنه كثيف الحوسبة، يُعَد التدريب إحدى حالات الاستخدام الأساسية للتعلم الآلي الموزع.

تنطبق مبادئ وفوائد التدريب الموزع نفسها على الضبط الدقيق الموزع. يؤدي الضبط الدقيق إلى تدريب النموذج المدرب مسبقًا بشكل أكبر للتخصص في مهام أكثر تحديدًا. ويؤدي تطبيق تقنيات التعلم الآلي الموزَّع إلى جعل العملية أسرع وأكثر كفاءة وقابلية للتطوير.

التحقق هو عملية تقييم أداء نموذج مدرَّب. يؤدي توزيع مجموعة بيانات التحقق أو نموذج كبير عبر عُقد متعددة إلى توفير الفوائد نفسها مثل بقية عملية التدريب الموزع. 

الاستدلال هو العملية التي يقوم بها نموذج الذكاء الاصطناعي المدرَّب بمعالجة البيانات الجديدة للتعرُّف على الأنماط وتوليد المخرجات أو التوقعات. يتيح توزيع عبء العمل عبر أجهزة متعددة تشغيل نماذج ذكاء اصطناعي تفوق قدرة جهاز واحد على معالجتها. يمكن للاستدلال الموزع أيضًا تسهيل زيادة الإنتاجية وتقليل زمن الانتقال.

تتولى عملية النشر الموزع إدارة تشغيل تطبيق برمجي عبر شبكة من العُقد. تساعد موازنة التحميل عبر العُقد العاملة على التخفيف من العوائق وتحسين كفاءة الموارد، ما يؤدي إلى زيادة الإنتاجية وتقليل زمن الانتقال.

تتضمن فوائد التعلم الآلي الموزع ما يلي: 

• الكفاءة 

• قابلية التوسع

• التكرار

تعمل أتمتة عبء العمل وتقسيمه بين أجهزة متعددة على تقليل العبء على أي جهاز واحد. يمكن للعُقد العمل بالتوازي لإكمال المهام طويلة المدى بشكل أسرع، ثم تجميع مخرجاتها في النتيجة النهائية. 

سيستغرق تدريب نموذج للتعرُّف على الصور باستخدام ImageNet (وهو مجموعة بيانات تحتوي على أكثر من 14 مليون صورة مصنّفة) أسابيع على وحدة معالجة رسومات واحدة. مع التعلم الآلي الموزع، يمكن حتى للشركات الناشئة الصغيرة أن تؤدي هذه المهمة في ساعات.

لا تحتاج المؤسسات إلى الاستثمار في حواسيب فائقة القدرة لتشغيل النماذج اللغوية الكبيرة (LLMs) والأنظمة الأخرى كثيفة الموارد. تمكِّن الحوسبة الموزَّعة مزوِّدي الخدمات السحابية من تنسيق بنية تحتية هائلة عبر العديد من الخوادم ومراكز البيانات، وتوفيرها للعملاء من المؤسسات عند الطلب.

يمكن إكمال مهام علم البيانات المكثفة مثل معالجة البيانات باستخدام البيانات الكبيرة دون الحاجة إلى استثمار كبير في البنية التحتية. تُتيح معالجة البيانات على نطاق واسع حتى للشركات الناشئة الصغيرة تقديم خدمات لمستخدميها مثل أنظمة التوصية أو روبوتات المحادثة. 

في المقابل، تقع مراكز البيانات فائقة التوسُّع في الجانب الآخر من نطاق قابلية التوسع. حيثما تسمح الموارد، تبني المؤسسات مجموعات خوادم ضخمة لتشغيل أكثر الشبكات العصبية العميقة تقدمًا. لن يكون من الممكن تشغيل نماذج بهذا الحجم عبر الآلاف من وحدات معالجة الرسومات دون التعلم الآلي الموزع.

يعتمد العديد من الأنظمة في العالم الحقيقي على القدرة على تحمُّل الأعطال - أي القدرة على الاستمرار في العمل حتى في حالة فشل العُقد الفردية. يحتاج موفرو النماذج إلى التأكد من أن المستخدمين الفرديين وكذلك التطبيقات المتصلة بواجهات برمجة التطبيقات يمكنهم الاستمتاع بالوصول دون انقطاع. في التعلم الآلي الموزع، يحافظ التكرار على وقت التشغيل من خلال تكرار العمليات عبر العُقد بحيث لا يؤدي الفشل إلى انقطاع الخدمة.

تتضمن تحديات تنفيذ التعلم الآلي الموزع الفعَّال ما يلي: 

• عوائق الشبكة

• العبء الناتج عن المزامنة 

• استهلاك الطاقة

يُعَد ضعف عرض النطاق الترددي بين العُقد سببًا شائعًا للعوائق في شبكات التعلم الآلي الموزع. والطرق مثل توازي التنسورات التي تتطلب المزيد من الاتصالات هي الأكثر استهلاكًا للنطاق الترددي. إذا كانت الشبكة غير قادرة على توفير النطاق الترددي المطلوب، فستواجه مشاريع التعلم الآلي الموزع زيادة في أوقات التدريب وانخفاضًا في قابلية التوسع.

يشير العبء الناتج عن المزامنة إلى التأخير الذي يحدث عندما يتعذر بدء مهمة قبل اكتمال مهمة أخرى. في النظام المتزامن، يجب على جميع العُقد العاملة تحميل البيانات المشتركة قبل الانتقال إلى المرحلة التالية من التدريب. تُعرَف هذه اللحظة باسم حاجز المزامنة، لأنها تمنع بدء المرحلة التالية حتى تتم مزامنة جميع العُقد. 

العُقد المتأخرة -وهي العُقد التي تستغرق وقتًا أطول من غيرها لإتمام مهامها- تُبطئ العملية بالكامل. تزيل الأنظمة غير المتزامنة حاجز المزامنة، ولكن على حساب احتمال عمل بعض العُقد بإعدادات مَعلمات قديمة.

يمكن أن تكون الشبكات الموزَّعة عالية الاستهلاك للطاقة، ليس بسبب العُقد فقط، بل أيضًا بسبب الاتصالات فيما بينها. يمكن أن يختلف استهلاك الطاقة اعتمادًا على تنفيذ نظام التعلم الآلي الموزع وبنيته. 

• المتطلبات الحاسوبية: إن وحدات معالجة الرسومات عالية الأداء اللازمة للعديد من مهام التعلم الآلي الصعبة تستهلك الكثير من الطاقة. 

• الاتصالات: تحتاج العُقدة إلى شبكات عالية السرعة للتواصل بفاعلية وتقليل العب الناتج عن المزامنة. 

• السحابة أو حوسبة الحافة: تستهلك مراكز البيانات فائقة النطاق التي تشغِّل نماذج الذكاء الاصطناعي كميات هائلة من الطاقة. يمكن أن تساعد حوسبة الحافة على خفض تكاليف الشبكة. 

• خوارزمية وخيارات معالجة البيانات: يمكن أن يؤدي اختيار الخوارزمية الصحيحة وممارسات معالجة البيانات الجيدة مثل هندسة الميزات إلى زيادة كفاءة النماذج.

تنفِّذ أطر عمل التعلم الآلي الموزع التعلم الآلي مع تحسين الذاكرة واستخدام الموارد. يمكنها أيضًا المساعدة على توسيع نطاق تطبيقات التعلم الآلي (ML) وتقليل أوقات التدريب والسيطرة على التكاليف.

تتضمن أطر عمل التعلم الآلي الموزع البارزة ما يلي:

• PyTorch Distributed
   

• Apache Spark
   

• TensorFlow Distributed
   

• Ray Train
   

• InstructLab

يتوفر PyTorch Distributed ضمن إطار التعلم الآلي الشهير PyTorch، وهو عبارة عن مجموعة أدوات تُستخدم لبناء وتوسيع نطاق نماذج التعلم العميق عبر أجهزة متعددة. تُعنى حزمة torch.distributed بالاتصال داخل العقدة، مثل عمليات AllReduce. ويسمح الدعم المدمج لتوازي البيانات وتوازي النماذج بمجموعة من أساليب التدريب الموزع.

يُعَد Apache Spark إطار عمل راسخًا في مجال التعلم الآلي ويدعم التدريب الموزع. يمكن للمستخدمين بناء مسارات تعلُّم آلي متكاملة تتكامل مع منظومة Spark الأوسع، بما في ذلك Spark SQL لمعالجة قواعد البيانات. ويقدِّم Spark مكتبتين: MLlib الأصلية وSparkML الأحدث.

تُتيح واجهة برمجة التطبيقات tf.distribute.Strategy في TensorFlow إمكانية تنفيذ التعلم الآلي الموزع، وتدعم مجموعة من الأساليب مثل استخدام عدة وحدات معالجة رسومات على جهاز واحد أو عبر أجهزة متعددة وغيرها. على سبيل المثال، تعمل ParameterServerStrategy على تخزين المَعلمات على خوادم مخصصة، بحيث تصل إليها العُقد العاملة عند الحاجة.

تُعَد Ray Train مكتبة التدريب الموزع والقابلة للتوسّع ضمن إطار Ray ML المخصص للحوسبة الموزَّعة. تتوافق Ray Train مع كلٍّ من PyTorch وTensorFlow. وتدعم مكتبة Ray Tune ضبط المَعلمات الفائقة الموزَّعة عبر أجهزة متعددة.

يتَّبع InstructLab نهجًا مبتكرًا في التعلم الآلي الموزع، متخليًا عن عنقود وحدات معالجة الرسومات التقليدي لصالح أسلوب قائم على المجتمع، يشبه إلى حد ما التمويل الجماعي. يساهم أفراد المجتمع بتحديثات المَعلمات في مستودع مركزي، ويمكنهم ضبط النماذج على أجهزتهم الشخصية.