ما هو التعلم المستمر؟

يسمح التعلم التدريجي للنماذج باكتساب معرفة جديدة ومواكبة عدم القدرة على التنبؤ بالعالم الحقيقي دون نسيان المعرفة القديمة. البيانات غير الثابتة تعني أن توزيعات البيانات ليست ثابتة. عند تنفيذه بنجاح، يؤدي التعلم المستمر إلى نماذج تحافظ على المعرفة المرتبطة بالمهام المحددة، وفي الوقت نفسه تستطيع التعميم عبر توزيعات البيانات المتغيرة. 

تم تصميم نماذج التعلم المستمر لتطبيق البيانات الجديدة بشكل تكيفي في البيئات المتغيرة. يُعرَف التعلم المستمر أيضًا باسم التعلم مدى الحياة، وهو مستوحى من مفاهيم علم الأعصاب المتعلقة بالطريقة التي يتعلم بها البشر أشياء جديدة مع الاحتفاظ أيضًا بما يعرفونه بالفعل. إذا تعلَّم الشخص ركوب لوح التزلج، فإنه لا ينسى فورًا كيفية ركوب الدراجة.

تعمل أنظمة التعلم الآلي التقليدي على تدريب النماذج على مجموعات البيانات الثابتة الكبيرة. تمر مجموعة البيانات عبر خوارزمية النموذج على دفعات حيث يعمل النموذج على تحديث أوزانها أو مَعلماتها. يعالج النموذج مجموعة البيانات بأكملها عدة مرات، حيث تُعرَف كل دورة باسم "حقبة" (epoch). 

يحدِّد المطورون الغرض من نموذج التعلم العميق في وقت مبكر، ويعملون على تجميع مجموعة بيانات تدريب لتناسب هدف التعلم وتدريب النموذج على تلك البيانات. بعد ذلك، يتم اختبار النموذج والتحقق من صحته ونشره. يمكن أن يؤدي الضبط الدقيق لنموذج التعلم الآلي بمزيد من البيانات إلى تخصيص الأداء للمهام الجديدة. 

لا تعكس أساليب التعلم التقليدي ديناميكية العالم الحقيقي بشكل كامل. يستخدم التعلم الخاضع للإشراف مجموعات بيانات ثابتة ذات نتائج معروفة. ويُتيح التعلم غير الخاضع للإشراف للنموذج فرز البيانات من تلقاء نفسه، لكن بيانات التدريب لا تزال محدودة وغير متغيرة. ويُعَد التعلم المعزز آمنًا ومقيدًا أيضًا. 

على عكس طرق التعلم التقليدي، يحاول التعلم المستمر تطبيق مرونة الدماغ البشري على الشبكات العصبية الاصطناعية. المرونة العصبية هي خاصية الدماغ التي تمكِّنه من التكيف والتعلم دون نسيان المعرفة السابقة عند مواجهة ظروف متغيرة. 

لا تزال بعض أنواع التعلم المستمر تبدأ بالتدريب على دفعات دون اتصال بالإنترنت في فترات متعددة، على غرار التدريب التقليدي غير المتصل بالإنترنت. يعتمد التعلم المستمر عبر الإنترنت فقط على تدريب النماذج باستخدام تدفق من البيانات ذات المرور الواحد. 

يساعد التعلم المستمر الشبكات العصبية على التحسين والتكيف في البيئات الديناميكية. يتطلب التعلم الآلي التقليدي مجموعات بيانات واسعة وثابتة، ووقتًا وحوسبة كافية للتدريب، وغرضًا معروفًا للنموذج. عندما لا يتم استيفاء واحد أو أكثر من هذه المتطلبات، يُعَد التعلم المستمر بديلًا. 

• التخفيف من النسيان الكارثي

• مجموعات بيانات التدريب الصغيرة 

• تغيير توزيعات البيانات

• تحسين الموارد 

• تحمُّل الضوضاء 

عندما يتم تدريب نماذج التعلم العميق على بيانات جديدة أو توزيعات جديدة، يمكن أن يتم فقدان المعرفة السابقة. تُعرَف هذه الظاهرة باسم النسيان الكارثي، وهي نتيجة لفرط ملاءمة النموذج لمَعلماته للبيانات الجديدة. تحدِّث أوزانها الداخلية إلى درجة تصبح فيها المَعلمات الجديدة غير ملائمة للوظيفة الأصلية للنموذج. 

يعمل التعلم المستمر على بث بيانات التدريب بشكل تدريجي من خلال نماذج الذكاء الاصطناعي. تتم تغذية النموذج بسلسلة من مجموعات البيانات الصغيرة، والتي تتكون أحيانًا من عينة واحدة فقط. يساعد التعلم بالنقل -عندما يطبِّق النموذج التعلم السابق على مهام جديدة- على تقليل كمية البيانات الجديدة المطلوبة. 

العالم في حالة تغيُّر مستمر. تطورت لدى البشر والحيوانات الأخرى القدرة على التعلم لمساعدتهم على التكيف والازدهار في مواجهة الصعاب. على سبيل المثال، إذا نفد أحد الإمدادات الغذائية، فإن معرفة كيفية تناول شيء آخر يمكن أن يضمن البقاء على قيد الحياة. 

لكن ليست الحيوانات قادرة على ذلك. فلا يستطيع الكوالا حتى التعرُّف على مصدر طعامه الرئيسي -أوراق الكافور- إذا تمت إزالته من الشجرة ووضعه في كومة على طبق. على الرغم من أن الكوالا أحيانًا يأكل أوراقًا من أشجار أخرى، فإنه يفكّر في الطعام فقط على أنه "أوراق على الأشجار". أدمغتهم البسيطة لا تسمح لهم بالخروج عن هذا التوقع. 

تخيَّل نموذج رؤية الكمبيوتر المخصص للاستخدام في السيارات ذاتية القيادة. يجب أن يعرف النموذج كيفية التعرُّف على المركبات الأخرى على الطريق، ولكن أيضًا على المشاة وراكبي الدراجات وراكبي الدراجات النارية والمخاطر. يجب أن يدرك أنماط الطقس وحركة المرور المتغيرة، مثل هطول الأمطار المفاجئ أو إذا كانت سيارة الطوارئ تقترب والأضواء الخاصة بها وصفارات الإنذار مضاءة، ويتكيف معها بشكل لا تشوبه شائبة. 

تتغير اللغات بمرور الوقت. يجب أن يكون نموذج معالجة اللغة الطبيعية (NLP) قادرًا على معالجة التحولات في معنى الكلمات وكيفية استخدامها. وبالمثل، يجب أن يكون النموذج المصمم للروبوتات قادرًا على التكيف إذا تغيّرت بيئة الروبوت. 

تتطلب نماذج الذكاء الاصطناعي موارد مكثفة. ويمكن أن تصل تكلفتها إلى ملايين الدولارات للتدريب واستهلاك كميات كبيرة من الكهرباء والمياه. ليس من الممكن دائمًا نشر نماذج جديدة كلما ظهرت مهام جديدة. كما أنه ليس من الممكن حسابيًا الحفاظ على كل مهمة سابقة في الذاكرة المتاحة للنموذج. 

يسمح التعلم المستمر للنماذج اللغوية الكبيرة (LLMs) والشبكات العصبية بالتكيف مع حالة الاستخدام دون نسيان كيفية التعامل مع التحديات السابقة. يمكن للشركات تقليل عدد النماذج قيد التشغيل من خلال توسيع القدرات المحتملة لكل نموذج تستخدمه. 

إذا تم تدريبها جيدًا، فيجب أن تكون خوارزميات التعلم المستمر قادرة على تحديد البيانات ذات الصلة بثقة مع تجاهل الضوضاء: نقاط بيانات لا معنى لها لا تعكس بدقة قيم العالم الحقيقي. تنتج الضوضاء عن أخطاء الإشارة وأخطاء القياس وأخطاء الإدخال وتشمل أيضًا القيم الخارجية. القيمة الخارجية هي نقاط بيانات تختلف تمامًا عن بقية البيانات بحيث تكون غير ذات صلة. 

يمكن تقسيم تحديات التعلم المستمر على نطاق واسع إلى ثلاث فئات، اعتمادًا على كيفية تغيّر تدفق البيانات بمرور الوقت¹:

• التعلم المستمر التدريجي للمهام
   

• التعلم المستمر التدريجي للمجال
   

• التعلم المستمر التدريجي للفئة

التعلم التدريجي للمهام هو نهج خطوة بخطوة للتعلم متعدد المهام حيث يجب أن تتعلم الخوارزمية إنجاز سلسلة من المهام المختلفة. يجب أن يكون واضحًا للخوارزمية المهمة المتوقعة منها، وذلك عن طريق تمييز المهام بشكل كافٍ عن بعضها أو عن طريق تصنيف الإدخال بالمخرجات المناسبة. 

من الأمثلة الواقعية على التعلم التدريجي للمهام هو تعلُّم كيفية التحدث باللغة اليابانية، ثم الماندرين، ثم التشيكية ثم الإسبانية. عادةً ما يكون من الواضح أي لغة يجب أن يستخدمها المتحدث في أي وقت معين. 

نظرًا لتقديم المهام للنموذج على شكل تسلسل، فإن التحدي يتمثل في مساعدة النموذج على نقل التعلم من مهمة إلى التالية. كما أن العدد الإجمالي للمهام غير معروف دائمًا مسبقًا، خاصةً مع النماذج قيد النشر بالفعل. 

يُعَد منع النسيان الكارثي أمرًا مفروغًا منه، أما الهدف الحقيقي في منهجيات التعلم التدريجي للمهام فهو تمكين النموذج من تطبيق التعلم بالنقل. 

يغطي التعلم التدريجي للمجال التحديات التي يتغير فيها توزيع البيانات، لكن نوع التحدي يظل كما هو. لقد تغيرت الظروف المحيطة بالمهمة بطريقة ما، لكن المخرجات المحتملة لم تتغير. على عكس التعلم التدريجي للمهام، لا يُطلب من النموذج تحديد المهمة المحددة التي يجب حلها. 

على سبيل المثال، يحتاج نموذج مصمم للتعرُّف البصري على الأحرف (OCR) إلى القدرة على التعرُّف على صيغ المستندات المختلفة وأنماط الخطوط المتنوعة. ليس من المهم معرفة كيف أو لماذا تغيّرت البيئة، بل من الضروري إدراك التغيير وإتمام المهمة بغض النظر عنه. 

تمثل التغييرات في توزيع البيانات تحديًا طويل الأمد في التعلم الآلي لأن النماذج عادةً ما يتم تدريبها على مجموعة بيانات منفصلة وثابتة. عندما تتغير توزيعات البيانات بعد النشر، يمكن أن يساعد التعلم التدريجي للمجال النماذج على التخفيف من خسائر الأداء.

التعلم التدريجي للفئة هو عندما يجب على نموذج المصنِّف تنفيذ سلسلة من مهام التصنيف مع عدد متزايد من فئات الإخراج. يجب أن يكون النموذج قادرًا على حل كل مثيل بشكل صحيح مع استدعاء الفئات التي تمت مواجهتها في الحالات السابقة أيضًا. 

قد يُطلب لاحقًا من النموذج المدرَّب على تصنيف المركبات على أنها سيارات أو شاحنات تحديد الحافلات والدراجات النارية. من المتوقع أن يحافظ النموذج على فهمه لجميع الفئات التي تم تعلّمها بمرور الوقت، وليس فقط الخيارات في كل حالة. إذا تم تدريبه على "السيارات مقابل الشاحنات" وتم إعطاؤه لاحقًا "الحافلات مقابل الدراجات النارية"، فيجب أن يحدِّد النموذج أيضًا بنجاح إذا ما كانت المركبة سيارة أم حافلة. 

يُعَد التعلم التدريجي الحديث للفئات أحد أصعب تحديات التعلم المستمر لأن ظهور فئات جديدة يمكن أن يؤدي إلى تآكل الفروق بين الفئات التي تم إنشاؤها مسبقًا.

الهدف من جميع تقنيات التعلم المستمر هو تحقيق توازن بين الاستقرار والمرونة: جعل النموذج مستقرًا بما يكفي للاحتفاظ بالمعرفة المكتسبة سابقًا، وفي الوقت نفسه مرنًا بما يكفي لاكتساب معرفة جديدة. على الرغم من أن الباحثين قد حدّدوا العديد من الأساليب للتعلم المستمر، يمكن تصنيف معظمها ضمن إحدى ثلاث فئات.

• أساليب التنظيم
   

• أساليب عزل المَعلمات
   

• أساليب إعادة التشغيل

التنظيم هو مجموعة من الأساليب التي تقيّد قدرة النموذج على الإفراط في ملاءمة البيانات الجديدة. لا يُسمح للنموذج بتحديث بنيته أثناء التدريب التدريجي، في حين أن تقنيات مثل تقطير المعرفة -حيث "يعلِّم" نموذج أكبر نموذجًا أصغر- تساعد في الحفاظ على المعرفة. 

• تضيف تقنية توحيد الأوزان المرنة (EWC) عقوبة إلى دالة الخسارة في خوارزمية التعلم، والتي تمنعها من إجراء تغييرات جذرية على مَعلمات النموذج. تستخدم خوارزميات التحسين تدرّج دالة الخسارة كمعيار لقياس أداء النموذج. 

• الذكاء المتشابك (SI)، الذي يَحُدّ من تحديثات المَعلمات بناءً على فهم تراكمي للأهمية النسبية لكل مَعلمة. 

• يعمل التعلم دون نسيان (LWF) على تدريب النماذج باستخدام بيانات المهام الجديدة والحفاظ على المعرفة القديمة من خلال الحفاظ على احتمالات مخرجات المهام السابقة.

يعمل عزل المَعلمات على تغيير جزء من بنية النموذج لاستيعاب المهام الجديدة أثناء تجميد المَعلمات للمهام السابقة. يعيد النموذج بناء نفسه لتوسيع قدراته، ولكن مع التحذير من أنه لا يمكن تعديل بعض المَعلمات. يتم إجراء التدريب اللاحق فقط على المَعلمات المؤهلة للمهام الجديدة. 

على سبيل المثال، تُنشئ الشبكات العصبية التقدُّمية (PNNs) أعمدة من الشبكات العصبية الخاصة بالمهام الجديدة. تُتيح الاتصالات المتوازية بالأعمدة الأخرى التعلم بالنقل مع منع تغيير هذه الأعمدة.

تتضمن أساليب إعادة التشغيل تعريض النموذج بانتظام أثناء عمليات التنشيط لعيّنات من مجموعة البيانات السابقة. يحفظ التعلم المستمر القائم على إعادة التشغيل عيّنات من البيانات القديمة في مخزن ذاكرة مؤقت ويدمجها في دورات التدريب اللاحقة. يمنع استمرار التعرض للبيانات القديمة النموذج من الإفراط في ملاءمة البيانات الجديدة. 

تُعَد أساليب الذاكرة فعَّالة بشكل موثوق به ولكنها تأتي على حساب الوصول المنتظم إلى البيانات السابقة، الأمر الذي يتطلب مساحة تخزين كافية. يمكن للمواقف التي تنطوي على استخدام البيانات الشخصية الحساسة أيضًا أن تمنع مشكلات تنفيذ أسلوب الذاكرة. 

إعادة التشغيل التوليدي تستخدم نموذجًا توليديًا لإنشاء عيّنات من البيانات السابقة لتغذية النموذج الجاري تدريبه، مثل مصنِّف يحتاج إلى تعلُّم فئات جديدة دون نسيان الفئات القديمة.