ما المقصود بخوارزميات التعلم الآلي؟

غالبًا ما يتم استخدام مصطلحَي "الخوارزمية" و"النموذج" بالتبادل، لكنهما يمثِّلان مفاهيم مختلفة (وإن كانت مترابطة). الخوارزمية هي مصطلح عام لعملية خطوة بخطوة، وعادةً ما يتم وصفها بلغة رياضية أو شفرة زائفة، لأداء بعض الوظائف أو الغرض. في سياق الذكاء الاصطناعي، تُعَد نماذج الذكاء الاصطناعي أي برنامج يتلقى إدخالًا ويُخرِج تنبؤًا أو قرارًا دون مزيد من التدخل البشري.

خوارزمية التعلم الآلي هي مجموعة محددة من الخطوات المستخدمة لتدريب نموذج التعلم الآلي حتى يتمكن من إجراء تنبؤات مفيدة في حالة الاستخدام في العالم الحقيقي. ولا يشمل ذلك فقط الطريقة التي يعيِّن بها النموذج الإدخال إلى المخرجات المقابلة له، بل يشمل أيضًا عملية تحسين تنبؤات النموذج "لتتناسب" مع مجموعة بيانات تدريبية من الأمثلة ذات الصلة. إنها خوارزمية تمكِّن الآلة من التعلم من البيانات.

من الناحية المباشرة، تكون نتيجة تطبيق خوارزمية التعلم الآلي على مجموعة بيانات هي نموذج مدرَّب. يمكن فهم "التدريب" على أنه عملية تكرارية لتحديث مَعلمات النموذج، الجوانب القابلة للتعديل للمنطق الرياضي الذي يستخدمه النموذج لإجراء تنبؤات أو قرارات بشأن بيانات الإدخال، بطريقة تُنتِج مخرجات أكثر فائدة.

رغم وجود خوارزميات تعلم آلي مصممة خصيصًا لتدريب النماذج على أداء مهمة واحدة محددة، فإن ذلك يُعَد استثناءً وليس قاعدة. بشكل عام، تمتلك كل خوارزمية تعلم آلي خصائص رياضية أو عملية معينة تجعلها مناسبة لأنواع محددة من المهام (أو لأنواع أو كميات معينة من البيانات). في العديد من الحالات، يمكن استخدام تقنية التعلم الآلي نفسها لتدريب نماذج لمهام متعددة (وإن كانت متشابهة). وعلى العكس، يوجد في الغالب أكثر من خوارزمية تعلم آلي واحدة مناسبة تمامًا لتدريب نموذج لأداء أي مهمة محددة.

تتمثل الفائدة الأساسية من خوارزميات التعلم الآلي في أنها تمكِّن نماذج الذكاء الاصطناعي من التعلم بشكل ضمني من التجربة. ويختلف ذلك عن تقنيات الذكاء الاصطناعي "الكلاسيكية" أو "القائمة على القواعد"، التي تتطلب من عالم بيانات أو خبير متخصص أو مهندس تعلم آلي برمجة منطق اتخاذ القرار في النموذج يدويًا وبشكل صريح. على مدى العقود القليلة الماضية، أصبحت أنظمة التعلم الآلي الشكل السائد للذكاء الاصطناعي وتحليل البيانات بدلًا من الذكاء الاصطناعي القائم على القواعد؛ وذلك لأسبابٍ عدة، من أبرزها أن التعلم الآلي القائم على البيانات الضمنية يتميز بمرونة وقابلية توسُّع وسهولة وصول أكبر بطبيعته.

ومع ذلك، من الضروري الإشارة إلى أن مواءمة النموذج مع بيانات التدريب ليست سوى وسيلة لتحقيق الغاية. الفرضية الأساسية للتعلم الآلي هي أنه إذا تم تحسين أداء النموذج على مهام تجريبية تشبه بدرجة كافية المشكلات الواقعية التي سيتم استخدامه من أجلها، فسيتمكّن النموذج المدرَّب من الأداء جيدًا أيضًا على البيانات الجديدة التي لم يشاهدها أثناء التدريب. الهدف النهائي للتعلم الآلي هو التعميم، أي نقل أداء النموذج من بيانات التدريب إلى بيانات جديدة غير مرئية من قبل. إن التركيز المفرط على التدريب بحد ذاته قد يؤدي إلى خطر الإفراط في التخصيص، وهي ظاهرة تُصبح فيها معرفة النموذج متكيّفة بشكل مفرط مع الأنماط الموجودة في بيانات التدريب، ما يفقده القدرة على التعميم، فينتج نموذجًا يتفوق أثناء التدريب ولكنه يفشل في سيناريوهات العالم الحقيقي.

لذلك، لا يتطلب تدريب نموذج تعلم آلي فعَّال اختيار نوع خوارزمية تعلم آلي مناسبة وضبط إعداداتها فحسب، بل يحتاج أيضًا إلى إعداد بيانات التدريب بعناية والتحقق المدروس من أداء النموذج بعد التدريب.

يمكن تصنيف خوارزميات التعلم الآلي إلى ثلاث فئات أساسية: التعلم الخاضع للإشراف أو التعلم غير الخاضع للإشراف أو التعلم المعزز.يتميّز كل واحد من أنماط التعلم هذه بأهدافه الخاصة، وبنوع مهام التدريب التي تندرج ضمن تلك الأهداف، وبالأساليب المستخدمة لتحسين الأداء في تلك المهام.

• تقوم خوارزميات التعلم الخاضعة للإشراف بتدريب النموذج للتنبؤ بالمُخرج "الصحيح" لمدخل مُعطى؛ بعبارة أخرى، لتعلّم العلاقة بين المتغيرات المستقلة (وهي سمات بيانات المُدخل أو الخصائص) والمتغيرات التابعة (وهي المُخرج أو "الهدف"). حيث يتم استخدامها لتدريب النماذج على مهام تتطلب درجة معينة من الدقة بالنسبة لبعض "الحقيقة الأساسية" المعروفة، مثل التصنيف أو الانحدار. وتأتي هذه الحقيقة الأساسية عادةً (لكن ليس دائمًا) في شكل بيانات مصنفة (موسومة): وهي البيانات التي تم شرحها لتوفير سياق للنموذج؛ مثل مجموعة بيانات تتضمن بيانات مصنفة (موسومة) [input, output] .
  
  
• تقوم خوارزميات التعلم غير الخاضعة للإشراف بتدريب نموذج لتمييز الأنماط الجوهرية والتبعيات والارتباطات في مجموعات البيانات غير المصنفة (غير الموسومة). وعلى عكس التعلّم الخاضع للإشراف، لا يستلزم التعلّم غير الخاضع للإشراف وجود أي حقيقة أساسية خارجية ينبغي مقارنة مخرجاته بها.
  
  
• تقوم خوارزميات التعلم المعزز (RL) بتدريب النموذج في بيئة معينة لتحقيق هدف محدد، وذلك من خلال آلية مستمرة من التجربة والخطأ ونظام مكافآت وعقوبات. فالتعلم المعزز مناسب تمامًا للسيناريوهات التي لا تستلزم وجود أي حقيقة أساسية فردية، لكنها تستلزم الأفعال "الجيدة" (التي تجب مكافأتها) والأفعال "السيئة" (التي تجب معاقبتها). وبينما يتمثل الهدف من خوارزميات التعلم الخاضعة للإشراف في تحسين المعلمات بطريقة تقلل من الخطأ، فإن الهدف من خوارزميات التعلم المعزز هو تحسين معلمات النموذج بطريقة تزيد من المكافأة.

على الرغم من عدم وجود أي خوارزميات للتعلم الآلي لا تندرج تحت أي من هذه النماذج الثلاثة، إلا أن هناك بعض أساليب التعلم التي يكون تصنيفها غامضًا نسبيًا. على سبيل المثال، يجمع التعلم شبه الخاضع للإشراف بين التعلم الخاضع للإشراف والتعلم غير الخاضع للإشراف؛ ويقوم التعلم الذاتي الإشرافي بمعالجة بيانات الإدخال وتصميم مهام التدريب بطريقة تمكّن التعلم الخاضع للإشراف باستخدام بيانات غير مصنفة (غير موسومة).

يمكن تدريب النموذج بأكثر من نوع واحد من خوارزميات التعلم الآلي. على سبيل المثال، تخضع النماذج اللغوية الكبيرة (LLM) عادة لتدريبها الأولي ("التدريب المسبق") من خلال التعلم الخاضع للإشراف الذاتي، لكن يتم ضبطها بعد ذلك من خلال كل من خوارزميات التعلم التقليدية الخاضعة للإشراف بالإضافة إلى خوارزميات التعلم المعزز. وبالمثل، تستلزم خوارزميات التعلم الجماعي تجميع نماذج متعددة في نموذج واحد "نهائي".

خوارزميات التعلم الآلي ليست نمطًا واحدًا يناسب الجميع؛ فلكل خوارزمية العديد من المَعلمات الفائقة التي يجب ضبطها لتكييف النموذج بأفضل شكل مع السيناريو المحدد ومجموعة البيانات التي سيعمل ضمنها. على سبيل التشبيه، يمكن النظر إلى إعداد البيتزا: إذ يمكن تعريف "الخوارزمية" الأساسية لصنع البيتزا على أنها وضع صلصة الطماطم فوق عجينة دائرية، ثم إضافة جبن الموتزاريلا فوق الصلصة، وخَبزها في الفرن - لكن توجد طرق شبه غير محدودة يمكن من خلالها تهيئة هذه "الخوارزمية" لتناسب أذواقًا أو مكونات أو ميزانيات أو قيودًا محددة.

الهدف الرسمي لأي خوارزمية تعلم آلي خاضع للإشراف هو تحسين مَعلمات النموذج بطريقة تقلل مخرجات دالة الخسارة، التي تقيس مقدار الانحراف (أو "الخسارة") بين المخرجات المتوقعة للنموذج لكل إدخال ومخرجات الحقيقة المرجعية المقابلة لتلك الإدخالات.

في التعلم التقليدي الخاضع للإشراف، يتم توفير الحقيقة المرجعية من خلال البيانات المصنفة. على سبيل المثال، يتطلب تدريب نموذج لاكتشاف رسائل البريد العشوائي عادةً قيام شخص مختص بوضع التعليقات يدويًا على مجموعة من رسائل البريد الإلكتروني النموذجية، وتصنيف كل رسالة على أنها بريد عشوائي (SPAM) أو غير عشوائي (NOT SPAM). الهدف من تدريب النموذج هو ضبط مَعلمات النموذج إلى أن تتطابق تنبؤاته لمخرجات رسالة بريد إلكتروني معينة باستمرار مع التصنيف الذي وضعه الإنسان لتلك الرسالة. ونظرًا لأن هذه الطريقة تتضمن إشرافًا مباشرًا من الإنسان على ما يتعلمه النظام؛ تُعرَف باسم التعلم الخاضع للإشراف. يُعرَّف التعلم الخاضع للإشراف غالبًا ببساطة على أنه تعلم آلي يستخدم بيانات مصنفة.

غير أن بعض الحالات -وخاصةً في التعلم العميق الحديث- تتطلب مجموعات بيانات كبيرة ونقاط بيانات معقدة لدرجة أن الحصول على بيانات تدريب مصنفة كافية يصبح أمرًا مكلفًا جدًا من حيث الوقت والجهد. تم تطوير التعلم الخاضع للإشراف الذاتي بشكل أساسي لمعالجة مثل هذه السيناريوهات، إذ يصمِّم مهام تدريبية يمكن من خلالها استنتاج التصنيفات (أو "التصنيفات الزائفة") من بيانات غير مصنفة. وهذا يُضعِف التعريف التقليدي للتعلم الخاضع للإشراف باعتباره يتطلب بيانات مصنفة. لذلك، من الأنسب والأشمل تعريف خوارزميات التعلم الخاضع للإشراف على أنها أساليب تعلم آلي تتضمن وجود حقيقة مرجعية (أو "إشارة إشرافية") يتم تحسين النموذج بناءً عليها، مع وجود دالة خسارة تُقارِن بين مخرجات النموذج وتلك الحقيقة المرجعية.

يتم استخدام خوارزميات التعلم الخاضع للإشراف لتدريب نموذج لمهام التصنيف أو مهام الانحدار أو كليهما.

• يتضمن التصنيف تنبؤات منفصلة، مثل تحديد الفئة المحددة التي تنتمي إليها نقطة البيانات. مهام التصنيف إما أن تكون ثنائية - "نعم" أو "لا"، أو "موافقة" أو "رفض"، أو "بريد عشوائي" أو "ليس بريدًا عشوائيًا"- أو متعددة الفئات.بعض خوارزميات التصنيف مصممة فقط للتصنيف الثنائي، لكن أي مصنِّف متعدد الفئات يمكنه أداء مهام التصنيف الثنائي أيضًا.
  
  
• يتم استخدام الانحدار للتنبؤ بقِيَم مستمرة مثل الكميات أو الأسعار أو المدد الزمنية أو درجات الحرارة. ويتم استخدامها في تحليل السلاسل الزمنية والتنبؤ وتحديد الأسعار وتقدير الاحتمالات، إلى جانب العديد من حالات الاستخدام الأخرى.

يمكن استخدام العديد من خوارزميات التعلم الخاضع للإشراف لتدريب نماذج الانحدار أو التصنيف. على سبيل المثال، يمكن أن يستخدم النموذج الانحدار للتنبؤ باحتمال انتماء نقطة بيانات معينة إلى كل فئة محتملة، ثم يُخرج الفئة ذات الاحتمال الأعلى.

• يُعَد الانحدار الخطي من بين خوارزميات التعلم الآلي الأساسية والمستخدمة على نطاق واسع. تعمل خوارزميات الانحدار الخطي على حساب المخرجات (المتغير التابع) على شكل مزيج مرجَّح من متغير أو أكثر من متغيرات الإدخال (المتغيرات المستقلة). من خلال تعلم الترجيح الأمثل لكل متغير إدخال، تنتج الخوارزمية "خط الانحدار الأفضل" لنقاط البيانات التي تظهر في التدريب. توجد مجموعة واسعة من المتغيرات والامتدادات للانحدار الخطي التي تستخدم منطقًا مشابهًا لنمذجة علاقات أكثر تنوعًا رياضيًا بين المتغيرات التابعة والمستقلة، مثل الانحدار متعدد الحدود (الذي يصمم العلاقات غير الخطية والمنحنية) أو الانحدار الكمي (الذي يصمم العلاقات في نقاط محددة في توزيع مجموعة البيانات).
  
  
• تصل خوارزميات شجرة القرار إلى التنبؤات النهائية من خلال سلسلة متفرعة من قرارات "إذا-إذن-إلا" يمكن تمثيلها بصريًا على شكل مخطط شجري. يمكن استخدامها لكلٍّ من الانحدار والتصنيف. على عكس معظم خوارزميات التعلم الخاضع للإشراف، لا تهدف الخوارزمية إلى تحسين تنبؤات مخرجاتها عن طريق تقليل دالة خسارة واحدة شاملة، بل تحسين القدرة التنبؤية لكل عقدة من الشجرة على حدة.
  
  
• تعمل نماذج فضاء الحالة (SSMs) على تصميم الأنظمة الديناميكية والبيانات المتسلسلة من خلال معادلتين مترابطتين: الأولى، معادلة الحالة، تَصِف الديناميكيات الداخلية ("الحالة") للنظام التي لا يمكن ملاحظتها بشكل مباشر؛ والثانية، معادلة المخرجات، تَصِف كيفية ارتباط هذه الديناميكيات الداخلية بالنتائج القابلة للملاحظة - أي بمخرجات النظام. يتم استخدامها في مجالات متنوعة، من الهندسة الكهربائية إلى التنبؤ المالي إلى معالجة اللغة الطبيعية (NLP).

• تعمل مصنِّفات بايز الساذجة على منطق نظرية بايز، وهي في الأساس صياغة رياضية لفكرة مفادها أنه يمكن استخدام المعلومات من الأحداث اللاحقة (مثل النتيجة) لتحديث فهم الإدخال (مثل المدخلات). بعبارة أخرى، يتعلم النموذج الأهمية النسبية لإدخال معين بناءً على مدى قوة ارتباطه بنتائج محددة. والافتراض "الساذج" الذي اشتُهرت به هو أن جميع السمات المساهمة في التصنيف بعضها مستقلٌ عن بعض. ومثل هذا التبسيط يجعل الخوارزمية سريعة وفعالة للمهام المباشرة مثل اكتشاف الرسائل غير المرغوب فيها.
  
  
• يتكيف الانحدار اللوجستي مع خوارزمية الانحدار الخطي لحل مشاكل التصنيف الثنائي عن طريق إدخال المجموع المرجح لميزات الإدخال في دالة سيجمويد، والتي تضغط أي إدخال إلى قيمة بين 0 و1. ويمكن تفسير القيمة الناتجة على أنها احتمال وقوع حدث معين، وهو في هذه الحالة تصنيف محدد.
  
  
• تقوم خوارزميات أقرب جار (KNN) بتصنيف نقاط البيانات على أساس قربها في فضاء تضمين المتجه من نقاط بيانات أخرى مصنفة (موسومة) بالفعل - أي مُسمّاة - مع افتراض إمكانية العثور على نقاط بيانات مماثلة قريب بعضها من بعض. يشير k إلى عدد نقاط البيانات المجاورة (الجيران الأقرب) التي تم أخذها في الاعتبار: على سبيل المثال، في خوارزمية KNN حيث k = 5 ستتم مقارنة نقطة البيانات المدخلة بإدخال أقرب 5 جيران لها وتصنيفها وفقًا للفئة الأكثر تكرارًا وشيوعًا بين نقاط البيانات المجاورة (الجيران الأقرب) الخمس.
  
  
• آلات المتجهات الداعمة (SVM) هي نماذج قوية تُستخدم بشكل أساسي في التصنيف الثنائي، لكن يمكن أيضًا تكييفها لحل مشكلات التصنيف متعدد الفئات. ولا يتمثل هدف خوارزمية SVM في تعلّم كيفية تصنيف نقاط البيانات مباشرةً: بل يكمن هدفها في تعلّم حد القرار الأمثل للفصل بين فئتين من نقاط البيانات المصنفة (الموسومة) من أجل تصنيف نقاط البيانات الجديدة بناءً على أي جانب من الحدود تقع. وتعرِّف خوارزمية SVM الحدود على أنها المستوى الفائق الذي يزيد من الهامش (أو الفجوة) بين نقاط البيانات للفئات المتقابلة، وهو مفهوم يشبه الافتراض منخفض الكثافة في التعلم شبه الخاضع للإشراف. ومن الناحية المنهجية، فإن نقاط البيانات الوحيدة التي تُستخدم في تحديد المستوى الفائق الفاصل هي تلك النقاط التي تقع بالقرب من الحد الفاصل من كل فئة، وتُعرف هذه النقاط باسم المتجهات الداعمة. وبالتالي، يُطلق على تضمين متجهات البيانات المتجاورة الحدودية المتجهات الداعمة.

الهدف من خوارزميات التعلم الخاضع للإشراف الذاتي هو إجراء التعلم الخاضع للإشراف دون الحاجة إلى بيانات مصنفة، من خلال تصميم مهام تستخدم بنية البيانات غير المصنفة نفسها كمصدر للإشراف. تندرج تقنيات التعلم الخاضع للإشراف الذاتي بشكل عام في واحدة من مجموعتين فرعيتين: التنبؤ الذاتي أو التعلم المتباين.

تعمل خوارزميات التنبؤ الذاتي على تدريب نموذج لتوقُّع جانب واحد من بيانات نقطة معينة عند توافر معلومات أخرى عنها. عبَّر Yann LeCun عن هدف هذه الأساليب بعبارات بسيطة: "تخيَّل أن هناك جزءًا من الإدخال لا تعرفه وحاول التنبؤ به".¹ على سبيل المثال:

• التنبؤ بأي جزء من الإدخال من أي جزء آخر
• التنبؤ بالمستقبل من الماضي
• التنبؤ بالمقنّع من المرئي
• التنبؤ بأي جزء مغلق من جميع الأجزاء المتاحة

عادة ما تكون النماذج المدرَّبة باستخدام التنبؤ الذاتي توليدية وليست تمييزية. وتشمل الأمثلة البارزة لنماذج التعلم الآلي التي تم تدريبها باستخدام خوارزميات التنبؤ الذاتي، المشفرات التلقائية والنماذج اللغوية الكبيرة (LLM):

• تتمثل مهمة المُشفِّر الذاتي في إعادة إنشاء المُدخَل الأصلي بدقة، بعد أن يكون قد تم ضغطه إلى تمثيل المتغيرات الكامنة فقط. ويعتبر الإدخال الأصلي بمثابة الحقيقة الأساسية.
  
  
• يتم تكليف النماذج اللغوية الكبيرة التوليدية الانحدارية التلقائية -وهي النماذج النصية التي اشتهرت بعد إطلاق ChatGPT- بتوقُّع الرمز المميز التالي في تسلسل معين بشكل تكراري، اعتمادًا فقط على الرموز المميزة السابقة في هذا التسلسل. بالنسبة لكل توقع، فإن الرمز المميز التالي الفعلي في التسلسل يعمل بمثابة الحقيقة المرجعية.

توفر خوارزميات التعلم المتباين للنماذج عينات بيانات متعددة وتكلِّفها بالتنبؤ بمدى اختلافها (أو تشابهها). غالبًا ما يتم إنشاء أزواج نقاط البيانات عبر تعزيز البيانات: أي تحويل البيانات غير المصنفة أو تعديلها لإنشاء مثيلات جديدة أو أو طرق عرض معززة منها. على سبيل المثال، تشمل تقنيات التعزيز الشائعة لبيانات الصورة التدوير والاقتصاص العشوائي والتقليب والضوضاء والتصفية والتلوين.

يُستخدَم التعلم المتباين بشكل بارز في تدريب نماذج رؤية الكمبيوتر؛ فمثلًا، يمكنه مساعدة النموذج على تمييز نفس الكائن عند مشاهدته من زوايا مختلفة. وهو ضروري أيضًا في تدريب الذكاء الاصطناعي متعدد الوسائط: على سبيل المثال، يمكن أن يساعد النموذج على تعلم "ترجمة" تضمينات المتجهات من نمط بيانات واحد (مثل النص) إلى آخر (مثل الكلام أو الصور).

يُستخدَم التعلم الآلي غير الخاضع للإشراف لتعليم النماذج كيفية اكتشاف الأنماط الداخلية والارتباطات والبنية في البيانات غير المصنفة. على عكس التعلم الخاضع للإشراف الذي يتطلب وجود إجابات "صحيحة" يجب على النموذج تعلم إنتاجها، أو التعلم التعزيزي الذي يشمل نطاقًا من الأفعال "الجيدة" و"السيئة" التي يمكن للنموذج اتخاذها، يكون التعلم غير الخاضع للإشراف أكثر فائدة في الحالات التي لا يُعرف فيها الإخراج المثالي مسبقًا.

لا تخضع هذه الأهداف لأي حقائق مرجعية محددة مسبقًا أو هيكل مكافآت، ومن هنا جاء مصطلح "غير خاضع للإشراف". لذلك لا تتضمن خوارزميات التعلم غير الخاضع للإشراف دالة الخسارة، حيث لا تستلزم مهامها مخرجات مثالية معروفة للقياس والتحسين نحوها. يخضع نجاح عملية التعلم بشكل أساسي من خلال الضبط اليدوي للمَعلمات الفائقة، بدلًا من الخوارزميات التي تعمل على تحسين المَعلمات الداخلية للنموذج.

هناك ثلاث مجموعات فرعية أساسية من خوارزميات التعلم غير الخاضع للإشراف: خوارزميات التجميع، وخوارزميات الارتباط، وخوارزميات تقليل الأبعاد .

تعمل خوارزميات التجميع على تقسيم نقاط البيانات غير المصنفة إلى "مجموعات"، بناءً على قربها أو تشابهها مع بعضها ، لمهام مثل تقسيم السوق. يمكن أيضًا استخدامها كنماذج تنبؤية لاكتشاف الحالات الشاذة من خلال تعلم المجموعات التي يجب فرز جميع نقاط البيانات فيها وتحديد متى لا تتناسب نقطة بيانات خارجية بشكل أنيق مع أيٍّ من تلك المجموعات.

• تعمل خوارزميات التجميع باستخدام طريقة K-means على تقسيم البيانات إلى k من المجموعات في نقطة بيانات معينة، وسيتم تعيينها للمجموعة التي يكون مركزها (centroid) إليها أقرب. تبدأ العملية بوضع k مركزًا مبدئيًا، وغالبًا ما يكون بشكل عشوائي، لكن يمكن أيضًا تحديده وفق قواعد محددة. يتم تخصيص كل نقطة بيانات لمجموعة أقرب نقطة مركزية. بعد ذلك، يُعَاد وضع كل مركز (centroid) ليكون في موضع يُمثِّل متوسط (mean) جميع نقاط البيانات التي تم تعيينها إليه؛ ثم يتم تجميع نقاط البيانات مرة أخرى حسب أقرب مركز، ويتم تعديل موقع كل مركز مرة أخرى. تتكرر هذه العملية بشكل دوري حتى يستقر موقع كل مركز لكل مجموعة.

• تُعَد خوارزميات نماذج الخليط الجاوسي (GMMs) خوارزمية تجميع "مرنة". تفترض نماذج GMM أن مجموعة البيانات عبارة عن خليط من توزيعات جاوسية متعددة - أي التوزيعات الكلاسيكية "الطبيعية" أو "منحنى الجرس"، وتتوقع احتمالية انتماء كل نقطة بيانات لكل مجموعة من هذه المجموعات الموزعة طبيعيًا. تم تصميم خوارزمية GMM لتعلُّم مَعلمات كل توزيع جاوسي -وتحديدًا المتوسط والتباين والوزن لكل توزيع- التي تناسب مجموعة بيانات التدريب على أفضل وجه.

• تُنشئ خوارزمية DBSCAN (التجميع المكاني القائم على الكثافة مع التعامل مع الضوضاء) مجموعات من نقاط البيانات المجمَّعة بالقرب من بعضها. بدلًا من تجميع جميع نقاط البيانات في مجموعات، تحدِّد الخوارزمية النقاط الموجودة بمفردها في مناطق منخفضة الكثافة كقيم خارجية. تحدِّد الخوارزمية المناطق على أنها كثيفة بما يكفي لتكون جزءًا من مجموعة بناءً على عدد نقاط البيانات المجاورة الموجودة ضمن نصف قطر محدد. على عكس خوارزمية k-means، تستطيع DBSCAN اكتشاف مجموعات بأشكال عشوائية ولا تتطلب تحديد عدد المجموعات مسبقًا.

• تحدِّد خوارزميات الارتباط العلاقات بين المتغيرات في مجموعات البيانات الكبيرة. تُستخدم هذه الخوارزميات بشكل بارز في مهام مثل تحليل سلة التسوق أو محركات التوصية بالمنتجات؛ على سبيل المثال، قد تستخدم خدمة التجارة الإلكترونية خوارزميات الارتباط لتحديد العناصر التي يتم شراؤها معًا بشكل متكرر، ثم الاستفادة من هذه المعلومات للترويج الديناميكي للمنتجات المرتبطة في المخزون.
  
  
• تُعَد خوارزمية apriori طريقة تقليدية للارتباط بين المتغيرات. تُجري الخوارزمية عدة تمريرات على مجموعة البيانات باستخدام نهج "من الأسفل إلى الأعلى"، حيث تستكشف تكرار مجموعات أكبر تدريجيًا من العناصر الفردية وتستبعد المجموعات التي تظهر نادرًا. ينص مبدأ apriori على أنه إذا تم اعتبار مجموعة أكبر من العناصر متكررة، فيجب أن تكون أي مجموعة فرعية منها متكررة أيضًا؛ وعلى العكس، إذا تم اعتبار مجموعة أصغر من العناصر غير متكررة، فإن أي مجموعة أكبر تحتوي عليها ستكون أيضًا غير متكررة. على الرغم من بساطة خوارزمية apriori وقابليتها العالية للتكيف، فإنها قد تصبح كثيفة الذاكرة ومكلِّفة حسابيًا.
  
  
• تُعَد طريقة عدّ المجموعات الديناميكية (DIC) أسلوبًا أكثر كفاءة من حيث الحسابات في تحليل الارتباط، رغم أنها تعمل بمنطق مشابه لخوارزمية apriori الكلاسيكية. بدلًا من استكشاف مجموعة البيانات بالكامل في كل مرة، تبدأ الخوارزمية بمجموعة فرعية فقط من البيانات ثم تضيف عناصر جديدة بشكل دوري، موسِّعة نطاق تركيزها بطريقة "ديناميكية".

من بين خوارزميات الارتباط الأخرى البارزة خوارزمية CHARM (وهي اختصار Closed Association Rule Mining - ويشير مؤلفو ورقة CHARM إلى أن حرف H غير ضروري)² وخوارزمية CARMA (خوارزمية التعدين المستمر لقواعد الارتباط).³

تهدف خوارزميات تقليل الأبعاد إلى استقبال نقطة بيانات وإنتاج تمثيل أكثر كفاءة لتلك النقطة. وبشكل أكثر تحديدًا، تهدف هذه الخوارزميات إلى تعلُّم تعيين نقاط البيانات عالية الأبعاد إلى فضاء يمكن فيه تمثيلها بدقة باستخدام عدد أقل من الخصائص؛ بعبارة أخرى، لتقليل عدد الأبعاد اللازمة لتمثيل البيانات بشكل فعَّال.

غالبًا ما يتم إجراء تقليل الأبعاد كخطوة تمهيدية لمعالجة البيانات، حيث يساعد على تقليل التعقيد والضوضاء في البيانات بهدف تحسين التنبؤات أو تخفيض متطلبات الحوسبة. ويُعَد أيضًا خطوة أساسية في نمذجة الفضاء الكامن لمجموعة البيانات: تمثيل مضغوط (ذو أبعاد أقل) للبيانات يحتفظ فقط بالمجموعة الفرعية من الميزات الأكثر صلة بالمهمة المطروحة. من الاستخدامات الشائعة الأخرى لتقليل الأبعاد ضغط البيانات والعروض المصورة لها.

• تعمل خوارزمية تحليل العناصر الرئيسية (PCA) على تبسيط مجموعات البيانات المعقدة عن طريق تلخيص المتغيرات الأصلية للبيانات -التي غالبًا ما تكون مترابطة وبالتالي مكررة جزئيًا- في مجموعة أصغر من المتغيرات غير المترابطة، بحيث يمثِّل كل متغير منها تركيبة خطية من المتغيرات الأصلية. بشكل أكثر تحديدًا، تركِّز الخوارزمية على العناصر الرئيسية للبيانات: وهي التركيبات الخطية للمتغيرات التي تمتلك أكبر قدر من التباين مقارنةً بالتركيبات الخطية الأخرى.
  
  
• تُعَد خوارزمية t-distributed Stochastic Neighbor Embedding (t-SNE) طريقة غير خطية لتقليل الأبعاد يتم استخدامها عادةً لأغراض إعداد العروض المصورة للبيانات. تُستخدم هذه الخوارزمية في الغالب لتمثيل البيانات في بُعدين أو ثلاثة أبعاد، مع الهدف الأساسي وهو الحفاظ على قرب نقاط البيانات من بعضها في الفضاء عالي الأبعاد عند نقلها إلى الفضاء منخفض الأبعاد الجديد.
  
  
• تُعَد أدوات التشفير التلقائي نوعًا من الشبكات العصبية ذات بنية التشفير-فك التشفير، ويتم تدريبها غالبًا باستخدام ما يُعَد عادةً خوارزمية تعلم خاضع للإشراف الذاتي (حيث الهدف هو تقليل دالة الخسارة)، ومع ذلك فإنها تعمل على تقليل أبعاد البيانات غير المصنفة، وفي هذه الحالة نمذجة الفضاء الكامن الخاص بها. تتكون أداة التشفير من سلسلة من الطبقات المتدرجة أصغر فأصغر، ما يضطر البيانات المدخلة إلى المرور عبر "نقطة ضيقة" "تضغط" البيانات إلى أبعاد أقل فأقل قبل أن تصل إلى أداة فك التشفير. تتكون أداة التشفير من سلسلة من الطبقات المتدرجة الأكبر حجمًا تدريجيًا، وتتمثل مهمتها في إعادة بناء البيانات الأصلية باستخدام هذا التمثيل المضغوط، مع الهدف المتمثل في تقليل خسارة إعادة البناء. وهذا يجبر أداة التشفير على تعلُّم استخراج وتمرير المعلومات الأكثر ملاءمة لإعادة بناء الإدخال الأصلي بدقة.

يُستخدَم التعلم شبه الخاضع للإشراف عادةً لنفس حالات استخدام أساليب التعلم الخاضع للإشراف، ويتميّز بتقنيات تُتيح دمج البيانات غير المصنفة في تدريب النموذج إلى جانب مجموعة فرعية من البيانات المصنفة. تكون هذه الأساليب مفيدة بشكل خاص في الحالات التي يكون فيها الحصول على كمية كافية من البيانات المصنفة صعبًا أو مكلِّفًا للغاية، بينما يكون من السهل نسبيًا الحصول على بيانات غير مصنفة ذات صلة.

يجب أن تكون الأمثلة غير المصنفة المستخدمة في التعلم شبه الخاضع للإشراف ذات صلة بالمهمة التي يتم تدريب النموذج لأدائها. على سبيل المثال، عند تدريب مصنِّف صور للتمييز بين صور القطط والكلاب، فإن إدراج صور غير مصنفة للقطط والكلاب سيساعد على التدريب، بينما صور الخيول والدراجات النارية لن تكون مفيدة. توجِّه هذه الحالة مجموعة من الافتراضات حول كيفية ارتباط نقاط البيانات ببعضها، والتي تشكِّل المنطق الرسمي لطرق التعلم شبه الخاضع للإشراف.

يتم تصنيف خوارزميات التعلم شبه الخاضع للإشراف عمومًا على أنها نقلية (Transductive) أو استنتاجية (Inductive) أو ذات إشراف ذاتي متأصل (Inherently Self-Supervised).

• تركِّز الطرق النقلية على تصنيف نقاط البيانات غير المصنفة المتاحة أثناء التدريب، بحيث يمكن تطبيقها لاحقًا على خوارزميات التعلم التقليدي الخاضع للإشراف. على سبيل المثال، نشر التصنيفات هو أسلوب قائم على الرسوم البيانية يعمل على استنتاج "تصنيفات زائفة" للبيانات غير المصنفة عن طريق "نشر" التصنيفات المعروفة إلى نقاط البيانات الواقعة على العُقَد المجاورة في الرسم البياني.
  
  
• تهدف الطرق الاستنتاجية إلى بناء نموذج قابل للتعميم يمكنه تصنيف البيانات غير المصنفة الموجودة أثناء التدريب، بالإضافة إلى أي نقاط بيانات جديدة وغير مرئية. في التدريب الذاتي، يتم أولًا تدريب النموذج باستخدام التعلم التقليدي الخاضع للإشراف على مجموعة بيانات صغيرة مصنفة؛ ثم يتم تكليف النموذج بإصدار تنبؤات احتمالية حول نقاط البيانات غير المصنفة، ويتم فقط قبول التنبؤات التي تتجاوز حدًا معينًا من الثقة. يوسِّع التدريب المشترك مفهوم التدريب الذاتي من خلال التعلم الجماعي، حيث يتم تدريب أنواع مختلفة من المتعلمين الأساسيين على خصائص مختلفة من البيانات. تعمل طرق التجميع ثم التصنيف أولًا على إجراء تجميع غير خاضع للإشراف على جميع نقاط البيانات المتاحة، ثم تعيين تصنيفات لكل مجموعة بناءً على التصنيف الأكثر تكرارًا ضمن تلك المجموعة.
  
  
• بعض الخوارزميات، مثل شبكات السلم⁴ أو آلات متجهات الدعم شبه الخاضعة للإشراف (S3VMs)،‏⁵ تم تصميمها بطبيعتها للتعلم شبه الخاضع للإشراف، بينما تعمل الطرق النقلية والاستنتاجية على تكييف أو إضافة خطوات إضافية على خوارزميات التعلم التقليدي الخاضع للإشراف.

خوارزميات التعلم المعزز (RL) مناسبة للمهام التي لا يوجد فيها مخرجات "صحيحة" (أو إجراء) فردي، ولكن هناك مخرجات "جيدة". يتم استخدام هذه الأساليب بشكل بارز في الروبوتات وألعاب الفيديو ونماذج الاستدلال وحالات استخدام أخرى يكون فيها فضاء الحلول والطرق الممكنة واسعًا جدًا، مفتوحًا أو صعب التحديد. في مصطلحات التعلم المعزز (RL)، يُشار عادةً إلى الكيان الذي يتم تدريبه باسم "الوكيل".

بدلًا من وجود إشارة إشرافية ومهام محددة بوضوح، تعتمد هذه الطريقة على إشارة مكافأة تُتيح للنماذج التعلم بشكل شامل من خلال التجربة والخطأ. يمكن أن تأتي إشارة المكافأة من دالة مكافأة، أو نموذج مكافأة مدرَّب بشكل منفصل، أو نظام مكافأة قائم على قواعد محددة.

تعمل خوارزميات التعلم المعزز على تحسين السياسة.من الناحية الرياضية، تُعَد السياسة (π) دالة تأخذ الحالة (s) كمُدخل وتُرجِع الإجراء (a): π(s) → a. الهدف من خوارزمية التعلم المعزز هو معرفة السياسة التي تختار الإجراء الذي يحقق أقصى مكافأة لكل حالة معينة.

يمكن أن تكون خوارزميات التعلم المعزز قائمة على القيمة أو قائمة على السياسة.في الخوارزميات القائمة على السياسة، يتعلم النموذج السياسة المُثلى مباشرةً. في الخوارزميات القائمة على القيمة، يتعلم الوكيل دالة القيمة التي تحسِب درجة "جودة" كل حالة -عادةً بناءً على المكافأة المحتملة للإجراءات الممكن اتخاذها من تلك الحالة- ثم يختار الإجراءات التي تؤدي إلى حالات ذات قيمة أعلى. تتعلم الأساليب الهجينة دالة قيمة يتم استخدامها بدورها لتحسين السياسة.

تشمل خوارزميات التعزيز البارزة ما يلي:

• تعد خوارزمية Q-learning، من الأساليب المشتقة من التعلم المعزز القائم على القيمة
  
  
• تحسين السياسة القريبة (PPO)، طريقة تعتمد على السياسة وتُستخدم بشكل بارز في التعلم المعزز من ردود الفعل البشرية (RLHF)
  الفاعل الناقد والمشتقات منه مثل الفاعل الناقد المميز (A2C)، والتي تستخدم مزيجًا من الأساليب القائمة على القيمة والسياسة
  
  
• REINFORCE (اختصار لـ REward Increment = Nonnegative Factor × Offset Reinforcement × Characteristic Eligibility)، طريقة أساسية قائمة على السياسة.

يشير التعلم الجماعي إلى تقنيات تدمج عدة خوارزميات تعلم آلي -غالبًا ما يُشار إليها باسم "المتعلمين" في هذا السياق- لتحقيق أداء أكثر دقة أو موثوقية مما يمكن لأي خوارزمية من مكوناته تحقيقه بمفردها.

عادةً ما تستخدم خوارزميات التعلم الجماعي تقنيات التعزيز أو التكديس أو التعبئة.

تعمل خوارزميات التعزيز على بناء النماذج بالتتابع، حيث يتم تدريب كل نموذج جديد لاحق لتصحيح أخطاء النموذج السابق. تتطور سلسلة من "المتعلمين" الضعفاء في البداية لتصل في النهاية إلى "متعلم" واحد قوي وذي دقة عالية.

• تعمل خوارزمية التعزيز التكيفي (AdaBoost) على إعطاء وزن أكبر للحالات التي تم تصنيفها بشكل خطأ بواسطة النموذج السابق، لضمان أن تحديثات النموذج التالي تركِّز على تحسين الأداء على تلك الأمثلة التدريبية. يتم تحديد التوقُّع النهائي عبر تصويت الأغلبية المرجَّح، حيث يكون للنماذج الأحدث والأكثر دقة تأثير أكبر في النتيجة النهائية.
  
  
• تركِّز خوارزمية التعزيز التدرجي على الأخطاء التي ارتكبها المتعلمون السابقون، بدلًا من التركيز على نقاط البيانات التي أخطأت فيها النماذج السابقة. بشكل أكثر تحديدًا، تعمل على تدريب كل نموذج على تصحيح الأخطاء - أي توقُّع الأخطاء التي ارتكبها النموذج السابق على نقطة بيانات معينة. من خلال جمع تنبؤات كل نموذج لاحق، يمكن للمجموعة في النهاية استنتاج المخرجات الصحيحة لنقطة البيانات الأصلية. تُعَد XGBoost (اختصار eXtreme Gradient Boosting) مكتبة مفتوحة المصدر للتعلم الآلي يتم استخدامها لتنفيذ التعزيز التدرجي بكفاءة.

تعمل خوارزميات التعبئة، المعروفة أيضًا باسم التجميع التمهيدي، على تدريب عدة نماذج بشكل متوازٍ على عينات فرعية عشوائية مختلفة من مجموعة البيانات التدريبية، ثم يتم دمج تنبؤاتها عبر التصويت في مشكلات التصنيف أو المتوسط الحسابي في مشكلات الانحدار. هذا النهج فعَّال للغاية في الحد من التباين ومنع الإفراط في التخصيص.

على سبيل المثال، تستخدم خوارزمية الغابة العشوائية أسلوب التعبئة لبناء مجموعات من نماذج أشجار القرار غير المترابطة.

تقوم خوارزميات التكديس (Stacking) على دمج تنبؤات عدة متعلمين أساسيين -غالبًا ما يتخصص كل منهم في نوع معين من التنبؤات- ثم يتم تدريب نموذج نهائي (Meta-Model) على مخرجات هذه النماذج الأساسية لتعلُّم أفضل طريقة لدمج تنبؤاتها، بهدف الحصول على مخرجات نهائية أكثر دقة وموثوقية.

في تقنية تقطير المعرفة (Knowledge Distillation) ذات الصلة، يتم تدريب النموذج النهائي ليس فقط على التنبؤات النهائية ("الأهداف الصلبة") للمتعلمين الأساسيين، بل أيضًا على مخرجاتهم الوسيطة ("اللوجيتس" أو "الأهداف الناعمة")، في محاولة لمحاكاة عمليات تفكيرهم.

التعلم العميق هو فرع من التعلم الآلي يتميز باستخدام شبكات عصبية اصطناعية متعددة الطبقات، غالبًا ما يتم تدريبها عبر التعلم الخاضع للإشراف على بيانات مصنفة، أو (كما هو شائع في نماذج الذكاء الاصطناعي التوليدي) عبر التعلم الذاتي على بيانات غير مصنفة. في التعلم المعزز العميق، تعمل الشبكة العصبية العميقة كسياسة (Policy) للوكيل التعزيزي. لقد كان التعلم العميق هو المحرك لمعظم التطورات الحديثة في مجال الذكاء الاصطناعي منذ أوائل العقد الأول من القرن الحادي والعشرين. ومن بين أهم نقاط قوته هي قدرته على أتمتة عملية هندسة الميزات، والتي غالبًا ما تكون يدوية في التعلم الآلي التقليدي.

على عكس الخوارزميات المحدَّدة صراحةً في التعلم الآلي التقليدي، تتكوّن نماذج التعلم العميق من العديد من الطبقات المترابطة من "الخلايا العصبية" (أو "العُقد")، كل منها يؤدي عملية رياضية تُسمَّى دالة التفعيل (Activation Function). المدخل لكل دالة تفعيل في كل خلية عصبية هو مزيج مرجح لمخرجات دوال التفعيل لكل الخلايا العصبية في الطبقة السابقة. تحسِب الخلايا العصبية في الطبقة النهائية الناتج النهائي للنموذج. والأهم من ذلك أن دوال التفعيل التي يتم إجراؤها في كل عقدة تكون غير خطية، ما يُتيح للشبكات العصبية نمذجة الأنماط المعقدة والتبعيات. على الرغم من أن الشبكات العصبية في الذكاء الاصطناعي الحديث ترتبط غالبًا بالتعلم العميق المتقدم، فإن الشبكات العصبية "غير العميقة" مثل أجهزة Boltzmann المقيدة تُستخدم منذ عقود.

إن الهيكل الموزع لخوارزميات التعلم العميق هو ما يمنحها قوتها ومرونتها الكبيرة. تخيَّل أن بيانات التدريب نقاط مبعثرة على رسم بياني ثنائي الأبعاد، والهدف من تدريب النموذج هو إيجاد خط يمر عبر كل هذه النقاط. بينما تحاول خوارزميات التعلم الآلي التقليدية تحقيق ذلك باستخدام دالة رياضية واحدة تُنتِج خطًا واحدًا (أو منحنى)، يمكن لخوارزميات التعلم العميق جمع عدد غير محدد من الخطوط الصغيرة القابلة للتعديل بشكل فردي لتشكيل الشكل المطلوب. الشبكات العصبية العميقة هي مقارِبات شاملة: فقد ثبت نظريًا أنه لأي دالة، هناك ترتيب لشبكة عصبية يمكنه إعادة إنتاجها.⁶

• في سياق التعلّم العميق، غالبًا ما يُشار إلى أنواع محددة من النماذج باسم "بُنياتها"، وهو مفهوم مرتبط بالخوارزميات لكنه يختلف عنها.
  
  
• تشير بنية الشبكة العصبية إلى تخطيطها: عدد الطبقات وحجمها؛ واستخدام الطبقات المتخصصة؛ اختيار دوال التنشيط. يمكن في كثير من الأحيان تدريب نفس بنية الشبكات العصبية على أداء نوع واحد من أنواع متعددة من المهام أو معالجة واحدة من طرائق بيانات متعددة.
  
  
• لا تشتمل خوارزمية التعلم العميق على بنية الشبكة العصبية المستخدمة في النموذج فحسب، بل على المهمة التي يتم تدريبها على أدائها والخطوات المتخذة لتحسينها من أجل تلك المهمة.

لننظر إلى المُشفِّرات الذاتية: من ناحية البنية، المُشفِّر الذاتي هو نموذج مشفِّر-مفكِّك، حيث تتميز شبكة المشفِّر الخاصة به بطبقات تتصاغر تدريجيًا، بينما تتميز شبكة المفكِّك الخاصة به بطبقات تتضخم تدريجيًا. لكن نموذج المُشفِّر الذاتي ليس سوى واحد من العديد من نماذج وحدة فك التشفير: على سبيل المثال، تحتوي نماذج تجزئة الصور على بنية متشابهة جدًا، حيث تقوم الطبقات التلافيفية الأصغر تدريجيًا بتقليل عينة البيانات لعزل السمات (الخصائص) الرئيسية وتقسيمها، تليها طبقات أكبر تدريجيًّا تقوم بزيادة عينة البيانات (المجزأة) إلى حجمها الأصلي.

الشيء الذي يجعل المشفر التلقائي مشفرًا تلقائيًا ليس (فقط) بنيته، لكنه الخوارزمية المستخدمة في التدريبعليه: حيث تتمثل مهمة المشفر التلقائي في إعادة بناء الإدخال الأصلي، وتحسينها من خلال تدريب النموذج لتقليل دالة تقيس خسارة إعادة البناء (غالبًا ما يتم تعديلها بواسطة شروط التنظيم الإضافية). فالنموذج الذي يحتوي على بنية متطابقة ولكن يتم تدريبه على أداء مهمة مختلفة ومحسن لهدف مختلف لا يعتبر من نماذج المُشفِّر الذاتي.