ما هي خوارزمية آلة المتجهات الداعمة (SVM)؟

في التسعينيات، قام Vladimir N. Vapnik وزملاؤه بتطوير خوارزمية SVMs، ونشروا هذا العمل في ورقة بحثية بعنوان "Support Vector Method for Function Approximation, Regression Estimation, and Signal Processing"¹ في عام 1995.

تُستخدم خوارزمية SVMs بشكل شائع في مشاكل التصنيف، إذ تميِّز تلك الآلات بين فئتين من خلال إيجاد المستوى الفائق الأمثل الذي يزيد من الهامش بين أقرب نقاط بيانات للفئات المتقابلة. ويحدِّد عدد الميزات في بيانات الإدخال ما إذا كان المستوى الفائق عبارة عن خط في مساحة ثنائية الأبعاد أو مستوٍ في مساحة متعددة الأبعاد. ونظرًا لأنه من الممكن العثور على مستويات فائقة متعددة للتمييز بين الفئات، فإن تعظيم الهامش بين النقاط يمكّن الخوارزمية من العثور على حدود أفضل قرار بين الفئات. وهذا بدوره يمكّنها من التعميم بشكل جيد على البيانات الجديدة وإجراء تنبؤات تصنيفية دقيقة. تُعرف الخطوط المجاورة للمستوى الفائق المثالي باسم متجهات الدعم حيث تمر هذه المتجهات عبر نقاط البيانات التي تحدد الحد الأقصى للهوامش.

تُستخدم خوارزمية SVM على نطاق واسع في التعلم الآلي؛ لأنها تستطيع التعامل مع مهام التصنيف الخطية وغير الخطية. ومع ذلك، عندما تكون البيانات غير قابلة للفصل خطيًا، تُستخدم دوال النواة لتحويل المساحة ذات الأبعاد الأعلى والمخصصة للبيانات من أجل تمكين الفصل الخطي. تُعرَف هذه الطريقة لتطبيق دوال النواة باسم "خدعة النواة"، وتتطلب اختيار دالة نواة، مثل النوى الخطية، أو النوى متعددة الحدود، أو نواة الأساس الشعاعي (RBF)، أو نوى sigmoid استنادًا إلى خصائص البيانات وحالات الاستخدام المعينة.

تستخدم خوارزميات آلات المتجهات الداعمة (SVM) الخطية مع البيانات القابلة للفصل خطيًا؛ مما يعني أن البيانات لا تحتاج إلى أي تحولات لفصلها إلى فئات مختلفة. والحد الفاصل والنقاط الداعمة (المتجهات الداعمة) تشبهان شارعًا، ويستخدم البروفيسور Professor Patrick Winston من معهد ماساتشوستس الأمريكي للتكنولوجيا تشبيه "بناء أوسع شارع ممكن "² لوصف مشكلة التحسين التربيعية هذه. ويمكن تمثيل المستوى الفائق الفاصل رياضيًا على النحو التالي:

wx + b = 0

حيث w هو متجه الوزن، وx هو متجه الإدخال، و b هو معامل التحيز.

هناك طريقتان لحساب الهامش، أو أقصى مسافة بين الفئات، وهما التصنيف بالهامش الصارم والتصنيف بالهامش اللين. إذا استخدمنا خوارزميات آلات المتجهات الداعمة (SVM) ذات الهامش الصارم، فستكون نقاط البيانات منفصلة تمامًا خارج المتجهات الداعمة، أو "خارج الشارع" حسب تعبير البروفيسور Hinton وتشبيهه لها. يُمثل ذلك بالصيغة التالية:

(wx_j + b) y_j ≥ a،

ثم تتم زيادة الهامش إلى الحد الأقصى، الذي يتم تمثيله على النحو التالي: max ə= a/||w||، حيث a هو الهامش المُسقط على w.

تصنيف الهامش اللين أكثر مرونة، حيث يسمح ببعض الأخطاء في التصنيف من خلال استخدام متغيرات الركود ("ξ"). تضبط قيمة معامل C الهامش؛ فكلما كانت قيمة C أكبر، كان الهامش أضيق لتقليل الأخطاء، بينما إذا كانت قيمة C أصغر، زاد الهامش، مما يسمح بزيادة الأخطاء.³

الكثير من البيانات في السيناريوهات الواقعية ليست قابلة للفصل خطياً، وهنا يأتي دور خوارزمية SVMs غير الخطية. لجعل البيانات قابلة للفصل خطياً، يتم تطبيق طرق المعالجة المسبقة على بيانات التدريب لتحويلها إلى مساحة ميزات ذات أبعاد أعلى. ومع ذلك، يمكن أن تؤدي المساحات ذات الأبعاد الأعلى إلى مزيد من التعقيد من خلال زيادة خطر الإفراط في تخصيص البيانات وزيادة التكلفة الحاسوبية. تساعد "خدعة النواة" في تقليل بعض هذا التعقيد، مما يجعل الحساب أكثر كفاءة، ويتم ذلك عن طريق استبدال عمليات الضرب النقطي بدالة نواة مكافئة ⁴.

هناك عدة أنواع مختلفة من النواة يمكن تطبيقها لتصنيف البيانات. تتضمن بعض وظائف النواة الشائعة ما يلي:

• نواة متعددة الحدود

• نواة دالة الأساس الشعاعي (تُعرف أيضًا باسم نواة Gaussian أو RBF)

• نواة سيجمويد
  

انحدار المتجه الدعم (SVR) هو امتداد لخوارزمية SVMs، والذي يتم تطبيقه على مشاكل الانحدار (أي أن النتيجة مستمرة). يشبه انحدار SVR خوارزمية SVMs الخطية، حيث يجد مستوى فاصل مع أكبر هامش بين نقاط البيانات، ويستخدم عادة للتنبؤ بالسلاسل الزمنية.

يختلف انحدار SVR عن الانحدار الخطي في أنك تحتاج إلى تحديد العلاقة التي تتطلع إلى فهمها بين المتغيرات المستقلة والتابعة. يكون فهم العلاقات بين المتغيرات وتوجهاتها مفيدًا عند استخدام الانحدار الخطي. وهذا غير ضروري في انحدار SVR حيث تحدد هذه العلاقات بشكل تلقائي.

في هذا القسم، سنناقش عملية بناء خوارزمية التصنيف SVM، وكيفية مقارنتها مع خوارزميات التعلم تحت الإشراف الأخرى وتطبيقاته في الصناعة اليوم.

كما هو الحال مع نماذج التعلم الآلي الأخرى، ابدأ بتقسيم بياناتك إلى مجموعة تدريب ومجموعة اختبار. كإضافة، يفترض هذا أنك قد أجريت بالفعل تحليلًا استكشافيًا على بياناتك. على الرغم من أن هذا ليس ضروريًا من الناحية الفنية لبناء خوارزمية تصنيف SVM، إلا أنه من الممارسات الجيدة قبل استخدام أي نموذج للتعلم الآلي، حيث يمنحك فهمًا لأي بيانات مفقودة أو قيم خارجية.

قم باستيراد وحدة SVM من المكتبة التي تختارها، مثل scikit-learn. قم بتدريب عينات التدريب على المصنِّف وتنبأ بالرد. يمكنك تقييم الأداء من خلال مقارنة دقة مجموعة الاختبار بالقيم المتنبأ بها. قد ترغب في استخدام مقاييس تقييم أخرى، مثل f1-score أو الدقة أو الاستدعاء.

يمكن ضبط المعاملات الفائقة لتحسين أداء نموذج خوارزمية SVM. يمكن العثور على المعاملات الفائقة المثلى باستخدام طرق البحث الشبكي والتحقق المتقاطع، التي تقوم بالتنقل عبر قيم الأنوية، ومعاملات التنظيم (C) وقيم جاما المختلفة للعثور على أفضل تركيبة.

يمكن استخدام مصنفات مختلفة للتعلم الآلي لنفس حالة الاستخدام. من المهم اختبار النماذج المختلفة وتقييم أداءها لفهم النماذج التي تقدم أفضل أداء. ومع ذلك، قد يكون من المفيد فهم نقاط القوة والضعف لكل نموذج لتقييم تطبيقه على حالة الاستخدام الخاصة بك.

تُستخدَم كلٌّ من خوارزميات التصنيف Naive bayes وSVM بشكل شائع في مهام تصنيف النصوص. تميل خوارزمية SVM إلى تقديم أداء أفضل من خوارزمية Naive bayes عندما لا تكون البيانات قابلة للفصل خطيًا. ومع ذلك، يجب على SVMs ضبط معاملات فائقة متعددة وقد يكون ذلك أكثر تكلفة من الناحية الحاسوبية.

عادةً ما تقدم خوارزمية SVM أداءً أفضل مع مجموعات البيانات ذات الأبعاد العالية وغير المنظمة، مثل بيانات الصور والنصوص، مقارنة بالانحدار اللوجستي. كما أن خوارزمية SVM أقل عرضة للإفراط في التكيف وأسهل في التفسير. ومع ذلك، يمكن أن تكون خوارزمية SVM أكثر تكلفة من الناحية الحاسوبية.

تعمل خوارزمية SVMs بشكل أفضل مع البيانات عالية الأبعاد وتكون أقل عرضة للإفراط في التكيف مقارنة بأشجار القرار. ومع ذلك، عادةً ما تكون أشجار القرار أسرع في التدريب، خاصةً مع مجموعات البيانات الصغيرة، وعادة ما تكون أسهل في التفسير.

مثل المقارنات الأخرى بين النماذج، تكون خوارزمية SVM أكثر تكلفة من الناحية الحاسوبية وأقل عرضة للإفراط في التكيف، بينما تعتبر الشبكات العصبية أكثر مرونة وقابلة للتوسع.

على الرغم من أن SVM يمكن استخدامها في العديد من المهام، فإن هذه بعض من أكثر التطبيقات شهرة لها عبر القطاعات.