ما المقصود بتصنيف النصوص؟

تُنتج المؤسسات اليوم كمًا هائلًا من البيانات النصية عبر المواقع الإلكترونية والتطبيقات والشبكات الأخرى في شكل تقييمات العملاء ومنشورات وسائل التواصل الاجتماعي والوثائق القانونية والبريد الإلكتروني وغيرها. هناك رؤى مخفية في هذه البيانات يمكن أن تساعد المؤسسة على اتخاذ قرارات أفضل. وتصنيف النصوص هو الخطوة الأولى في العملية.

يمكن توجيه تذكرة الدعم المصنَّفة على أنها "عاجلة" إلى سير عمل ذي أولوية. ويمكن أرشفة البريد الإلكتروني المصنَّف على أنه "رسائل غير مرغوب فيها" تلقائيًا. يمكن لتقييم العميل المصنَّف على أنه "إيجابي" أن يساهم في إعداد تقرير عن مشاعر العملاء تجاه منتج جديد. ويمكن تجميع البيانات المصنَّفة وعرضها بصريًا لاكتشاف التوجهات والأنماط التي قد تظل مخفية بخلاف ذلك.

يُعَد تصنيف النصوص مهمة أساسية في معالجة اللغة الطبيعية (NLP)، ويتم استخدامه في مجموعة واسعة من التطبيقات. مصنِّف النصوص هو نموذج تعلُّم آلي يحل مشكلات التصنيف المختلفة، مثل تصنيف النصوص حسب الموضوع أو الشعور أو القصد. وفيما يلي شرح لطريقة عمله:

عادةً ما تُستخدَم النماذج الخاضعة للإشراف لإجراء تصنيف النصوص. الخطوة الأولى هي جمع مجموعة كبيرة من عينات النصوص. يمكن أن تشمل هذه العينات الرسائل الإلكترونية والمنشورات على وسائل التواصل الاجتماعي وتقييمات العملاء والمستندات.

يضع المشرفون البشر تصنيفًا لكل قطعة نصية. على سبيل المثال، "رسائل غير مرغوب فيها" أو "ليست رسائل غير مرغوب فيها"، أو "إيجابي" مقابل "سلبي" في المشاعر. تشكِّل مجموعة بيانات التدريب المصنَّفة هذه الأساس لتدريب نموذج التعلم الآلي. عادةً، كلما زادت كمية البيانات، زادت دقة النتائج.

تعمل المعالجة المسبقة للنصوص على تحويل النص إلى صيغة موحَّدة يمكن للآلة قراءتها. لا يمكن للمصنِّفات العمل إلا مع النصوص التي تم تحويلها إلى تمثيلات عددية، غالبًا باستخدام تضمينات الكلمات أو بنى الترميز المتقدمة التي تلتقط المعنى الدلالي للغة.

تعمل المَعلمات الفائقة على تكوين متغيرات مثل عدد طبقات الشبكات العصبية، أو عدد الخلايا العصبية لكل طبقة، أو استخدام دالة التنشيط. يتم اختيار هذه المَعلمات الفائقة قبل بدء التدريب.

ثم يتم إدخال البيانات في خوارزمية تصنيف، والتي تتعلم ربط الأنماط في البيانات بالتصنيفات المرتبطة بها.

تتضمن خوارزميات تصنيف النصوص ما يلي:

• بايز الساذج

• آلات المتجهات الداعمة

• الانحدار اللوجستي

• غابة عشوائية

• الشبكات العصبية العميقة

• المحولات

يتم اختبار النموذج المدرَّب على مجموعة بيانات منفصلة للتقييم، سواء أكانت للتحقق أم للاختبار، لقياس أداء النموذج باستخدام مقاييس مثل الدقة والاستدعاء والتغطية ودرجة F1 ويتم تقييمه مقارنةً بالمعايير المعتمدة.

يمكن دمج نموذج تصنيف النصوص عالي الأداء في أنظمة الإنتاج ليصنِّف النصوص الواردة في الوقت الفعلي.

يمكن للنماذج المتقدمة تحسين أدائها مع مرور الوقت من خلال دمج بيانات جديدة وإعادة التدريب. أما النماذج اللغوية المدرَّبة مسبقًا مثل BERT فقد اكتسبت بالفعل فهمًا عميقًا للغة، ويمكن تعديلها بدقة لأداء مهام تصنيف محددة باستخدام بيانات قليلة نسبيًا. يؤدي الضبط الدقيق إلى تقليل وقت التدريب وتعزيز الأداء، وخاصةً للفئات المعقدة أو ذات الفروق الدقيقة.

رغم أن الأساليب الخاضعة للإشراف أكثر شيوعًا، فإنه يمكن تدريب النماذج دون بيانات مصنَّفة باستخدام التعلم غير الخاضع للإشراف. فبدلًا من إخبار النموذج بالفئة الصحيحة لكل نص، يحاول النموذج اكتشاف البنية أو الأنماط في البيانات بنفسه. يتناقض هذا مع تصنيف النصوص الخاضع للإشراف، حيث يتم تصنيف كل مثال تدريبي بتصنيف محدد مسبقًا. والأساليب الخاضعة للإشراف أكثر شيوعًا.

على سبيل المثال، باستخدام تقنية تُعرَف باسم التجميع، يعمل النموذج على تجميع أجزاء متشابهة من النص في مجموعات بناءً على الميزات المشتركة، والتي يمكن تفسيرها بعد ذلك على أنها فئة.

فيما يلي بعض مهام معالجة اللغة الطبيعية الشائعة التي تتضمن التصنيف:

• اكتشاف الرسائل غير المرغوب فيها
• تحليل المشاعر
• تصنيف الموضوعات
• كشف النوايا
• الكشف عن السُمّية والإساءة

تعمل أنظمة كشف الرسائل غير المرغوب فيها على تحليل الرسائل الواردة وتصنيفها على أنها "غير مرغوب فيها" أو "مرغوب فيها". وتستخدم هذه الأنظمة مزيجًا من القواعد والأنماط الإحصائية وتقنيات التعلم الآلي لاكتشاف رسائل التصيّد والرسائل التسويقية الجماعية من مرسلين مجهولين والروابط المشبوهة والبرمجيات الضارة والمزيد.

تحليل المشاعر هو عملية تحليل كميات كبيرة من النصوص لتحديد مشاعرها. يساعد تحليل المشاعر المؤسسات على تحديد إذا ما كان لدى الأشخاص ارتباطات إيجابية أو سلبية في نقاط الاتصال الرقمية.

يمكن لخوارزمية التعلم الآلي قياس المشاعر باستخدام الكلمات التي تظهر في النص بالإضافة إلى ترتيب ظهورها. يستخدم المطورون خوارزميات تحليل المشاعر لتعليم البرامج كيفية التعرُّف على المشاعر في النص على غرار طريقة البشر.

الهدف من تصنيف الموضوعات هو تعيين فئات محددة مسبقًا لجزء من النص. يُستخدم عادةً في إدارة المحتوى والتجميع والبحث الأكاديمي وتحليل التعليقات لتنظيم كميات كبيرة من النصوص غير المنظمة.

بينما يُخبرك تصنيف الموضوعات بمضمون الرسالة، يوضِّح لك كشف النوايا ما الذي يحاول المستخدم القيام به. يفيد كشف النوايا في أتمتة المحادثات ومهام التوجيه في خدمة العملاء أو التجارة الإلكترونية. ودون ذلك، ستكافح الأنظمة لتقديم مساعدة ذات مغزى.

يُعَد الكشف عن السُمّية والإساءة مهمة تصنيف نصوص تهدف إلى تحديد المحتوى الضار أو المسيء أو الهجومي على الإنترنت. قد يتضمن ذلك كلمات تحمل الكراهية أو التهديد أو المضايقة أو الألفاظ البذيئة أو أي تعبيرات غير لائقة أخرى. تستخدم منصات التواصل الاجتماعي الكبيرة خوارزميات التصنيف لمساعدة موظفي الدعم لديها على إدارة قواعد المستخدمين العالمية الضخمة.

هناك العديد من الأدوات مفتوحة المصدر المتاحة لإنشاء مصنِّفات النصوص. توفِّر أطر العمل مثل TensorFlow وPyTorch عناصر لإنشاء النماذج وتدريبها. على سبيل المثال، قد يستخدم المصنِّف المستند إلى TensorFlow واجهة برمجة تطبيقات Keras مع وحدات مثل validation_data وoptimizer وloss لتدريب نموذج على البيانات المصنَّفة. تُستخدم PyTorch، وهي مكتبة تعلُّم آلي قائمة على Python ومعروفة بمرونتها على نطاق واسع، مع أدوات مثل DataLoader وnn.Module.

بينما تستخدم المصنِّفات التقليدية تصنيفات ثابتة، أدَّى ظهور النماذج اللغوية الكبيرة (LLMs) إلى إدخال أساليب توليدية للتصنيف. يمكن توجيه النماذج إلى إنتاج كلٍّ من التصنيفات والتفسيرات بلغة طبيعية. على سبيل المثال، يمكن للشخص أن يطلب من النموذج اللغوي الكبير جملة ما ويطلب منه تصنيف المشاعر، أو توليد تبرير أو اقتراح فئات مماثلة - كل ذلك دون تدريب إضافي.

مع تسريع وحدة معالجة الرسومات، يتم تقليل أوقات التدريب بشكل كبير، خاصةً بالنسبة لمجموعات البيانات الكبيرة أو بنى التعلم العميق المعقدة. غالبًا ما يشارك الباحثون والمطورون مسارات التدريب والنماذج الخاصة بهم على GitHub.