إن التجذير أحد أساليب ضبط النص العديدة التي تحوِّل بيانات النص الخام إلى تنسيق قابل للقراءة لمهام معالجة اللغة الطبيعية.
التجذيع هو إحدى التقنيات المستخدمة في مهام ما قبل معالجة النصوص في معالجة اللغة الطبيعية (NLP). وهو يقلص، بشكل خاص، مشتقات الكلمات عن طريق إرجاع كل كلمة إلى ما يسمى "الأصل" أو "أصل الكلمة"، والمعروف أيضًا باسم "المادة المعجمية" في اللغويات.1 وهي واحدة من طريقتين أساسيتين، الطريقة الأخرى هي التجريد، تعمل على إرجاع المشتقات الصرفية في مجموعة البيانات النصية إلى وحدة دلالية واحدة. وهكذا يكون الهدف من التجذيع متمثلاً في تحسين معالجة النصوص في التعلم الآلي وأنظمة استرجاع المعلومات.
تعمل الآلات، من وظائف البحث وحتى نماذج التعلم العميق، على معالجة اللغات إلى حد كبير بناءً على الصيغة اللغوية، لكن العديد من الباحثين يزعمون أن أجهزة الكمبيوتر لا تستطيع فهم المعنى الذي تعكسه اللغة.2 وبينما يعارض بعض الأشخاص هذه النقطة الأخيرة، فإن الواقع يبين أن نماذج التعلم الآلي تحتاج إلى التدريب حتى تتمكن من التعرف على الكلمات المختلفة كمشتقات صرفية من كلمة واحدة. على سبيل المثال، في محركات البحث أو فهارس المكتبات، يمكن أن يتضمن استعلام المستخدمين كلمة واحدة (على سبيل المثال، استثمار) لكنهم يتوقعون ظهور نتائج بها أي شكل من أشكال تصريف هذه الكلمة (على سبيل المثال، يستثمر، والاستثمار، والاستثمارات، وما إلى ذلك). ومن خلال إرجاع مشتقات الكلمات إلى أصل واحد للكلمة، يساعد التجذيع أنظمة استرجاع المعلومات على جمع الكلمات المرتبطة من الناحية الصرفية.3
يساعد التجذيع، في الكثير من مهام استخراج النصوص التي تشمل تصنيف النصوص، والتجميع، والفهرسة، وغير ذلك الكثير، على تحسين الدقة عن طريق تقليص أبعاد خوارزميات التعلم الآلي وتجميع الكلمات بناءً على دلالتها. إذ يؤدي تقليل أبعاد الخوارزميات إلى زيادة صحة ودقة نماذج معالجة اللغة الطبيعية (NLP) الإحصائية، مثل نماذج الموضوعات وتضمين الكلمات.4 ومن ثَم يؤدي التجذيع إلى تحسين الدقة عند تنفيذ مهام معالجة اللغة الطبيعية المختلفة، مثل تحليل المشاعر عند تصنيف أقسام الكلام. ولهذا السبب، يُعد التجذيع خطوة مهمة في تطوير النماذج اللغوية الكبرى.
يُعد التجذيع إحدى مراحل عملية استخراج النصوص التي تحول البيانات النصية غير المنسقة إلى تنسيق منظم من أجل إجراء المعالجة الآلية. وبشكل أساسي، يحذف التجذيع جميع الإضافات من الأشكال الصرفية للكلمات، تاركًا أصل الكلمة فقط.5 ويؤدي ذلك إلى إزالة الأحرف من نهاية رموز الكلمات. وبعيدًا عن هذا التشابه الأساسي، إلا إن لخوارزميات التجذيع أشكالاً مختلفة.
لاستكشاف الاختلافات بين عمليات الخوارزمية الناشئة، يمكننا معالجة سطر مقتبس من مسرحية شكسبير A Midsummer Night’s Dream: وهو السطر: “Love looks not with the eyes but with the mind, and therefore is winged Cupid painted blind.” قبل التجذير، على المستخدمين ترميز بيانات النص الخام برموز مميزة. يُخرج الرمز المميز المدمج في مجموعة أدوات لغة Python الطبيعية (NLTK) النص المقتبس على النحو التالي:
Tokenized: ['Love', 'looks', 'not', 'with', 'the', 'eyes', 'but', 'with', 'the', 'mind', ',', 'and', 'therefore', 'is', 'winged', 'Cupid', 'painted', 'blind', '.']
ومن خلال تشغيل المخرجات المميزة عبر وحدات فرعية متعددة، يُمكننا ملاحظة مدى اختلاف خوارزميات التجذير.
تُعد خوارزمية Lovins Stemmer أول خوارزمية تجذيع نُشرت. وهي تعمل في الأساس كوظيفة بحث واستبدال ذات معلمات فائقة. فهي تقارن كل رمز مُدخل بقائمة من اللواحق الشائعة، حيث ينطبق على كل لاحقة من اللواحق شرط من الشروط المضمنة في 29 قاعدة. فإذا وجدت لاحقة من اللواحق الموجودة في القائمة في الرمز، وكانت إزالة تلك اللاحقة لا تؤدي إلى الإخلال بأي شرط من شروط هذه اللاحقة، فإن الخوارزمية تُزيل تلك اللاحقة من الرمز. ثم يُقارن الرمز الناتج بعد حذف اللواحق بمجموعة أخرى من القواعد لتصحيح أخطاء الصياغة الشائعة في أصول الكلمات المستنتجة، مثل الأحرف المزدوجة (على سبيل المثال، كلمة "hopping" تُصبح "hopp" ثم "hop").6
يستخدم هذا الرمز مكتبة التجذيعPython، 7لاستخراج أصول الكلمات من رموز مقولة شكسبير:
from stemming.lovins import stem from nltk.tokenize import word_tokenize text = "Love looks not with the eyes but with the mind, and therefore is winged Cupid painted blind." words = word_tokenize(text) stemmed_words = [stem(word) for word in words]
مخرجات الرمز:
Stemmed: ['Lov', 'look', 'not', 'with', 'th', 'ey', 'but', 'with', 'th', 'mind', ',', 'and', 'therefor', 'is', 'wing', 'Cupid', 'paint', 'blind', '.']
يظهر لنا من خلال الناتج كيف حولت خوارزمية Lovins stemmer جيدًا الاقترانات والأزمنة إلى أشكال أساسية (على سبيل المثال، كلمة painted أصبحت paint) مع التخلص من الجمع (على سبيل المثال، كلمة eyes أصبحت eye). لكن خوارزمية تجذير Lovins أرجعت أيضًا عددًا من الجذور غير الصحيحة، مثل lov، وth، وey. هذه الكلمات الجذرية المشوهة نتجت عن إزالة عدد كبير جدًا من الأحرف. وكما هو الحال غالبًا في التعلم الآلي، تساعد مثل هذه الأخطاء في الكشف عن العمليات الأساسية.
عند مقارنة المقولة بقائمة لواحق خوارزمية Lovins stemmer، سنجد أن أطول لاحقة مشتركة بين كل من كلمتي love وthe هي الحرف المفرد e-. الشرط الوحيد الذي ينطبق على هذه اللاحقة هو أنه "لا يوجد حد لأصول الكلمات"، ما يعني أن الخوارزمية يمكنها إزالة الحرف e- بغض النظر عن طول أصول الكلمتين. وللأسف، لا يحتوي أي من الأصلين "lov" و"th" على أي من الخصائص التي تستخدمها خوارزمية Lovins لتحديد الكلمات الخاطئة من حيث الصياغة، مثل الأحرف المزدوجة أو صيغ الجمع الشاذة.8
عندما تفلت مثل هذه الجذور المشوهة من الخوارزمية، يمكن لخوارزمية Lovins stemmer أن تقلل الكلمات غير المرتبطة لغويًا إلى نفس الجذر—على سبيل المثال، سيتم ردّ كل من الكلمات the وthese وthis إلى th. وبطبيعة الحال، هذه الكلمات الثلاث كلها أسماء إشارة، وبالتالي فإنها تشترك في وظيفة نحوية واحدة. أما أسماء الإشارة الأخرى، مثلthat وthose، لا تُرد إلى th. وهذا يعني أن الجذور المُنشأة في خوارزمية Lovins لا تمثل مجموعات الكلمات جيدًا.
ومن حيث المقارنة بخوارزمية التجذيع Lovins Stemmer، نجد أن خوارزمية Porter Stemmer هي خوارزمية تجذيع أكثر رياضية. وبشكل أساسي، تُصنف خوازمية التجذيع هذه كل حرف إلى حرف ساكن ورمزه (c) أو متحرك ورمزه (v)، وتجمع الحروف الساكنة المتتابعة مع بعضها في رمز C والحروف الساكنة المتتابعة في رمز V. ومن ثَم تمثل خوازمية التجذيع رموز الكلمات على أنها مجموعة من الحروف الساكنة والمتحركة. وبعد تصنيفها بهذه الطريقة، تُخضع الخوارزمية كل رموز الكلمات إلى قائمة من القواعد التي تحدد الأحرف النهائية المطلوب إزالتها وفقًا لعدد مجموعات الحروف المتحركة والساكنة في الرمز الواحد.9 ونظرًا إلى أن اللغة الإنجليزية نفسها تتبع قواعد لغوية عامة وليست مطلقة، فإن المعيار المنهجي لخوارزمية Porter Stemmer التي تقوم على تحديد اللواحق التي ينبغي إزالتها يمكن أن ينتج عنه أخطاء.
يحتوي Python NLTK على وظيفة Porter Stemmer مضمنة. يؤدي هذا الرمز إلى نشر خوارزمية التجذير Porter وتطبيقه على نص شكسبير المقتبس:
from nltk.stem import PorterStemmer from nltk.tokenize import word_tokenize porter_stemmer = PorterStemmer() text = "Love looks not with the eyes but with the mind, and therefore is winged Cupid painted blind." words = word_tokenize(text) stemmed_words = [porter_stemmer.stem(word) for word in words]
هذا الرمز يُرجع ما يلي:
Stemmed: ['love', 'look', 'not', 'with', 'the', 'eye', 'but', 'with', 'the', 'mind', ',', 'and', 'therefor', 'is', 'wing', 'cupid', 'paint', 'blind', '.']
وكما هو الحال مع خوارزمية Lovins، تُغيِّر خوارزمية Porter تصريفات الأفعال وجمع الأسماء على نحوٍ صحيح. ورغم عدم وجود جذور Lovins الأخرى المشوهة (مثل ردّ love إلى lov)، فإن خوارزمية تجذير Porter تزيل على نحوٍ خاطئ e- من نهاية كلمة therefore.
ووفقًا لطريقة تجميع الحروف الساكنة والحروف المتحركة في Porter، تُمثّل therefore على أنها CVCVCVCV، أو C(VC)3V مع إشارة الأس إلى تكرار مجموعات الحروف الساكنة والحروف المتحركة.
تتمثل إحدى الخطوات النهائية للخوارزمية في أنه إذا لم تخضع الكلمة لأي عملية تجذيع وكانت قيمة الأس أكبر من 1، فسيُحذف الحرف e- من نهاية الكلمة (إذا كان موجودًا). ومن ثَم فإن قيمة الأس تساوي 3، ولا تحتوي على أي من اللواحق المدرجة في شروط الخوارزمية الأخرى.10 لذا، كلمة "therefore" تُصبح "therefor".
وهذا هو الخطأ الوحيد الذي ارتكبته خوارزمية Porter Stemmer، باعتراف الجميع، ولعل هذا هو ما يثبت أنها خوارزمية التجذير الأكثر اعتمادًا على نطاق واسع. في الواقع، كانت خوارزمية Porter Stemmer بمثابة الأساس لخوارزميات التجذير التي ظهرت لاحقًا.
تعد خوارزمية Snowball Stemmer نسخة محدَّثة من خوارزمية Porter Stemmer. ورغم أنها تهدف إلى فرض مجموعة قواعد أقوى لتحديد إزالة اللواحق، إلا أنها ظلت عرضة للعديد من الأخطاء ذاتها. تشبه مكتبة Python NLTK إلى حد كبير خوارزمية Porter Stemmer، وتحتوي على دالة Snowball Stemmer مدمجة:
from nltk.stem.snowball import SnowballStemmer
from nltk.tokenize import word_tokenize
stemmer = SnowballStemmer("english", True)
text = "There is nothing either good or bad but thinking makes it so."
words = word_tokenize(text)
stemmed_words = [stemmer.stem(word) for word in words]
وينتج الناتج ذاتها الذي حصلنا عليها من نص شكسبير عند استخدام خوارزمية Porter stemmer، إذ تقلصت كلمة therefore على نحوٍ غير صحيح إلى therefor:
Stemmed: ['love', 'look', 'not', 'with', 'the', 'eye', 'but', 'with', 'the', 'mind', ',', 'and', 'therefor', 'is', 'wing', 'cupid', 'paint', 'blind', '.']
تختلف خوارزمية التجذيع Snowball stemmer عن خوارزمية Porter في نقطتين رئيسيتين. النقطة الأولى: بينما تختص خوارزميتا التجذيع Lovins وPorter بالكلمات الإنجليزية فقط، نجد أن خوارزمية التجذيع Snowball يمكن أن تعمل على نصوص أخرى تكتب بالحروف اللاتينية، كالهولندية والألمانية والفرنسية بل وحتى الروسية. النقطة الثانية: يمكن لخوارزمية Snowball Stemmer عند تنفيذها عبر مكتبة Python NLTK أن تتجاهل الكلمات الشائعة. والكلمات الشائعة هي مجموعة غير موحدة من الكلمات تُزال من مجموعة البيانات ضمن مهام ما قبل المعالجة. وتحتوي قائمة الكلمات الشائعة المحددة مسبقًا لخوارزمية Snowball Stemmer على كلمات ليس لها تعريف مفاهيمي مباشر، وتؤدي وظيفة نحوية أكثر من الوظيفة الدلالية. ومن الكلمات الشائعة المضمنة في قائمة الكلمات الإنجليزية الشائعة بخوارزمية Snowball stemmer (the، وa، وbeing، وما إلى ذلك).11
تصف العديد من المصادر خوارزمية التجذيع Lancaster stemmer، المعروفة أيضًا باسم Paice Stemmer، بأنها الخوارزمية الأكثر قوة من حيث الإمكانات بين كل خوارزميات التجذيع باللغة الإنجليزية. إذ تحتوي خوارزمية Lancaster Stemmer على قائمة تضم أكثر من 100 قاعدة تحدد سلاسل الأحرف النهائية، إن وجدت، المطلوب استبدالها بسلاسل أخرى، إن وجدت. وتُخضع خوارزمية التجذيع كل رمز للكلمة إلى عمليات متكررة، وتتحقق من استيفائه لجميع القواعد. فإذا تطابقت سلسلة الرموز النهائية مع قاعدة ما، تفعّل الخوارزمية العملية الموصوفة في القاعدة ثم تتحقق مرة أخرى من استيفاء الكلمة الجديدة المحوَّلة لجميع القواعد. وتُجرى خوارزمية التجذيع عمليات متكررة للتأكد من استيفاء جميع القواعد حتى يجتاز الرمز جميع القواعد من دون تحويله.12
ورغم أن خوارزمية Lancaster Stemmer غير متوفرة في مكتبة Python NLTK، إلا أنها متاحة في مكتبة التجذير:13
from stemming.paicehusk import stem from nltk.tokenize import word_tokenize text = "Love looks not with the eyes but with the mind, and therefore is winged Cupid painted blind." words = word_tokenize(text) stemmed_words = [stem(word) for word in words]
يتم في هذا الرمز تجذير نص فقرة شكسبير المميزة على النحو التالي:
Stemmed: ['Lov', 'look', 'not', 'with', 'the', 'ey', 'but', 'with', 'the', 'mind', ',', 'and', 'theref', '', 'wing', 'Cupid', 'paint', 'blind', '.']
من الواضح أن النهج التكراري لخوارزمية Lancaster Stemmer هو الأكثر قوة من بين كل خوارزميات التجذير كما هو واضح من خلال الكلمة theref. أولاً، تمتلك خوارزمية Lancaster Stemmer القاعدة "<e1". إذ تُزيل هذه القاعدة الحرف المفرد e- دون استبدال. ثم بعد أن تُزيل الخوارزمية e- من الكلمة therefor، تُشغّل كلمة therefor الجديدة لتمر على كل قاعدة. والكلمة المحوَّلة حديثًا تناسب القاعدة "<ro2". فتؤدي هذه القاعدة إلى إزالة اللواحق المكونة من حرفين or- دون استبدالها. ولا يتناسب الجذر الناتج theref مع أي من قواعد الخوارزمية الأخرى، وبالتالي يتم إرجاعه كالجذر الأساسي. إذن على عكس خوارزمية Lovins، لا تمتلك خوارزمية Lancaster وسيلة لحساب الكلمات ذات التكوين غير الصحيح.
توجد العديد من خوارزميات تجذيع كلمات اللغة الإنجليزية، إضافة إلى خوارزميات تجذيع كلمات اللغات الأخرى المكتوبة بالأبجدية اللاتينية. وفي الآونة الأخيرة، اتجهت الأبحاث نحو تطوير خوارزميات تجذيع كلمات اللغات المكتوبة بغير الأبجدية اللاتينية وتقييمها. وتشكل اللغة العربية على وجه الخصوص تحديًا بسبب الصيغ الصرفية المركبة والاختلافات الإملائية. ركزت مجموعة من الدراسات على تقييم مدى فعالية مختلف أدوات التجذيع باللغة العربية فيما يتعلق بمهام مثل التصنيف.14 بالإضافة إلى ذلك، تناول الباحثون الدور الذي تؤديه دقة التجذيع في تحسين مهام استرجاع المعلومات باللغة التاميلية15 والسنسكريتية.16
وبينما أثبتت الأبحاث أهمية دور التجذيع في تحسين دقة مهام معالجة اللغة الطبيعية، إلا إن للتجذيع مشكلتان أساسيتان يحتاج المستخدمون إلى الانتباه لهما. يحدث الإفراط في التجذيع عند إرجاع كلمتين مختلفتين دلاليًا إلى الأصل نفسه، ما يؤدي إلى دمجهما. بينما يشير النقص في التجذيع إلى عدم إرجاع كلمتين مرتبطتين دلاليًا إلى الأصل نفسه.17 من الأمثلة على الإفراط في التجذيع إرجاع خوارزمية التجذيع Lancaster Stemmer كلمة wander إلى wand، وهما مصطلحان مختلفان دلاليًا في اللغة الإنجليزية. أما خوارزميات التجذيع Porter وLovins فلن تغير في كلمة wander على الإطلاق. من الأمثلة على التجذير على نحوٍ ناقص عن الحد عدم اختزال خوارزمية تجذير Porter كلمة knavish إلى knavish واختزال كلمة knave إلى knave، واللتان تشتركان في نفس الجذر الدلالي. أما خوارزمية تجذير Lovins فتختصر كلتا الكلمتين إلى knav.
رغم وجود استخدامات وأهداف مماثلة، إلا أن التجذير وتجريد الكلمة يختلفان في نقاط بسيطة وليست رئيسية. وغالبًا ما تصف المنشورات المختصة التجذير بأنه إرشادي ومساعد على الكشف أكثر، إذ يُجرِّد أساسًا اللواحق الشائعة من الكلمات لإنتاج جذر الكلمة. بينما تجريد الكلمة يُجري تحليلاً مورفولوجيًا أكثر تفصيلاً لكلمات مختلفة لتحديد أساس الكلمة المعجمي، ولا يزيل اللواحق فحسب، بل البادئات أيضًا. ورغم أن عملية التجذير أسرع وأكثر سهولة في التنفيذ، إلا أن العديد من مطوري أدوات التعلم العميق يفضلون عملية تجريد الكلمة لكونها أكثر دقة.
يمكنك بسهولة تصميم مساعدي ووكلاء الذكاء الاصطناعي القابلين للتوسع وأتمتة المهام المتكررة وتبسيط العمليات المعقدة باستخدام IBM watsonx Orchestrate.
تسريع قيمة الأعمال باستخدام مجموعة قوية ومرنة من مكتبات وخدمات وتطبيقات الذكاء الاصطناعي.
أعدّ ابتكار عمليات ومهام سير العمل الحساسة بإضافة الذكاء الاصطناعي لتعزيز التجارب وصنع القرارات في الوقت الفعلي والقيمة التجارية.
1 Ruslan Mitkov، دليل أكسفورد للغويات الحاسوبية، الطبعة الثانية، مطبعة جامعة أكسفورد، عام 2014.
2 Emily Bender وAlexander Koller، "خطوات نحو فهم اللغة الطبيعية: حول المعنى والصيغة والفهم في عصر البيانات"، وقائع الاجتماع السنوي الثامن والخمسين لجمعية اللغويات الحاسوبية (ACL)، عام 2020، صفحة 5185-5198، https://aclanthology.org/2020.acl-main.463
3 Steven Bird، وEwan Klein، وEdward Loper، معالجة اللغة الطبيعية باستخدام لغة Python، O’Reilley، عام 2009.
4 Gary Miner، وDursun Delen، وJohn Elder، و Andrew Fast، وThomas Hill، وRobert A. Nisbet، "الاستخراج العملي للنصوص والتحليل الإحصائي لتطبيقات البيانات النصية غير المنسقة"، مطبعة Academic Press، عام 2012.
5 Christopher Manning وHinrich Schütze، أسس المعالجة الإحصائية للغة الطبيعية، مطبعة MIT، عام 1999.
6 Julie Beth Lovins، "تطوير خوارزمية التجذيع"، الترجمة الآلية واللغويات الحاسوبية، المجلد 11، العدد 1 و2، عام 1968، ص. 22-31، https://aclanthology.org/www.mt-archive.info/MT-1968-Lovins.pdf
7، 13 https://pypi.org/project/stemming/1.0
8 Julie Beth Lovins، "تطوير خوارزمية التجذيع"، الترجمة الآلية واللغويات الحاسوبية، المجلد 11، العدد 1 والعدد 2، 1968، ص. 22-31، https://aclanthology.org/www.mt-archive.info/MT-1968-Lovins.pdf
9 Martin Porter، "خوارزمية تجريد اللواحق"، برنامج: المكتبة الإلكترونية وأنظمة المعلومات، مجلد 14 ، العدد 3، عام 1980، صفحة 130-137، https://www.emerald.com/insight/content/doi/10.1108/eb046814/full/html
10 Martin Porter، "خوارزمية تجريد اللواحق"، برنامج: المكتبة الإلكترونية وأنظمة المعلومات، المجلد 14، العدد 3، عام 1980، ص. 130-137، https://www.emerald.com/insight/content/doi/10.1108/eb046814/full/html
11 Martin Porter، "Snowball: لغة خوارزميات التجذيع"، عام 2001، https://snowballstem.org/texts/introduction.html
12 Chris Paice، "خوارزميات التجذيع الأخرى"، منتدى ACM SIGIR، مجلد 24، العدد 3، عام 1990، صفحة 56-61، https://dl.acm.org/doi/10.1145/101306.101310
14 Y. A. Alhaj، وJ. Xiang، D. Zhao، وM. A. A. Al-Qaness، وM. Abd Elaziz، و A. Dahou، "دراسة تأثير إستراتيجيات التجذيع في تصنيف المستندات العربية"، مجلة IEEE Access، مجلد 7، ص. 32664-32671، https://ieeexplore.ieee.org/document/8664087. Janneke van der Zwaan، وMaksim Abdul Latif، و Dafne van Kuppevelt، وMelle Lyklema، وChristian Lange، "هل أنت متأكد من أن أداتك تعمل بشكل صحيح؟ التحقق من صحة استخراج الأصول العربية"، المنحة الرقمية في العلوم الإنسانية، مجلد 36، عام 2021، صفحة 137-150، https://academic.oup.com/dsh/article/36/Supplement_1/i137/5545478
15 Ratnavel Rajalakshmi، وSrivarshan Selvaraj، و Faerie Mattins، وPavitra Vasudevan، وAnand Kumar، "الأكثر رواجًا: تحديد محتوى الكراهية والإساءة باللغة التاميلية باستخدام المحولات والتجذيع المُحسّن"، الكلام واللغة الحاسوبية، المجلد 78, 2023، https://www.sciencedirect.com/science/article/abs/pii/S0885230822000870?via%3Dihub
16 Siba Sankar Sahu وSukomal Pal، "تطوير نظام استرجاع النصوص بالغة السنسكريتية: استكشاف قضايا الفهرسة والتجذيع والبحث"، الكلام واللغة الحاسوبية، المجلد 81، عام 2023، https://www.sciencedirect.com/science/article/abs/pii/S0885230823000372?via%3Dihub
17 Chris Paice، "التجذيع"، موسوعة أنظمة قواعد البيانات، Springer، عام 2020.