يناقش الباحثون ما إذا كان من الممكن للذكاء الاصطناعي أن يعقل، وقد امتد هذا النقاش إلى اللغويات الحاسوبية. هل تستطيع روبوتات المحادثة ونماذج التعلم العميق معالجة الأشكال اللغوية فقط، أم يمكنها أيضًا فهم الدلالات؟ ² ومهما كان رأي المرء في هذه المسألة، فلا تتغير حقيقة أن نماذج التعلم الآلي يجب أن تُدرَّب على التعرف على الكلمات المختلفة كمتغيرات مورفولوجية لكلمة أساسية واحدة، وأن تقوم حتى بمعالجة الكلمات وفقًا للمورفولوجيا، وليس وفقًا للدلالات. ومن خلال تقليص أشكال الكلمات المشتقة إلى كلمة جذعية واحدة، يساعد التجذير والتقطيع اللغوي نظم استرجاع المعلومات ونماذج التعلم العميق في مساواة الكلمات المتشابهة من الناحية المورفولوجية.

يساعد التجذير والتقطيع اللغوي على تحسين الدقة بالنسبة إلى العديد من مهام التنقيب عن النصوص بما في ذلك تصنيف النصوص وتجميعها وفهرستها وغير ذلك من المهام، وذلك من خلال تقليص أبعاد خوارزميات التعلم الآلي وتجميع الكلمات ذات الصلة المورفولوجية، ويؤدي تقليل أبعاد الخوارزمية بدوره إلى تحسين دقة النماذج الإحصائية في معالجة اللغة الطبيعية وتحسين إحكامها، ومن أمثلتها نماذج المواضيع ونماذج الكلمات المتجهة.³

يعمل التجذير والتقطيع اللغوي كمرحلة واحدة في مسارات التنقيب في النصوص التي تحول البيانات النصية الخام إلى تنسيق منظم للمعالجة الآلية. يزيل كل من التجذير والتقطيع اللغوي اللواحق من الأشكال المصرفة للكلمات، تاركان فقط الشكل الجذري.⁴ وتعمل هذه العمليات على إزالة الأحرف من بداية الرموز المميزة للكلمات ونهايتها. ثم تُمرَّر الجذور الناتجة، أو الكلمات الأساسية، لتخضع لمزيد من المعالجة. وبعيدًا عن هذا التشابه الأساسي، فتوجد اختلافات رئيسية بين التجذير والتقطيع اللغوي في كيفية اختزالهما للأشكال المختلفة للكلمة إلى شكل أساسي واحد مشترك.

تختلف خوارزميات التجذير على نطاق واسع على الرغم من أنها تشترك في بعض أنماط التشغيل العامة، حيث تقوم خوارزميات التجذير بإزالة لواحق الكلمات عن طريق تشغيل الرموز المميزة للكلمات المدخلة مقابل قائمة محددة مسبقًا من اللواحق الشائعة، وتزيل خوارزميات التجذير بعد ذلك أي سلاسل أحرف لاحقة يُعثر عليها في الكلمة، إذا لم تتحدَ الكلمة أي قواعد أو شروط مرتبطة بتلك اللاحقة، فتقوم بعض خوارزميات التجذير (مثل Lovins stemmer) بتمرير الأجزاء التي ردت إلى أصلها عبر مجموعة إضافية من القواعد لتصحيح الجذور المشوهة.

الخوارزمية الأكثر استخدامًا هي خوارزمية Porter stemming، ونسختها المحدثة هي Snowball stemmer. ولفهم التجذير بشكل أفضل، يمكننا تمرير المقطع التالي من مسرحية هاملت لشكسبير عبر أداة Snowball للتجذير: "There is nothing either good or bad but thinking makes it so" (لا شيء طيب أو سيئ، لكن التفكير هو الذي يجعله كذلك).

تحتوي مجموعة أدوات اللغة الطبيعية Python (NLTK) على وظائف مضمنة لأداتَي التجذير Snowball وPorter، وبعد تجذير الاقتباس من هاملت باستخدام NLTK، يمكننا تمرير النص المرمز من خلال أداة التجذير Snowball باستخدام هذا الرمز:

from nltk.stem.snowball import SnowballStemmer
from nltk.tokenize import word_tokenize
stemmer = SnowballStemmer("english", True)
text = "There is nothing either good or bad but thinking makes it so."
words = word_tokenize(text)
stemmed_words = [stemmer.stem(word) for word in words]

print("Original:", text)
print("Tokenized:", words)
print("Stemmed:", stemmed_words)

مخرجات الرمز:

الاقتباس الأصلي:
There is nothing either good or bad but thinking makes it so
الاقتباس المُرمَّز:
['There', 'is', 'nothing', 'either', 'good', 'or', 'bad', 'but', 'thinking', 'makes', 'it', 'so', '.']
الاقتباس المجذر:
 ['there', 'is', 'noth', 'either', 'good', 'or', 'bad', 'but', 'think', 'make', 'it', 'so', '.']

تحتوي خوارزميات التجذير Snowball وPorter على طريقة رياضية أكثر للتخلص من اللواحق على نحو أكبر من أدوات التجذير الأخرى، ويكفي القول بأن أداة التجذير تقوم بتشغيل كل رمز مميز للكلمة مقابل قائمة من القواعد التي تحدد سلاسل اللواحق لإزالتها وفقًا لعدد مجموعات حروف العلة والحروف الساكنة في الرمز المميز.⁵ وبالطبع، نظرًا لأن اللغة الإنجليزية تتبع قواعد معجمية عامة وليست مطلقة، فإن المعيار المنهجي لخوارزمية التجذير يرجع ببعض الأخطاء، مثل noth.

تزيل أداة التجذير -ing، حيث إنها نهاية شائعة تدل على زمن الحاضر المتقدم. ومع ذلك، تتسبب إزالة -ing من اقتباس هاملت إلى إنتاج الجذر الخاطئ noth، ويمكن لذلك أن يمنع التحليل اللغوي اللاحق من ربط كلمة nothing بالأسماء المشابهة لها، مثل anything وsomething، وبالإضافة إلى ذلك، تترك أداة التجذير الفعل is المنتظم من دون أي تغيير، وبالمثل، تترك أداة التجذير Snowball تصريفات أخرى للفعل to be مثل was وare من دون تجذير، ويمكن لهذا أن يمنع النماذج من ربط تصريفات الأفعال غير المنتظمة لفعل ما بشكل صحيح.

تعرِّف الأدبيات عمومًا التجذير بأنه عملية تجريد الكلمات من اللواحق للحصول على سلاسل الكلمات الجذرية، وتعرِّف التقطيع اللغوي بأنه المشروع الأكبر الذي يقلص المتغيرات المورفولوجية إلى شكل قاموس أساسي واحد.⁶ والفرق العملي بين التجذير والتقطيع اللغوي هو أنه في حين أن التجذير يزيل فقط اللواحق الشائعة من نهاية الرموز المميزة للكلمات، فإن التقطيع اللغوي يضمن أن تكون الكلمة المخرجة هي شكل طبيعي موجود للكلمة (مثل كلمة lemma) التي يمكن العثور عليها في القاموس.⁷

ونظرًا لأن التقطيع اللغوي يهدف إلى إخراج أشكال أساسية من القاموس، فإنه يتطلب تحليلاً مورفولوجيًا أكثر فعالية من التجذير. يُعد تصنيف أجزاء الكلام (POS tagging) خطوة ضرورية في التقطيع اللغوي، ويقوم تصنيف أجزاء الكلام بشكل أساسي بتعيين علامات لكل كلمة لتدل على وظيفتها النحوية في الجملة. يوفّر Python NLTK دالة لخوارزمية "Word Net Lemmatization"، والتي يمكننا من خلالها إجراء التقطيع اللغوي على فقرة هاملت:

from nltk.stem import WordNetLemmatizer
from nltk.corpus import wordnet
from nltk import word_tokenize, pos_tag
 
def get_wordnet_pos(tag):
    if tag.startswith('J'):
        return wordnet.ADJ
    elif tag.startswith('V'):
        return wordnet.VERB
    elif tag.startswith('N'):
        return wordnet.NOUN
    elif tag.startswith('R'):
        return wordnet.ADV
    else:         
        return wordnet.NOUN
       
def lemmatize_passage(text):
    words = word_tokenize(text)
    pos_tags = pos_tag(words)
    lemmatizer = WordNetLemmatizer()
    lemmatized_words = [lemmatizer.lemmatize(word, get_wordnet_pos(tag)) for word, tag in pos_tags]
    lemmatized_sentence = ' '.join(lemmatized_words)
    return lemmatized_sentence
 
text = "There is nothing either good or bad but thinking makes it so."
result = lemmatize_passage(text)
 
print("Original:", text)
print("Tokenized:", word_tokenize(text))
print("Lemmatized:", result)

يُرجع الرمز الآتي:

الاقتباس الأصلي:
Good and bad are shaped by your thinking
الاقتباس المرمز:
['.','Good', 'and', 'bad', 'are', 'shaped', 'by', 'your', 'thinking']
الاقتباس الخاضع للتقطيع اللغوي:
['.','Good', 'and', 'bad', 'be', 'shape', 'by', 'your', 'think']

يقلل WordNetLemmatizer، مثل أداة التجذير Snowball، من تصريفات الأفعال إلى الأشكال الأساسية—مثل تغيير thinking إلى think، وmakes إلى make. ولكن على عكس خوارزمية التجذير Snowball، فإن أداة التقطيع اللغوي تحدد nothing كاسم، وتترك نهايته، وهي -ing كما هو مطلوب، لكي تنتهي الكلمة من دون تغيير، بينما يغير الفعل is بشكل إضافي إلى شكله الأساسي be وبهذه الطريقة، تخلط أداة التقطيع اللغوي بشكل أكثر ملاءمة بين أشكال الأفعال غير المنتظمة.

يدعم التجذير والتقطيع اللغوي في المقام الأول تطبيع البيانات النصية باللغة الإنجليزية، كما تدعم كلتا التقنيتين العديد من اللغات الأخرى التي تكتب بالحروف اللاتينية، مثل الفرنسية والألمانية والإسبانية، أما اللغات الأخرى، مثل اللغة الروسية، فهي مدعومة بشكل أكبر من خلال أداة التجذير Snowball. يعد تطوير خوارزميات التجذير والتقطيع اللغوي للغات الأخرى، ولا سيما اللغة العربية، مجالاً حديثًا ومستمرًا للبحث، وتمثل اللغة العربية تحديًا خاصًا بسبب مورفولوجيتها الإلصاقية واختلافاتها الإملائية وغموضها المعجمي بالإضافة إلى ميزات أخرى.⁸ وإجمالاً، تثير هذه العناصر إشكالية في الطريقة المنهجية لتحديد أشكال الكلمات الأساسية بين المتغيرات الصرفية، وذلك عند مقارنتها بالكلمات الإنجليزية على الأقل.

وإلى جانب هذا القيد العام، فإن لكل من التجذير والتقطيع اللغوي عيوب خاصة. كما هو موضح في مثال هاملت، فإن التجذير هو عملية استقرائية نسبيًا قائمة على القواعد لإزالة سلسلة أحرف، ولكن الإفراط في التجذير أوإنقاصه هما خطآن شائعان ينتجان أثناء عملية التجذير، فالأول ينتج عندما يتم اختزال كلمتين مختلفتين لغويًا إلى الجذر نفسه (مثل تحويل news إلى new)، أما الإنقاص في التجذير فينتج عندما لا يتم اختزال كلمتين مرتبطتين دلاليًا إلى الجذر نفسه (مثل تغيير Knavish وknave إلى Knavish وKnave على التوالي).⁹ بالإضافة إلى ذلك، فإن التجذير يجرد اللواحق من الكلمات فقط ومن ثَمَّ لا يمكن أن يفسر أشكال الأفعال غير المنتظمة أو البادئات كما يفعل التقطيع اللغوي، وبالطبع يعد التجذير بسيطًا نسبيًا ومباشرًا في تنفيذه بينما يمكن أن يكون التقطيع اللغوي أكثر تكلفة من الناحية الحسابية ويستغرق وقتًا طويلاً بحسب حجم البيانات التي تجري معالجتها.