Lo stemming è una delle numerose tecniche di normalizzazione del testo che converte i dati di testo non elaborati in un formato leggibile per le attività di elaborazione del linguaggio naturale.
Lo stemming è una tecnica di pre-elaborazione del testo nell'elaborazione del linguaggio naturale (NLP). In particolare, è il processo di riduzione della forma flessa di una parola a una cosiddetta forma "stem", o radice, nota anche come "lemma" in linguistica.1 È uno dei due metodi principali, mentre l'altro è la lemmatizzazione, che riduce le varianti flesse all'interno di un set di dati di testo a un lessema morfologico. In questo modo, lo stemming mira a migliorare l'elaborazione del testo nei sistemi di machine learning e recupero delle informazioni.
Le macchine, dalle funzioni di ricerca e ritrovamento ai modelli di deep learning, elaborano il linguaggio in gran parte in base alla forma, e molti ricercatori sostengono che i computer non sono in grado di comprendere il significato del linguaggio.2 Sebbene alcuni discutano su quest'ultimo punto, è comunque vero che i modelli di machine learning devono essere addestrati a riconoscere parole diverse come varianti morfologiche di una parola base. Ad esempio, nei motori di ricerca o nei cataloghi delle biblioteche, gli utenti possono inviare una query con una sola parola (ad esempio, investire) ma aspettarsi risultati che utilizzano qualsiasi forma di parola flessa (ad esempio, investito, investimento, investimenti, ecc.). Riducendo le forme derivative delle parole a una parola radice, lo stemming aiuta i sistemi di recupero delle informazioni a equiparare le parole morfologicamente correlate.3
Per molte attività di text mining, tra cui classificazione del testo, clustering, indicizzazione e altro, lo stemming aiuta a migliorare la precisione riducendo la dimensionalità degli algoritmi di machine learning e raggruppando le parole in base al concetto. La riduzione della dimensionalità degli algoritmi migliora l'accuratezza e la precisione dei modelli statistici di NLP, come i modelli di argomenti e gli incorporamenti di parole.4 Lo stemming migliora quindi l'accuratezza nell'esecuzione di varie attività di NLP, come l'analisi del sentiment di una parte del tagging del discorso. Per questo lo stemming è un passo importante nello sviluppo dei modelli linguistici di grandi dimensioni.
Lo stemming è una fase di una pipeline di text mining che converte i dati di testo non elaborati in un formato strutturato per l'elaborazione automatica. Lo stemming, essenzialmente, rimuove gli affissi dalle parole, lasciando solo la forma di base.5 Ciò equivale a rimuovere i caratteri dalla fine dei token delle parole. Al di là di questa somiglianza di base, tuttavia, gli algoritmi di stemming variano notevolmente.
Per esplorare le differenze tra le operazioni degli algoritmi di stemming, possiamo elaborare questa riga tratta da Sogno di una notte di mezza estate di Shakespeare: "Love looks not with the eyes but with the mind, and therefore is winged Cupid painted blind". Prima dello stemming, gli utenti devono tokenizzare i dati di testo non elaborati. Il tokenizer integrato del Natural Language Toolkit (NLTK) di Python restituisce il testo citato come:
Tokenized: ['Love', 'looks', 'not', 'with', 'the', 'eyes', 'but', 'with', 'the', 'mind', ',', 'and', 'therefore', 'is', 'winged', 'Cupid', 'painted', 'blind', '.']
Eseguendo l'output tokenizzato attraverso più stemmer, possiamo osservare le differenze tra gli algoritmi di stemming.
Lo stemmer di Lovins è il primo algoritmo di stemming pubblicato. Essenzialmente, si comporta come una funzione di ricerca e sostituzione fortemente parametrizzata. Confronta ogni token di input con un elenco di suffissi comuni, con ogni suffisso condizionato da una delle 29 regole. Se uno dei suffissi dell'elenco viene trovato in un token e la rimozione del suffisso non viola nessuna delle condizioni del suffisso associato, l'algoritmo rimuove tale suffisso dal token. Il token con stemming viene quindi sottoposto a un'altra serie di regole, correggendo le malformazioni comuni nelle radici con stemming, come le lettere doppie (ad esempio, hopping diventa hopp diventa hop).6
Questo codice utilizza la libreria di stemming Python,7 per creare lo stemming della citazione di Shakespeare tokenizzata:
from stemming.lovins import stem from nltk.tokenize import word_tokenize text = "Love looks not with the eyes but with the mind, and therefore is winged Cupid painted blind." words = word_tokenize(text) stemmed_words = [stem(word) for word in words]
L'output del codice è il seguente:
Stemmed: ['Lov', 'look', 'not', 'with', 'th', 'ey', 'but', 'with', 'th', 'mind', ',', 'and', 'therefor', 'is', 'wing', 'Cupid', 'paint', 'blind', '.']
L'output mostra come lo stemmer Lovins trasformi correttamente le coniugazioni e i tempi in forme base (ad esempio, painted diventa paint) eliminando al contempo la pluralizzazione (ad esempio, eyes diventa eye). Ma l'algoritmo di stemming di Lovins restituisce anche una serie di radici malformate, come lov, th e ey. Queste parole radice malformate derivano dalla rimozione di troppi caratteri. Come spesso accade nel machine learning, tali errori aiutano a rivelare i processi sottostanti.
Se confrontato con l'elenco dei suffissi dello stemmer di Lovins, il suffisso più lungo che si adatta sia a love che a the è il singolo carattere -e. L'unica condizione associata a questo suffisso è "No restrictions on stem", ovvero che lo stemmer può rimuovere -e indipendentemente dalla lunghezza residua dello stem. Purtroppo, nessuno degli stem lov o th contiene nessuna delle caratteristiche utilizzate dall'algoritmo di Lovins per identificare le parole malformate, come le lettere doppie o i plurali irregolari.8
Quando tali stem malformati sfuggono all'algoritmo, lo stemmer di Lovins può ridurre parole semanticamente non correlate allo stesso stem, ad esempio, the, these e this si riduce a th. Naturalmente, queste tre parole sono tutte dimostrative, e quindi condividono una funzione grammaticale. Tuttavia, altri dimostrativi, come that e those, non si riducono a th. Ciò significa che le radici generate da Lovins non rappresentano correttamente i gruppi di parole.
Rispetto allo stemmer di Lovins, l'algoritmo di stemming di Porter utilizza un algoritmo di stemming più matematico. Essenzialmente, questo stemmer classifica ogni carattere in un determinato token come consonante (c) o vocale (v), raggruppando le consonanti successive come C e le vocali successive come V. Lo stemmer rappresenta quindi ogni token di parola come una combinazione di gruppi di consonanti e vocali. Una volta enumerato in questo modo, lo stemmer esegue ogni token di parola attraverso un elenco di regole che specificano i caratteri finali da rimuovere in base al numero di gruppi di vocali-consonanti in un token.9 Poiché l'inglese stesso segue regole lessicali generali ma non assolute, il criterio sistematico dell'algoritmo di stemming di Porter per determinare la rimozione dei suffissi può restituire errori.
Python NLTK contiene una funzione stemmer Porter integrata. Questo codice utilizza l'algoritmo di derivazione di Porter sulla citazione tokenizzata di Shakespeare:
from nltk.stem import PorterStemmer from nltk.tokenize import word_tokenize porter_stemmer = PorterStemmer() text = "Love looks not with the eyes but with the mind, and therefore is winged Cupid painted blind." words = word_tokenize(text) stemmed_words = [porter_stemmer.stem(word) for word in words]
Questo codice restituisce:
Stemmed: ['love', 'look', 'not', 'with', 'the', 'eye', 'but', 'with', 'the', 'mind', ',', 'and', 'therefor', 'is', 'wing', 'cupid', 'paint', 'blind', '.']
Come nel caso di Lovins, Porter modifica correttamente le coniugazioni dei verbi e le pluralizzazioni dei sostantivi. Pur mancando le altre radici malformate di Lovins (ad esempio, da love a lov), l'algoritmo di stemming di Porter rimuove tuttavia erroneamente -e dalla fine di therefore.
Secondo il metodo di raggruppamento consonante-vocale dello stemmer di Porter, Therefore è rappresentato come CVCVCVCV, o C(VC)3V, con l'esponente che significa ripetizioni di gruppi consonanti-vocali.
Uno dei passaggi finali dell'algoritmo prevede che, se una parola non è stata sottoposta ad alcuno stemming e ha un valore di esponente maggiore di 1, -e viene rimossa dalla desinenza della parola (se presente). Il valore di esponente di therefore è uguale a 3 e non contiene nessuno dei suffissi elencati nelle altre condizioni dell'algoritmo.10 Di conseguenza, therefore diventa therefor.
Certo, questo è l'unico errore dello stemmer di Porter, forse a testimonianza del fatto che è l'algoritmo di stemming più adottato. In effetti, lo stemmer di Porter è servito da base per i successivi algoritmi di stemming.
Lo stemmer Snowball è una versione aggiornata dello stemmer Porter. Sebbene abbia l'obiettivo di applicare una serie di regole più robuste per determinare la rimozione dei suffissi, rimane comunque incline a molti degli stessi errori. Come lo stemmer Porter, Python NLTK contiene una funzione di stemmer Snowball integrata:
from nltk.stem.snowball import SnowballStemmer
from nltk.tokenize import word_tokenize
stemmer = SnowballStemmer("english", True)
text = "There is nothing either good or bad but thinking makes it so."
words = word_tokenize(text)
stemmed_words = [stemmer.stem(word) for word in words]
Produce lo stesso output del testo di Shakespeare come lo stemmer di Porter, riducendo erroneamente therefore a therefor:
Stemmed: ['love', 'look', 'not', 'with', 'the', 'eye', 'but', 'with', 'the', 'mind', ',', 'and', 'therefor', 'is', 'wing', 'cupid', 'paint', 'blind', '.']
Lo stemmer Snowball differisce da quello di Porter principalmente per due motivi. Innanzitutto, mentre gli stemmer di Lovins e Porter si applicano solo a parole inglesi, lo stemmer Snowball si può applicare a testi in diverse altre lingue dell'alfabeto latino, come olandese, tedesco, francese e persino al russo. In secondo luogo, lo stemmer Snowball, se implementato tramite la libreria Python NLTK, può ignorare le stop word. Le stop word sono una raccolta non universale di parole che vengono rimosse da un set di dati durante la pre-elaborazione. La lista di stop word predefinita dello stemmer Snowball contiene parole senza una definizione concettuale diretta e che svolgono una funzione più grammaticale che semantica. Le parole ripetute incluse nella lista di stop word inglesi dello stemmer Snowball includono the, a, being e simili.11
Molte fonti descrivono lo stemmer di Lancaster, noto anche come lo stemmer di Paice, come il più aggressivo degli stemmer della lingua inglese. Lo stemmer di Lancaster contiene un elenco di oltre 100 regole che determinano quali stringhe di caratteri finali, se presenti, debbano essere sostituite con altre, se presenti. Lo stemmer esamina ogni token di parola, verificandolo rispetto a tutte le regole. Se la stringa finale del token corrisponde a quella di una regola, l'algoritmo esegue l'operazione descritta della regola e quindi esegue nuovamente la nuova parola trasformata in tutte le regole. Lo stemmer scorre tutte le regole fino a quando un determinato token le supera tutte senza essere trasformato.12
Sebbene non disponibile in Python NLTK, lo stemmer Lancaster è disponibile nella libreria di stemming:13
from stemming.paicehusk import stem from nltk.tokenize import word_tokenize text = "Love looks not with the eyes but with the mind, and therefore is winged Cupid painted blind." words = word_tokenize(text) stemmed_words = [stem(word) for word in words]
Il codice riproduce il brano di Shakespeare tokenizzato come:
Stemmed: ['Lov', 'look', 'not', 'with', 'the', 'ey', 'but', 'with', 'the', 'mind', ',', 'and', 'theref', '', 'wing', 'Cupid', 'paint', 'blind', '.']
Chiaramente, l'approccio iterativo dello stemmer Lancaster è il più aggressivo tra gli stemmer, come dimostrato con theref. Innanzitutto, lo stemmer di Lancaster ha la regola "e1>", che rimuove il carattere singolo -e senza sostituirlo. Dopo che l'algoritmo ha rimosso -e da therefore, passa la nuova parola therefor attraverso ogni regola. La parola appena trasformata risponde alla regola "ro2>." Questa regola rimuove il suffisso di due caratteri -or senza sostituirlo. La radice theref risultante non risponde a nessuna delle altre regole dell'algoritmo e quindi viene restituito come base stemmed. A differenza di quello di Lovins, l'algoritmo di Lancaster non ha mezzi per tenere conto delle parole malformate.
Ci sono molti stemmer in inglese, così come altri stemmer per altri linguaggi di scrittura latina. Più recentemente, la ricerca si è rivolta allo sviluppo e alla valutazione di algoritmi di stemming per linguaggi di scrittura non latini. L'arabo, in particolare, può risultare difficile a causa della sua complessa morfologia e delle sue variazioni ortografiche. Alcuni studi confrontano l'efficacia di diversi termini arabi in relazione a compiti come la classificazione.14 Inoltre, i ricercatori studiano l'accuratezza dello stemming nel migliorare le attività di recupero delle informazioni in tamil15 e in sanscrito.16
Mentre la ricerca evidenzia il ruolo dello stemming nel migliorare l'accuratezza delle attività di NLP, lo stemming ha due problemi principali ai quali gli utenti devono prestare attenzione. L'overstemming si verifica quando due parole semanticamente distinte vengono ridotte alla stessa radice e quindi fuse insieme. L'understemming si verifica quando due parole semanticamente correlate non vengono ridotte alla stessa radice.17 Un esempio di overstemming è la riduzione dello stemmer Lancaster da wander a wand, due termini semanticamente distinti in inglese. Tuttavia, sia lo stemmer di Porter che quello di Lovins non alterano affatto wander. Un esempio di understemming è la non riduzione da parte dello stemmer di Porter di knavish a knavish e knave a knave, che condividono la stessa radice semantica. In confronto, lo stemmer di Lovins riduce entrambe le parole a knav.
Pur avendo usi e obiettivi simili, lo stemming e la lemmatizzazione hanno alcune piccole ma sostanziali differenze. La letteratura spesso descrive lo stemming come più euristico, essenzialmente eliminando i suffissi comuni dalle parole per produrre una parola radice. La lemmatizzazione, invece, conduce un'analisi morfologica più dettagliata di parole diverse per determinare una forma base di dizionario, rimuovendo non solo i suffissi, ma anche i prefissi. Sebbene lo stemming sia più rapido e facilmente implementabile, molti sviluppatori di strumenti di deep learning potrebbero preferire la lemmatizzazione dato il suo processo di stripping più sfumato.
Progetta facilmente assistenti e agenti di AI scalabili, automatizza le attività ripetitive e semplifica i processi complessi con IBM watsonx Orchestrate.
Accelera il valore aziendale dell'intelligenza artificiale con un portfolio potente e flessibile di librerie, servizi e applicazioni.
Reinventa i flussi di lavoro e le operazioni critiche aggiungendo l'AI per massimizzare le esperienze, il processo decisionale in tempo reale e il valore di business.
1 Ruslan Mitkov, Oxford Handbook of Computational Linguistics, 2nd edition, Oxford University Press, 2014.
2 Emily Bender e Alexander Koller, "Climbing towards NLU: On Meaning, Form, and Understanding in the Age of Data", Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, 2020, pagg. 5185-5198, https://aclanthology.org/2020.acl-main.463
3 Steven Bird, Ewan Klein, and Edward Loper, Natural Language Processing with Python, O’Reilley, 2009.
4 Gary Miner, Dursun Delen, John Elder, Andrew Fast, Thomas Hill e Robert A. Nisbet, Practical Text Mining and Statistical Analysis for Non-Structured Text Data Applications, Academic Press, 2012.
5 Christopher Manning and Hinrich Schütze, Foundations of Statistical Natural Language Processing, MIT Press, 1999.
6 Julie Beth Lovins, "Development of a stemming algorithm", Mechanical Translation and Computational Linguistics, Vol. 11, n. 1 e 2, 1968, pagg. 22-31, https://aclanthology.org/www.mt-archive.info/MT-1968-Lovins.pdf
7, 13 https://pypi.org/project/stemming/1.0
8 Julie Beth Lovins, "Development of a stemming algorithm", Mechanical Translation and Computational Linguistics, Vol. 11, n. 1 e 2, 1968, pagg. 22-31, https://aclanthology.org/www.mt-archive.info/MT-1968-Lovins.pdf
9 Martin Porter, "An algorithm for suffix stripping", Program: electronic library and information systems, Vol. 14, No. 3, 1980, pp. 130-137, https://www.emerald.com/insight/content/doi/10.1108/eb046814/full/html
10 Martin Porter, "An algorithm for suffix stripping", Program: electronic library and information systems, Vol. 14, n. 3, 1980, pagg. 130-137, https://www.emerald.com/insight/content/doi/10.1108/eb046814/full/html
11 Martin Porter, “Snowball: A language for stemming algorithms,” 2001, https://snowballstem.org/texts/introduction.html
12 Chris Paice, “Another stemmer," ACM SIGIR Forum, Vol. 24, No. 3, 1990, pp.56-61, https://dl.acm.org/doi/10.1145/101306.101310
14 Y. A. Alhaj, J. Xiang, D. Zhao, M. A. A. Al-Qaness, M. Abd Elaziz e A. Dahou, "A Study of the Effects of Stemming Strategies on Arabic Document Classification", IEEE Access, Vol. 7, pagg. 32664-32671, https://ieeexplore.ieee.org/document/8664087. Janneke van der Zwaan, Maksim Abdul Latif, Dafne van Kuppevelt, Melle Lyklema, Christian Lange, "Are you sure your tool does what it is supposed to do? Validating Arabic root extraction", Digital Scholarship in the Humanities, Vol.36, 2021, pagg. 137-150, https://academic.oup.com/dsh/article/36/Supplement_1/i137/5545478
15 Ratnavel Rajalakshmi, Srivarshan Selvaraj, Faerie Mattins, Pavitra Vasudevan, Anand Kumar, "HOTTEST: Hate and Offensive content identification in Tamil using Transformers and Enhanced Stemming", Computer Speech & Language, Vol. 78, 2023, https://www.sciencedirect.com/science/article/abs/pii/S0885230822000870?via%3Dihub
16 Siba Sankar Sahu e Sukomal Pal, "Building a text retrieval system for the Sanskrit language: Exploring indexing, stemming, and searching issues", Computer Speech & Language, Vol. 81, 2023, https://www.sciencedirect.com/science/article/abs/pii/S0885230823000372?via%3Dihub
17 Chris Paice, "Stemming", Encyclopedia of Database Systems, Springer, 2020.