El stemming es una de las diversas técnicas de normalización de textos que convierte los datos de texto en bruto en un formato legible para las tareas de procesamiento del lenguaje natural.
El "stemming" es una técnica de preprocesamiento de textos en el procesamiento del lenguaje natural (PLN). En concreto, consiste en reducir las formas flexionadas de una palabra a la llamada "raíz", también conocida como "lema" en lingüística1. Es uno de los dos métodos principales (el otro es la lematización)que reduce las variantes flexivas dentro de un conjunto de datos de texto a un lexema morfológico. Al hacerlo, el stemming tiene como objetivo mejorar el procesamiento de textos en los sistemas de machine learning y recuperación de información.
Las máquinas, desde las funciones de buscar y encontrar hasta los modelos de deep learning, procesan el lenguaje en gran medida según la forma, y muchos investigadores sostienen que los ordenadores no pueden entender el significado del lenguaje2. Aunque hay quien discute este último punto, lo cierto es que los modelos de machine learning deben entrenarse para reconocer distintas palabras como variantes morfológicas de una palabra base. Por ejemplo, en motores de búsqueda o catálogos de bibliotecas, los usuarios pueden enviar una consulta con una palabra (por ejemplo, invertir), pero esperan resultados que utilicen cualquier forma flexiva de la palabra (por ejemplo, invertir, inversión, inversiones, etc.). Al reducir las formas derivadas de las palabras a una palabra raíz, el stemming ayuda a los sistemas de recuperación de información a equiparar palabras morfológicamente relacionadas3.
Para muchas tareas de minería de texto, como la clasificación, la agrupación o la indexación, entre otras, el stemming ayuda a mejorar la precisión al reducir la dimensionalidad de los algoritmos de machine learning y agrupar las palabras por conceptos. La reducción de la dimensionalidad de los algoritmos puede mejorar la exactitud y precisión de los modelos estadísticos de PLN, como los modelos de temas y la incrustación de palabras4. De este modo, el stemming mejora la precisión en diversas tareas de PLN, como el análisis de sentimiento o el etiquetado de partes de la oración. Así, el stemming constituye un paso importante en el desarrollo de modelos de lenguaje de gran tamaño.
El stemming constituye una de las etapas de la minería de texto que convierte los datos de texto sin procesar en un formato estructurado para su procesamiento automático. Esencialmente, el stemming elimina los afijos de las palabras, dejando sólo la forma base5. Esto equivale a eliminar los caracteres del final de los tokens de palabras. Sin embargo, más allá de esta similitud básica, los algoritmos de stemming varían mucho.
Para explorar las diferencias entre las operaciones de los algoritmos de stemming, podemos procesar esta línea en inglés de El sueño de una noche de verano de Shakespeare: “Love looks not with the eyes but with the mind, and therefore is winged Cupid painted blind.” Antes de proceder al stemming, los usuarios deben tokenizar los datos textuales sin procesar. El tokenizador incorporado en el conjunto de herramientas de lenguaje natural de Python (NLTK) produce el texto citado como:
Tokenized: ['Love', 'looks', 'not', 'with', 'the', 'eyes', 'but', 'with', 'the', 'mind', ',', 'and', 'therefore', 'is', 'winged', 'Cupid', 'painted', 'blind', '.']
Al pasar la salida tokenizada por varios stemmers, podemos observar cómo difieren los algoritmos de stemming.
El stemmer de Lovins es el primer algoritmo de stemming publicado. Básicamente, funciona como una función de búsqueda y sustitución muy parametrizada. Compara cada token de entrada con una lista de sufijos comunes, en la que cada sufijo está condicionado por una de 29 reglas. Si uno de los sufijos de la lista se encuentra en un token, y la eliminación del sufijo no viola ninguna de las condiciones del sufijo asociado, el algoritmo elimina ese sufijo del token. A continuación, el token derivado se ejecuta a través de otro conjunto de reglas, corrigiendo las malformaciones comunes en las raíces derivadas, como las letras dobles en inglés (por ejemplo, hopping se convierte en hopp, que se convierte en hop)6.
Este código utiliza la biblioteca de stemming de Python7 para derivar la cita de Shakespeare tokenizada:
de stemming.lovins importar la raíz de nltk.tokenize import word_tokenize text = "El amor no mira con los ojos, sino con la mente, y por eso el alado Cupido se pinta ciego". words = word_tokenize(text) stemmed_words = [stem(word) for word in words]
El código genera:
Stemmed: ['Lov', 'look', 'not', 'with', 'th', 'ey', 'but', 'with', 'th', 'mind', ',', 'and', 'therefor', 'is', 'wing', 'Cupid', 'paint', 'blind', '.']
El resultado muestra cómo el stemmer de Lovins convierte correctamente las conjugaciones y los tiempos verbales en formas básicas (por ejemplo, painted se convierte en paint) al tiempo que elimina la pluralización (por ejemplo, eyes se convierte en eye). Pero el algoritmo de stemming de Lovins también devuelve una serie de stems mal formados, como lov, th y ey. Estas palabras raíz mal formadas son el resultado de eliminar demasiados caracteres. Como suele ocurrir en el machine learning, estos errores ayudan a revelar los procesos subyacentes.
En comparación con la lista de sufijos de Lovins, el sufijo más largo que se ajusta tanto a love como a the es el carácter único -e. La única condición adjunta a este sufijo es "sin restricciones en la raíz", lo que significa que el stemmer puede eliminar -e sin importar la longitud restante de la raíz. Desafortunadamente, ninguna de las raíces lov o th contiene ninguna de las características que utiliza el algoritmo de Lovins para identificar palabras mal formadas, como letras dobles o plurales irregulares8.
Cuando estas raíces malformadas escapan al algoritmo, el stemmer de Lovins puede reducir palabras no relacionadas semánticamente a la misma raíz, por ejemplo, the, these y this all se reducen a th. Por supuesto, estas tres palabras son demostrativas y, por tanto, comparten una función gramatical. Pero otros demostrativos, como that y those, no se reducen a th. Esto significa que los stems generados por Lovins no representan correctamente los grupos de palabras.
En comparación con el stemmer de Lovins, el algoritmo de stemming de Porter utiliza un algoritmo de stemming más matemático. Básicamente, este stemmer clasifica cada carácter de un token dado como consonante (c) o vocal (v), agrupando las consonantes subsiguientes como C y las vocales subsiguientes como V. Así, el stemmer representa cada token de palabra como una combinación de grupos de consonantes y vocales. Una vez enumeradas de esta manera, el stemmer pasa cada token de palabra por una lista de reglas que especifican los caracteres finales que se deben eliminar según el número de grupos de vocales y consonantes de un token9. Debido a que el inglés en sí mismo sigue reglas léxicas generales pero no absolutas, el criterio sistemático del algoritmo del stemmer de Porter para determinar la eliminación de sufijos puede generar errores.
Python NLTK contiene una función stemmer de Porter integrada. Este código implementa el algoritmo de stemming de Porter en la cita de Shakespeare tokenizada:
from nltk.stem import PorterStemmer from nltk.tokenize import word_tokenize porter_stemmer = PorterStemmer() text = "Love looks not with the eyes but with the mind, and therefore is winged Cupid painted blind." words = word_tokenize(text) stemmed_words = [porter_stemmer.stem(word) for word in words]
Este código devuelve:
Stemmed: ['love', 'look', 'not', 'with', 'the', 'eye', 'but', 'with', 'the', 'mind', ',', 'and', 'therefor', 'is', 'wing', 'cupid', 'paint', 'blind', '.']
Al igual que Lovins, Porter cambia correctamente las conjugaciones verbales y las pluralizaciones de los sustantivos. Si bien carece de otras raíces mal formadas de Lovins (por ejemplo, de love a lov), el algoritmo de stemming de Porter elimina erróneamente -e del final de therefore.
Según el método de agrupación consonante-vocal del stemmer de Porter, therefore se representa como CVCVCVCV, o C(VC)3V, con el exponente que significa repeticiones de grupos consonante-vocal.
Uno de los pasos finales del algoritmo establece que, si una palabra no ha sufrido ninguna derivación y tiene un valor de exponente mayor que 1, -e se elimina de la terminación de la palabra (si está presente). El valor del exponente de therefore es igual a 3, y no contiene ninguno de los sufijos enumerados en las otras condiciones del algoritmo10. Así, therefore se convierte therefor.
Hay que reconocer que éste es el único error del algoritmo de Porter, lo que demuestra por qué es el algoritmo más utilizado. De hecho, el stemmer de Porter ha servido de base para posteriores algoritmos de stemming.
El stemmer Snowball es una versión actualizada del stemmer de Porter. Aunque pretende aplicar un conjunto de reglas más sólido para determinar la eliminación de sufijos, sigue siendo propenso a muchos de los mismos errores. Al igual que el stemmer Porter, Python NLTK contiene una función stemmer Snowball integrada:
from nltk.stem.snowball import SnowballStemmer
from nltk.tokenize import word_tokenize
stemmer = SnowballStemmer("english", True)
text = "There is nothing either good or bad but thinking makes it so."
words = word_tokenize(text)
stemmed_words = [stemmer.stem(word) for word in words]
Produce el mismo output del texto de Shakespeare que el stemmer de Porter, reduciendo incorrectamente therefore a therefor:
Stemmed: ['love', 'look', 'not', 'with', 'the', 'eye', 'but', 'with', 'the', 'mind', ',', 'and', 'therefor', 'is', 'wing', 'cupid', 'paint', 'blind', '.']
El stemmer de Snowball difiere del de Porter en dos aspectos principales. En primer lugar, mientras que los stemmers de Lovins y Porter solo procesan palabras en inglés, el stemmer de Snowball puede procesar textos en otras lenguas con escritura latina, como el holandés, el alemán, el francés e incluso el ruso. En segundo lugar, el stemmer de Snowball, cuando se implementa a través de la biblioteca NLTK de Python, puede ignorar las palabras vacías. Las palabras vacías son un conjunto no universal de palabras que se eliminan de un conjunto de datos durante el preprocesamiento. La lista de palabras vacías predefinida del stemmer de Snowball contiene palabras sin una definición conceptual directa y que cumplen una función más gramatical que semántica. Las palabras vacías incluidas en la lista del stemmer de Snowball incluyen the, a, being y similares11.
Muchas fuentes describen el stemmer de Lancaster (también conocido como stemmer de Paice) como el más agresivo de los stemmers en lengua inglesa. El stemmer de Lancaster contiene una lista de más de 100 reglas que dictan qué cadenas de caracteres finales, si están presentes, deben sustituirse por otras cadenas, si las hay. El stemmer itera a través de cada token de palabra, comprobándola con todas las reglas. Si la cadena final del token coincide con la de una regla, el algoritmo ejecuta la operación descrita en la regla y, a continuación, vuelve a pasar la nueva palabra transformada por todas las reglas. El stemmer itera a través de todas las reglas hasta que un token determinado las supera todas sin transformarse12.
Aunque no está disponible en Python NLTK, el stemmer de Lancaster está disponible en la biblioteca de stemming13:
from stemming.paicehusk import stem from nltk.tokenize import word_tokenize text = "Love looks not with the eyes but with the mind, and therefore is winged Cupid painted blind." words = word_tokenize(text) stemmed_words = [stem(word) for word in words]
El código deriva el pasaje de Shakespeare tokenizado como:
Stemmed: ['Lov', 'look', 'not', 'with', 'the', 'ey', 'but', 'with', 'the', 'mind', ',', 'and' , 'theref', '', 'wing', 'Cupid', 'paint', 'blind', '.']
Claramente, el enfoque iterativo del stemmer de Lancaster es el más agresivo de los stemmers, como se muestra con theref. En primer lugar, el stemmer de Lancaster tiene la regla "e1>". Esta regla elimina la -e de un solo carácter sin sustituirla. Una vez que el algoritmo elimina -e de therefore, ejecuta el nuevo therefor a través de cada regla. La palabra recién transformada se ajusta a la regla «ro2>». Esta regla elimina el sufijo de dos caracteres -or sin sustituirlo. La raíz resultante de theref no se ajusta a ninguna de las demás reglas del algoritmo y, por lo tanto, se devuelve como base derivada. A diferencia de Lovins, el algoritmo de Lancaster no tiene en cuenta las palabras malformadas.
Existen numerosos stemmers del inglés, así como de otros idiomas con escritura latina. Más recientemente, la investigación se ha orientado hacia el desarrollo y la evaluación de algoritmos de stemming para lenguas de escritura no latina. El árabe, en particular, puede suponer un reto debido a su compleja morfología y a sus variaciones ortográficas. Un puñado de estudios comparan la eficacia de distintos stemmers árabes en tareas como la clasificación14. Además, los investigadores estudian la precisión del stemming para mejorar las tareas de recuperación de información en tamil15 y sánscrito16.
Aunque la investigación demuestra el papel del stemming en la mejora de la precisión de las tareas de PLN, la derivación presenta dos problemas principales que los usuarios deben vigilar. Se habla de over-stemming cuando dos palabras semánticamente distintas se reducen a la misma raíz y, por tanto, se confunden. El sub-stemming se produce cuando dos palabras semánticamente relacionadas no se reducen a la misma raíz17. Un ejemplo de over-stemming es la reducción del stemmer de Lancaster de wander a wand, dos términos semánticamente distintos en inglés. Sin embargo, ni el de Porter ni el de Lovins alteran en absoluto wander. Un ejemplo de under-stemming es la no reducción de Porter de knavish a knavish y de knave a knave, que comparten la misma raíz semántica. En comparación, el stemmer Lovins reduce ambas palabras a knav.
Aunque tienen usos y objetivos similares, el stemming y la lematización difieren en aspectos pequeños pero fundamentales. En la literatura se suele describir el stemming como algo más heurístico, que consiste esencialmente en eliminar los sufijos comunes de las palabras para producir una palabra raíz. En comparación, la lematización realiza un análisis morfológico más detallado de las distintas palabras para determinar la forma base del diccionario, eliminando no sólo los sufijos, sino también los prefijos. Aunque el stemming es más rápido y más fácil de implementar, muchos desarrolladores de herramientas de deep learning prefieren la lematización por su proceso de eliminación más matizado.
Diseñe asistentes y agentes de IA escalables con facilidad, automatice tareas repetitivas y simplifique procesos complejos con IBM watsonx Orchestrate.
Acelere el valor empresarial de la inteligencia artificial con una cartera potente y flexible de bibliotecas, servicios y aplicaciones.
Reinvente las operaciones y flujos de trabajo críticos añadiendo IA para maximizar las experiencias, la toma de decisiones en tiempo real y el valor empresarial.
1 Ruslan Mitkov. Oxford Handbook of Computational Linguistics. 2a edición. Oxford University Press. 2014.
2 Emily Bender y Alexander Koller. “Climbing towards NLU: On Meaning, Form, and Understanding in the Age of Data”. Actas de la 58.ª Reunión Anual de la Asociación de Lingüística Computacional. 2020. Pp. 5185-5198. https://aclanthology.org/2020.acl-main.463.
3 Steven Bird, Ewan Klein y Edward Loper. Natural Language Processing with Python. O’Reilley. 2009.
4 Gary Miner, Dursun Delen, John Elder, Andrew Fast, Thomas Hill y Robert A. Nisbet. Practical Text Mining and Statistical Analysis for Non-Structured Text Data Applications. Academic Press. 2012.
5 Christopher Manning y Hinrich Schütze. Foundations of Statistical Natural Language Processing. MIT Press. 1999.
6 Julie Beth Lovins. "Development of a stemming algorithm". Mechanical Translation and Computational Linguistics. Vol. 11. Nos. 1 y 2. 1968. Pp. 22-31. https://aclanthology.org/www.mt-archive.info/MT-1968-Lovins.pdf.
7, 13 https://pypi.org/project/stemming/1.0.
8 Julie Beth Lovins. "Development of a stemming algorithm". Mechanical Translation and Computational Linguistics. Vol. 11. Nos. 1 y 2. 1968. Pp. 22-31. https://aclanthology.org/www.mt-archive.info/MT-1968-Lovins.pdf.
9 Martin Porter. "An algorithm for suffix stripping". Program: electronic library and information systems. Vol. 14. Nº. 3. 1980,. Pp. 130-137. https://www.emerald.com/insight/content/doi/10.1108/eb046814/full/html .
10 Martin Porter. "An algorithm for suffix stripping". Program: electronic library and information systems. Vol. 14. Nº. 3. 1980. pp. 130-137. https://www.emerald.com/insight/content/doi/10.1108/eb046814/full/html
11 Martin Porter. “Snowball: A language for stemming algorithms”. 2001. https://snowballstem.org/texts/introduction.html.
12 Chris Paice. “Another stemmer". ACM SIGIR Forum. Vol. 24. Nº. 3. 1990. Pp. 56-61. https://dl.acm.org/doi/10.1145/101306.101310.
14 Y. A. Alhaj, J. Xiang, D. Zhao, M. A. A. Al-Qaness, M. Abd Elaziz y A. Dahou. "A Study of the Effects of Stemming Strategies on Arabic Document Classification". IEEE Access. Vol. 7. Pp. 32664-32671. https://ieeexplore.ieee.org/document/8664087. Janneke van der Zwaan, Maksim Abdul Latif, Dafne van Kuppevelt, Melle Lyklema, Christian Lange. "Are you sure your tool does what it is supposed to do? Validating Arabic root extraction". Digital Scholarship in the Humanities. Vol. 36. 2021. Pp. 137-150. https://academic.oup.com/dsh/article/36/Supplement_1/i137/5545478.
15 Ratnavel Rajalakshmi, Srivarshan Selvaraj, Faerie Mattins, Pavitra Vasudevan, Anand Kumar. "HOTTEST: Hate and Offensive content identification in Tamil using Transformers and Enhanced Stemming". Computer Speech & Language. Vol. 78. 2023. https://www.sciencedirect.com/science/article/abs/pii/S0885230822000870?via%3Dihub.
16 Siba Sankar Sahu y Sukomal Pal. "Building a text retrieval system for the Sanskrit language: Exploring indexing, stemming, and searching issues". Computer Speech & Language. Vol. 81. 2023. https://www.sciencedirect.com/science/article/abs/pii/S0885230823000372?via%3Dihub.
17 Chris Paice. “Stemming”. Encyclopedia of Database Systems. Springer. 2020.