¿Qué es la bolsa de palabras?

La bag of words (BoW; también llamada bolsa de palabras) es una técnica de extracción de características que modela datos de texto para su procesamiento en algoritmos de recuperación de información y machine learning. En concreto, los modelos BoW son un surtido no estructurado de todas las palabras conocidas de un documento de texto, definidas únicamente en función de su frecuencia, sin tener en cuenta el orden de las palabras ni el contexto¹. El bag of words es uno de los pasos de muchos procesos de minería de texto.

La mayoría de los paquetes de procesamiento del lenguaje natural (PLN) vienen cargados con funciones para crear modelos de bag of words, como la función CountVectorizer de scikit-learn.

La caracterización de la bolsa de palabras puede, a veces, considerarse una forma de procesamiento de texto de nivel principiante, dada su aparente simplicidad conceptual a la hora de contar palabras en un conjunto de texto determinado. Sin embargo, los modelos de bolsa de palabras son más complicados.

Para comprender la caracterización de las bolsas de palabras se necesita, al menos para principiantes, un conocimiento de los espacios vectoriales. Un espacio vectorial es un espacio multidimensional en el que se trazan puntos. En un enfoque de bolsa de palabras, cada palabra individual se convierte en una dimensión (o eje) separada del espacio vectorial. Si un conjunto de texto tiene n número de palabras, el espacio vectorial resultante tiene n dimensiones, una dimensión para cada palabra única en el conjunto de texto. A continuación, el modelo traza cada documento de texto separado como un punto en el espacio vectorial. La posición de un punto a lo largo de una determinada dimensión está determinada por la cantidad de veces que aparece la palabra de esa dimensión dentro del documento del punto.

Por ejemplo, supongamos que tenemos un conjunto de texto en el que los contenidos de dos documentos separados son respectivamente:

Documento 1: Una rosa es roja, una violeta es azul

Documento 2: Mi amor es como una rosa roja

Debido a que es difícil imaginar algo más allá de un espacio tridimensional, nos limitaremos a eso. Un espacio vectorial para un corpus que contenga estos dos documentos tendría dimensiones separadas para rojo, rosa y violeta. Un espacio vectorial tridimensional para estas palabras podría verse así:

Dado que rojo, rosa y violeta aparecen una vez en el documento 1, el vector para ese documento en este espacio será (1,1,1). En el documento 2, el rojo aparece dos veces, el rosa una vez y el violeta no aparece en absoluto. Por lo tanto, el punto vectorial para el documento 2 es (2,1,0). Ambos puntos de documento se asignarán en el espacio vectorial tridimensional como:

Tenga en cuenta que esta figura visualiza documentos de texto como vectores de datos en un espacio de características tridimensional. Pero una bag of words también puede representar palabras como vectores de características en un espacio de datos. Un vector de características significa el valor (ocurrencia) de una característica determinada (palabra) en un punto de datos específico (documento). Por lo tanto, los vectores característicos para rojo, rosa y violeta en los documentos 1 y 2 se verían así²:

Tenga en cuenta que el orden de las palabras en los documentos originales es irrelevante. Para un modelo de bolsa de palabras, lo único que importa es el número de apariciones de cada palabra en el conjunto de texto.

Dado que los modelos de bag of words solo cuantifican la frecuencia de las palabras en un documento determinado, la bag of words se describe a menudo como una técnica de modelado simple. Pero la bag of words ayuda en muchas tareas de PLN, sobre todo en la clasificación de documentos. De hecho, la literatura a menudo analiza la bag of words junto con clasificadores estadísticos como el Naïve Bayes³.

Las tareas de clasificación de texto interpretan aquellas palabras con alta frecuencia en un documento como si representaran las ideas principales del mismo⁴. No es una suposición descabellada. Por ejemplo, si algunas de las palabras más frecuentes en un documento son presidente, votantes y elecciones, existe una alta probabilidad de que el documento sea un texto político, en concreto sobre una elección presidencial. La clasificación de texto con la bag of words extrapola entonces que los documentos con contenido similar son de tipo similar.

Aunque los clasificadores probabilísticos que utilizan un enfoque de bolsa de palabras resultan muy eficaces, la bolsa de palabras tiene varias desventajas.

Correlación de palabras. La bag of words supone que las palabras son independientes unas de otras en un documento o corpus. Es más probable que elección aparezca en un contexto compartido con presidente que con poeta. Al medir la frecuencia de los términos individuales, la bag of words no tiene en cuenta las correlaciones de uso entre las palabras. Como la bag of words extrae cada palabra de un documento como una característica del modelo de bag of words, siendo la frecuencia de los términos la ponderación de esa característica, dos o más palabras correlacionadas pueden inducir teóricamente la multicolinealidad en los clasificadores estadísticos que utilizan ese modelo. Sin embargo, la suposición simplificadora de Naïve Bayes ha demostrado producir modelos sólidos a pesar de estas posibles deficiencias⁵.

Palabras compuestas. La correlación de palabras se extiende a las representaciones en bolsas de palabras de frases compuestas, en las que dos o más palabras funcionan como una unidad semántica. Por ejemplo, un modelo simple de bolsa de palabras puede representar al Sr. Darcy como dos palabras únicas y no relacionadas, aunque funcionen en conjunto. Esta representación de un conjunto de palabras no refleja la naturaleza semántica y sintáctica de conceptos compuestos por varias palabras.

Palabras polisémicas. Muchas palabras tienen significados múltiples y marcadamente diferentes. Por ejemplo, ratón puede significar un animal o un dispositivo electrónico, y estos significados suelen aparecer en contextos significativamente diferentes. Del mismo modo, las palabras pueden cambiar de significado en función de la ubicación de su acento en el lenguaje hablado, por ejemplo, PÚ-blico frente a publi-CÓ. Dado que la bolsa de palabras no tiene en cuenta el contexto y el significado al modelar las palabras, colapsa todos estos significados distintos en una sola palabra, eliminando así información potencialmente significativa sobre el tema de un texto (y, por lo tanto, la clasificación potencial).

Dispersión. En un modelo de bag of words, cada palabra es una característica, o dimensión, del modelo, y cada uno de los denominados documentos es un vector. Dado que un documento no utiliza todas las palabras del vocabulario del modelo generado, muchos de los valores de las características de un vector determinado pueden ser cero. Cuando la mayoría de los valores de los vectores son cero, el modelo es disperso (si se representan los vectores como una matriz, esto se denomina matriz dispersa). La escasez de modelos se traduce en una alta dimensionalidad, lo que, a su vez, lleva a un sobreajuste de los datos de entrenamiento⁶.

Bolsa de n-gramas. La adopción de n-gramas en lugar de palabras puede corregir una serie de desventajas inherentes a los modelos de bag of words. En lugar de crear un modelo en el que cada palabra sea una característica, se pueden utilizar n-gramas como características vectoriales. En este contexto, n se refiere al número de palabras que se tratan como una unidad semántica; quizás la más común en la bolsa de n-gramas son los bigramas (es decir, dos palabras). Los bigramas de palabras son útiles porque pueden dar cuenta de palabras compuestas, como Nueva York o Torre Eiffel. Por supuesto, no todos los bigramas de palabras son informativos, por ejemplo on the o of the. Sin embargo, este es un medio para dar cuenta de cuestiones como las palabras compuestas y la correlación de palabras⁷.

Técnicas de normalización de textos. Es posible que los datos de texto sin procesar deban normalizarse para mejorar la estructura y la función de los modelos de bag of words. Al crear una bag of words, o una bolsa de n-gramas, el modelo, las palabras como artículos (por ejemplo, un, la, etc.) y preposiciones (por ejemplo, desde, de, en, etc.) pueden tener el número más alto de ocurrencias. Estas palabras no proporcionan mucha información sobre el contenido o el tipo de un documento, por lo que son en gran medida inútiles en las tareas de clasificación. Las técnicas de preprocesamiento de texto, como la eliminación de palabras vacías (a menudo utilizadas en stemming) pueden ayudar a eliminar palabras irrelevantes de conjuntos de datos de texto para ayudar a mejorar la estructura de los modelos de bag of words. Afortunadamente, muchas bibliotecas y paquetes de Python, como NLTK o sklearn, incluyen funciones para llevar a cabo técnicas comunes de preprocesamiento.

Hashing. El hash de características básicamente convierte palabras individuales de datos de texto de entrada en un conjunto numérico de tamaño fijo. Este rango fijo de números se utiliza para construir el espacio vectorial para el modelo de bag of words. Limitar el rango de números y, por lo tanto las dimensiones del modelo, a un tamaño fijo ayuda a evitar la dispersión y la alta dimensionalidad. Una desventaja clave del hashing son las llamadas colisiones. Una colisión de hash se produce cuando dos tokens no relacionados se asignan al mismo entero. Otra desventaja del hashing es que no tiene en cuenta las palabras polisémicas⁸.

Con los modelos estándar de bolsa de palabras, las palabras semánticamente irrelevantes (por ejemplo, el, algunos, etc.) pueden tener la mayor frecuencia de términos y, por lo tanto, el mayor peso en un modelo. El término frecuencia de documento de frecuencia inversa (TF-IDF) tiene como objetivo corregir esto. Mientras que la bolsa de palabras solo cuenta el número de veces que aparece una palabra en un documento, TF-IDF tiene en cuenta la prevalencia de la palabra en todos los documentos de un conjunto de texto. TF-IDF se representa en la ecuación:

En esta ecuación, el primer término es el valor calculado por el modelo de bag of words, es decir, la frecuencia de los términos. El segundo término representa la frecuencia inversa de los documentos. N es igual al número total de documentos del conjunto de textos y n es igual al número de documentos en los que aparece una palabra determinada. Cuantos más documentos aparezcan en los que esté presente una palabra determinada, mayor es la reducción de la ponderación de esa palabra por TF-IDF. En este sentido, TF-IDF es un ejemplo de escalado de características en los modelos de machine learning⁹.

Al igual que los modelos generales de bolsa de palabras, los paquetes de PNL suelen disponer de funciones preexistentes para implementar el TF-IDF, como la función tfidfvectorizer de scikit-learn.

Las variaciones de los modelos de bag of words se utilizan en diversas tareas de PLN. Por ejemplo, la red neuronal word2vec utiliza una bag of words continua para producir modelos de incrustación de palabras¹⁰. El análisis y la clasificación de sentimientos también pueden hacer uso de modelos de bag of words¹¹.