¿Qué son los modelos de lenguaje enmascarado?

Los modelos de lenguaje enmascarado (MLM) son un tipo de modelo de lenguaje grande (LLM) utilizado para ayudar a predecir palabras faltantes del texto en tareas de procesamiento del lenguaje natural (PNL). Por extensión, el modelado de lenguaje enmascarado es una forma de entrenar modelos transformadores—en particular, las representaciones de codificadores bidireccionales de transformadores (BERT) y su enfoque derivado de preentrenamiento BERT optimizado de forma robusta (RoBERTa)— para tareas de PLN, entrenando al modelo para que rellene las palabras enmascaradas dentro de un texto y, de ese modo, prediga las palabras más probables y coherentes para completar el texto.

El modelado de lenguaje enmascarado ayuda a muchas tareas, desde el análisis de sentimientos hasta la generación de texto, al entrenar un modelo para comprender la relación contextual entre las palabras. De hecho, los desarrolladores de investigación a menudo utilizan modelos de lenguaje enmascarado para crear modelos preentrenados que se someten a un ajuste adicional supervisado para tareas posteriores, como la clasificación de texto o la traducción automática. Los modelos de lenguaje enmascarados sustentan así muchos algoritmos de modelado de lenguaje de última generación actuales. Aunque el modelado de lenguaje enmascarado es un método para preentrenar modelos de lenguaje, las fuentes en línea a veces se refieren a él como un método de aprendizaje por transferencia. Esto podría no ser injustificado, ya que algunos grupos de investigación han comenzado a implementar el modelado de lenguaje enmascarado como una tarea final en sí misma.

Los transformadores HuggingFace y las bibliotecas de texto Tensorflow contienen funciones diseñadas para entrenar y probar modelos de lenguaje enmascarado en Python, tanto como tareas finales como para tareas posteriores.

El procedimiento general que caracteriza los modelos de lenguaje enmascarado es bastante sencillo. Al ser una forma de aprendizaje no supervisado, el modelado de lenguaje enmascarado comienza con un conjunto de datos de texto grande y sin anotaciones. El algoritmo reemplaza una muestra aleatoria de palabras de este texto de entrada con tokens enmascarados, que pueden consistir en el token [MASK] u otros tokens de palabras del vocabulario del texto de entrada. Para cada token enmascarado, el modelo predice qué tokens de palabras son los más probables que hayan aparecido en el texto original introducido.²

Por ejemplo, en la siguiente oración de Othello de Shakespeare, dos palabras se reemplazaron con tokens enmascarados, mientras que otra palabra se reemplazó con una palabra token completamente diferente:

Luego, el modelo entrenará un codificador bidireccional para predecir los tokens de entrada que han sido enmascarados. ¿Cómo lo hace? Es cierto que dilucidar las maquinaciones internas de los modelos de lenguaje enmascarado requiere una base en álgebra avanzada y machine learning. No obstante, es posible hacer un breve resumen.

Para cada token de palabra en los datos de texto de entrada, el modelo genera incrustaciones de palabras similares a un modelo de bolsa de palabras. El modelo combina estas incorporaciones de palabras con codificaciones posicionales para crear la entrada del transformador. Las codificaciones posicionales, en resumen, representan la ubicación de un token de palabra determinado en una secuencia utilizando un valor vectorial único. A través de codificaciones posicionales (o incrustaciones posicionales), el modelo puede capturar información semántica sobre palabras a través de sus relaciones posicionales con otras palabras.

El modelo de transformadores emplea entonces estas incorporaciones de palabras y posiciones para generar distribuciones de probabilidad sobre la entrada para cada uno de los tokens enmascarados. Las palabras con la probabilidad predicha más alta para cada token enmascarado son las predicciones respectivas del modelo para el valor verdadero de cada token.³

El modelado de lenguaje enmascarado es un rasgo característico del entrenamiento previo del modelo de transformador BERT; de hecho, los dos se introdujeron juntos en la comunidad de machine learning. Antes de BERT, los modelos de lenguaje eran unidireccionales. Esto significa que aprendieron las representaciones del lenguaje considerando solo el texto que precede a una palabra determinada. Sin embargo, el enfoque de BERT para una tarea de modelado enmascarado de lenguaje considera tanto el texto anterior como el siguiente.⁴ La principal diferencia entre los enfoques unidireccionales y bidireccionales depende de cómo la capa de autoatención del transformador decodifica los valores de salida.

Al predecir la siguiente palabra en una secuencia, o en nuestro caso, la palabra que falta, un modelo unidireccional considera solo aquellas palabras que preceden al valor faltante. Los decodificadores de transformadores que funcionan de esta manera también se denominan causales o retrospectivos. Al procesar una secuencia de entrada, el decodificador solo considera esas entradas hasta el token de entrada en cuestión; el decodificador no tiene acceso a las entradas de token posteriores a la que se está considerando. En cambio, un codificador bidireccional, adoptado en el modelo BERT, genera predicciones usando todos los tokens de entrada, aquellos que preceden y siguen al valor enmascarado.⁵

Para ilustrar, volvamos a la cita de Othello antes mencionada: "Pero Think que es culpa de sus maridos si las esposas se caen". Imagine que, por alguna razón, tenemos todo este texto excepto la palabra esposas: "Pero Think que es culpa de sus maridos si ________ se cae". Queremos determinar qué llena este vacío. Esta figura ilustra la diferencia en cómo ambos decodificadores procesarían nuestra oración de ejemplo:

En esta figura, y significa el resultado previsto para el token enmascarado. El transformador unidireccional utiliza únicamente los valores de entrada que preceden al token enmascarado para predecir el valor de este último. Sin embargo, el transformador bidireccional utiliza incrustaciones posicionales de todos los valores de entrada, tanto los que preceden como los que siguen a la máscara, para predecir el valor del token enmascarado.

Los desarrolladores e investigadores utilizan modelos de lenguaje enmascarado para impulsar muchas tareas de NLP, como el reconocimiento de entidades nombradas, la respuesta a preguntas y la clasificación de textos. Al igual que con muchos dominios de NLP, la investigación de modelos de lenguaje enmascarado a menudo se ha centrado en idiomas latinos, y principalmente en inglés. Más recientemente, los experimentos publicados desarrollan y evalúan conjuntos de datos de lenguas no latinas, como el japonés y el ruso, para modelar lenguajes enmascarados y tareas descendentes.⁶ Además, un grupo de investigación propone un método poco supervisado para el entrenamiento previo de modelos de lenguaje enmascarado multilingües. Específicamente, introducen un token enmascarado especial para realizar un pase transversal en el preentrenamiento en conjuntos de datos multilingües. Su método muestra una notable mejora en la clasificación entre idiomas con modelos de lenguaje enmascarados multilingües.⁷

Como se mencionó, los investigadores suelen emplear el modelado de lenguaje enmascarado como medio para mejorar el rendimiento de los modelos en tareas posteriores de PLN. Tales tareas incluyen:

Named entity recognition. Esta tarea utiliza modelos y redes neuronales para identificar categorías de objetos predefinidas en textos, como nombres de personas, nombres de ciudades, etc. Como ocurre con muchos objetivos de machine learning, la falta de datos adecuados supuso un obstáculo para el named entity recognition. Para abordar esto, los investigadores han explorado el modelado de lenguaje enmascarado como una forma de aumento de datos para el reconocimiento de entidades nombradas con éxito notable.⁸

Análisis de sentimientos. El análisis de sentimientos analiza y clasifica los datos como positivos, negativos o neutros. A menudo se utiliza para clasificar grandes colecciones de comentarios de clientes en línea. Similar al reconocimiento de entidades nombradas, los investigadores han explorado el modelado de lenguaje enmascarado como una técnica de aumento de datos para el análisis de sentimientos.⁹ Además, el modelado de lenguaje enmascarado se muestra prometedor para la adaptación del dominio en el análisis de sentimiento. La investigación sugiere específicamente que ayuda a centrar en predecir palabras con grandes pesos para tareas de clasificación de sentimientos.¹⁰