¿Qué es prompt tuning?

Prompt tuning es una técnica de ajuste fino de parámetros eficientes (PEFT) que adapta grandes modelos preentrenados a nuevas tareas sin actualizar sus miles de millones de parámetros. En su lugar, aprende un pequeño conjunto de vectores entrenables, llamados prompts suaves o tokens virtuales, que se insertan en el espacio de entrada del modelo. Estos vectores actúan como señales continuas, controlando el modelo congelado hacia el comportamiento esperado y manteniendo intacta la columna vertebral. Esta perspectiva reduce significativamente los costes de computación y almacenamiento, lo que la hace ideal para organizaciones que necesitan personalizar modelos de gran tamaño en múltiples casos de uso. ^1, 2

Prompt Engineering se basa en la elaboración de instrucciones inteligentes (prompts duros) para obtener el comportamiento correcto de un modelo. Aunque son eficaces en algunos casos, los prompts duros son frágiles y difíciles de optimizar a escala. Eso significa que en Prompt Engineering, pequeños cambios en la redacción pueden provocar variaciones significativas e impredecibles en el rendimiento, por lo que es difícil optimizar sistemáticamente. Sin embargo, el ajuste preciso completo actualiza todos los parámetros del modelo, lo que es costoso desde el punto de vista computacional y requiere mucho almacenamiento, especialmente para modelos con cientos de miles de millones de pesos. Prompt tuning logra un equilibrio: utiliza embeddings continuos en lugar de texto discreto, entrena solo estos pequeños vectores y logra un rendimiento cercano al ajuste preciso completo en muchas tareas, todo ello a la vez que es mucho más eficiente. ^{2, 3}

El prompt tuning se basa en componentes que trabajan juntos para adaptar modelos de gran tamaño preentrenados. El método utiliza un modelo congelado, aprende un conjunto de embeddings de prompts suaves a través de la optimización basada en gradientes y se guía por un conjunto de datos específico de la tarea. Estos elementos permiten una adaptación eficiente de los parámetros sin volver a entrenar todo el modelo. 1, 2

Modelo preentrenado congelado: un modelo de lenguaje de gran tamaño (LLM) o transformador de visión funciona como la columna vertebral. Permanece congelado durante el entrenamiento, manteniendo su conocimiento general y reduciendo los costes de computación y almacenamiento.⁴

Embedding de prompts suaves: estos prompts son vectores entrenables, también conocidos como tokens virtuales adjuntos o insertados en la entrada tokenizada. Actúan como señales continuas que controlan el modelo hacia el output sin alterar sus pesos internos.⁴

Conjunto de datos específico de la tarea: un conjunto de datos etiquetado alineado con la tarea posterior es esencial para la optimización supervisada de los prompts suaves.

Optimización basada en gradientes: solo los parámetros de prompt suave y cabeza ligera (opcional) se actualizan mediante optimizadores, mientras que la columna vertebral permanece congelada. Este método asegura que haya eficiencia y estabilidad durante la tarea.⁴

Como se muestra en la figura, el prompt tuning funciona introduciendo un pequeño conjunto de vectores entrenables en la entrada de un modelo preentrenado congelado. Estas indicaciones funcionan como instrucciones ocultas que guían el modelo hacia la tarea objetivo sin actualizar miles de millones de parámetros.

Más allá de estos componentes principales, varias opciones de diseño influyen significativamente en el rendimiento:

Longitud del prompt: el número de tokens virtuales en el prompt suave es un hiperparámetro crítico. Varios investigadores realizaron experimentos y dedujeron que la duración óptima varía según la tarea. Por ejemplo, las tareas de clasificación simples pueden funcionar mejor con prompts más cortos (por ejemplo, menos de 20 tokens), mientras que las tareas complejas de etiquetado de secuencias pueden requerir otros más largas (por ejemplo, alrededor de 100 tokens).⁵

Colocación de prompt: este elemento optimiza el lugar de los prompts, ya sea como prefijo, sufijo o intercalado dentro de la secuencia de entrada.

Estrategia de inicialización: iniciar prompts suaves con valores aleatorios, embeddings muestreados o tokens específicos de tareas puede afectar a la velocidad y precisión de la convergencia. ⁴

Estos elementos adicionales no son obligatorios, pero se recomiendan para lograr resultados óptimos.

Comprendamos la tarea de análisis de sentimiento que proporciona una explicación clara de la mecánica y los beneficios del prompt tuning. Supongamos que el objetivo es adaptar un modelo de 175 000 millones de parámetros para clasificar las reseñas de películas como "positivas" o "negativas". Un enfoque de ajuste preciso sería prohibitivamente caro y lento. Con prompt tuning, el proceso es el siguiente:

Comience con un modelo preentrenado congelado: la columna vertebral de 175 000 millones de parámetros permanece completamente intacta, preservando su vasto repositorio de conocimiento general aprendido durante el preentrenamiento.⁵

Añada prompts suaves: se adjunta un pequeño conjunto de vectores entrenables (por ejemplo, 20 tokens) a los embeddings de entrada de cada reseña de película. Estos vectores no son texto legible por humanos; son embeddings continuos que existen en el mismo espacio de alta dimensión que el vocabulario del modelo (por ejemplo, un espacio de 12 288 dimensiones para un modelo de esta escala). Mediante la optimización, estos vectores aprenden a codificar una señal continua y específica de la tarea que dirige el comportamiento del modelo.

Alimente la entrada: por ejemplo,

[Prompts suaves] ¡La película fue absolutamente fantástica!

En este ejemplo, supongamos que inicializamos 20 tokens de prompts suaves para una tarea de análisis de sentimiento. Después del entrenamiento, la entrada podría verse así internamente:

Aquí, cada v1 es un vector de instrucción aprendido y de alta dimensión. El objetivo del entrenamiento es encontrar los valores óptimos para los vectores que guían el modelo congelado para clasificar correctamente el sentimiento del texto posterior.

Entrene solo los prompts suaves: mediante el uso de un conjunto de datos etiquetados de reseñas de películas, se inicia el proceso de entrenamiento. A través de la retropropagación, se calcula el gradiente de error, pero el paso de optimización solo actualiza los parámetros de los embeddings de prompts suaves. Este enfoque implica ajustar solo unos pocos miles de parámetros en lugar de los 175 000 millones de ponderaciones del modelo.⁵

Implemente con modularidad: una vez completado el entrenamiento, el conjunto resultante de 20 vectores constituye toda la adaptación específica de la tarea. Para adaptar el mismo modelo base para una tarea diferente, como la detección, uno simplemente entrena un nuevo conjunto de prompts suaves en un conjunto de datos y las intercambia en el momento de la inferencia.

Esta técnica ofrece beneficios sustanciales de eficiencia. En lugar de almacenar una copia completa e independiente del modelo para cada tarea (un modelo de 175 000 millones de parámetros puede requerir hasta 350 GB), es necesario almacenar los parámetros de instrucción específicos de la tarea, que pueden tener solo unos pocos KB de tamaño.¹ Esta modularidad hace que el prompt tuning sea una solución práctica y rentable para la adaptación de modelos a gran escala.²

Prompt tuning ofrece muchos beneficios en las aplicaciones en tiempo real, pero es importante comprender sus limitaciones.

Los puntos fuertes del prompt tuning son la eficiencia, la modularidad y la conservación del conocimiento del modelo base.

Parámetros y rentabilidad excepcionales: la ventaja más significativa es la drástica reducción de los parámetros entrenables. Al actualizar solo un pequeño conjunto de vectores de prompts suaves, que a menudo representan menos del 1 % del modelo total, el prompt tuning reduce drásticamente los costes computacionales y de almacenamiento. Esta estrategia hace que la adaptación de modelos fundacionales masivos sea factible para organizaciones con recursos computacionales limitados.

Modularidad y despliegue escalable: debido a que cada tarea se encapsula en un conjunto pequeño e independiente de parámetros de instrucción, un modelo de columna vertebral congelado único puede adaptarse para numerosas tareas simplemente intercambiando estos archivos de instrucción ligeros en el momento de la inferencia. Esta arquitectura "plug-and-play" es altamente modular y evita la necesidad de almacenar y gestionar copias de modelos independientes de varios gigabytes para cada aplicación.

Mitigación del olvido catastrófico: el ajuste preciso completo corre el riesgo de sobrescribir o degradar el conocimiento preentrenado de un modelo al aprender una nueva tarea. Al mantener las ponderaciones del modelo troncal completamente congeladas, el prompt tuning preserva el vasto repositorio de conocimientos generales aprendidos durante el preentrenamiento, lo que permite reutilizar el modelo sin perder sus capacidades.

Eficiencia de datos: en comparación con el ajuste preciso completo, que a menudo requiere grandes conjuntos de datos etiquetados para cada nueva tarea, el prompt tuning puede lograr un rendimiento sólido con conjuntos de datos más pequeños y modestos.

A pesar de sus puntos fuertes, el prompt tuning no está exento de inconvenientes, entre los que se incluyen limitaciones en la potencia expresiva, dificultades de entrenamiento y falta de interpretabilidad.

Poder expresivo limitado: una limitación teórica central es que la instrucción y el prefijo son menos expresivos que métodos como LoRA o ajuste preciso completo. El análisis formal ha demostrado que estos métodos funcionan añadiendo un sesgo al output de los bloques de atención, pero no pueden alterar fundamentalmente los patrones de atención aprendidos del modelo. Esto significa que el prompt tuning es muy eficaz para obtener y combinar habilidades ya presentes en el modelo, pero puede no aprender tareas realmente novedosas que requieran nuevos patrones de razonamiento.

Inestabilidad del entrenamiento y sensibilidad de los hiperparámetros: uno de los retos prácticos más importantes es la sensibilidad del método a los hiperparámetros. El proceso de entrenamiento puede ser difícil de converger y depende en gran medida de la elección de la tasa de aprendizaje y de la estrategia y la longitud del prompt, lo que a menudo requiere un ajuste cuidadoso y extenso para lograr resultados óptimos.

El problema de la "caja negra" de la interpretabilidad: una limitación importante y persistente es la falta inherente de interpretabilidad de las prompts suaves. Debido a que son vectores continuos de alta dimensión optimizados mediante descenso de gradiente, no corresponden a ningún texto legible por humanos. Esta naturaleza de "caja negra" dificulta la comprensión de lo que ha aprendido el prompt, por qué está dirigiendo el modelo de cierta manera y cómo depurarlo cuando falla.

Dependencia de la escala del modelo: la eficacia del método original de prompt tuning a nivel de entrada se correlaciona con la escala del modelo troncal. Si bien se vuelve competitivo con un ajuste fino completo en modelos con más de 10 000 millones de parámetros, su rendimiento es significativamente mayor en modelos más pequeños y de uso más común.

Los principios de prompt tuning han demostrado ser altamente adaptables, extendiéndose mucho más allá de sus aplicaciones iniciales en el procesamiento del lenguaje natural. La técnica es ahora un habilitador clave para personalizar modelos de manera eficiente en dominios multimodales, procesamiento de voz y para paradigmas de aprendizaje avanzados.

Prompt tuning multimodal (modelos de lenguaje visual): prompt tuning es una técnica crítica para adaptar modelos de lenguaje visual (VLM) preentrenados, como CLIP a tareas visuales posteriores. En este contexto, las prompts pueden diseñarse para una o ambas modalidades.⁷

Aplicaciones en el procesamiento del habla: el paradigma de prompt tuning se ha extendido con éxito al dominio del procesamiento del habla. En esta aplicación, una expresión de voz sin procesar se codifica en unidades acústicas discretas y se adjunta a esta secuencia un conjunto de prompts suaves que se pueden aprender y específicos de la tarea. Este marco está unificado y permite adaptar un único modelo de voz preentrenado para una amplia gama de tareas. Esto incluye la detección de palabras clave, la clasificación de intenciones habladas e incluso el reconocimiento automático de voz (ASR), todo ello mientras se entrena solo un pequeño prompt específico de la tarea.

Aprendizaje multitarea y multilingüe: para mejorar aún más la eficiencia y la generalización, los investigadores han ido más allá del entrenamiento de prompts aislados y de una sola tarea. Los métodos avanzados ahora se centran en aprender instrucciones compartidas que se pueden transferir a múltiples tareas o idiomas.

• Prompt tuning multitarea (MPT): este enfoque destila el conocimiento de múltiples tareas de origen en un único prompt compartido transferible. Este prompt compartido se puede adaptar de manera eficiente a las nuevas tareas objetivo, requiriendo tan solo el 0,035 % de los parámetros del modelo por tarea y mostrando un sólido rendimiento en escenarios de aprendizaje de pocas tomas.
• Ajuste preciso multilingüe: los estudios sobre modelos multilingües han encontrado que el ajuste preciso multitarea en una colección de conjuntos de datos y prompts solo en inglés puede mejorar significativamente el rendimiento zero-shot de un modelo en tareas en idiomas distintos del inglés. Este método demuestra que el modelo aprende habilidades de resolución de tareas que son, hasta cierto punto, independientes del lenguaje.

En el espacio de investigación de la inteligencia artificial, el machine learning y el prompt tuning de IA generativa se han convertido en un método fundamental para el ajuste eficiente de los modelos de IA. A diferencia del entrenamiento completo del modelo, que altera todas las ponderaciones del modelo y corre el riesgo de sobreajustarse con datos de entrenamiento limitados, esta técnica se centra en optimizar los prompts de entrada que se adjuntan al texto de entrada. A través de un proceso de automatización e iteración, el objetivo es descubrir un prompt óptimo que cree prompts efectivos para tareas específicas, un proceso cuyo éxito suele depender del tamaño del modelo. Este enfoque ofrece una alternativa escalable al amplio reentrenamiento y complementa otras estrategias como RAG, consolidando su papel como piedra angular para personalizar los modelos fundacionales.