¿Qué es directional stimulus prompting (DSP)?

Directional stimulus prompting (DSP) es una nueva metodología de instrucción en el procesamiento de lenguaje natural (PLN) en la que se presenta un modelo con un estímulo directivo o estructurado para generar resultados deseados.

A diferencia de las instrucciones estándar, como las instrucciones one-shot, zero-shot o few-shot, este enfoque se distingue por dar control directo sobre la salida del modelo estableciendo criterios o proporcionando instrucciones. En este enfoque, un estímulo guía actúa como un mecanismo de control del proceso generativo del modelo a lo largo de líneas definidas por un determinado criterio.

Directional stimulus prompting (DSP) es útil cuando una tarea requiere un conjunto específico de respuestas, muy sensibles al contexto, pero aún sin datos etiquetados.

Por ejemplo, en el caso de las tareas de resumen, donde retener información esencial es crucial, DSP proporciona un estímulo guía que incentiva al modelo a producir de una manera específica. Esto lleva a la generación general de resúmenes más precisos y contextualmente apropiados.¹

Los modelos de lenguaje grandes (LLM), como GPT-3, 4 y PaLM, se conocen comúnmente como modelos de "caja negra" porque los usuarios no tienen acceso a sus componentes internos, como parámetros, métodos de ajuste o procesos de toma de decisiones.

Dicha interacción se realiza esencialmente a través de instrucciones de texto que utilizan llamadas de interfaz de programación de aplicaciones (API) como los principales mecanismos de entrada y salida. Si bien estos modelos son bastante excelentes, su capacidad para producir resultados precisos específicos de tareas a menudo depende en gran medida de la calidad de las instrucciones.^{2, 3}

Con esto, la ingeniería rápida para diseñar instrucciones específicas para dirigir el comportamiento del modelo es relevante. Tanto los enfoques manuales como los automatizados para la ingeniería rápida han tenido un éxito notable. Sin embargo, no vienen sin dificultades, especialmente para aquellas tareas que requieren un control fuerte o muchos resultados específicos de la instancia.

Por ejemplo, las tareas como el resumen o la generación de diálogos requieren que el modelo siga los comportamientos objetivo de manera sistemática, como incluir detalles clave o adherirse a un patrón de razonamiento estricto o pautas estilísticas prescritas. Las técnicas convencionales a menudo no son suficientes para garantizar el cumplimiento constante de estos requisitos matizados.

Directional stimulus prompting (DSP) viene a llenar este vacío. DSP es un pequeño modelo de política auxiliar y genera instrucciones de estímulo direccional específicas de la instancia que guían al LLM hacia sus decisiones.

Las instrucciones emitidas sirven a un contexto específico para cada instancia y se considera que persuaden al LLM para que produzca resultados más alineados y deseables. Al conectar DSP al proceso, los usuarios tienen una poderosa herramienta para corregir el comportamiento de los LLM de caja negra para lograr una mayor coherencia, relevancia y exactitud en el trabajo que necesita precisión.¹

Entrenamiento del modelo de políticas con ajuste supervisado (SFT)

El proceso de entrenamiento del modelo de políticas comienza con el ajuste supervisado (SFT) en un modelo previamente entrenado, como T5, GPT-2 o cualquier otro LLM adecuado. La idea clave es ajustar un modelo de política más pequeño sobre datos de entrenamiento que genere estímulos direccionales en lugar de modificar directamente el LLM.

Este proceso es eficiente porque el ajuste de un modelo de políticas más pequeño y específico de la tarea evita los desafíos y los costos computacionales asociados con el entrenamiento directo de modelos grandes y complejos.

Para entrenar este modelo de política, se crea un pequeño conjunto de datos etiquetado, donde cada entrada se empareja con un pseudoestímulo. Estos pseudoestímulos están diseñados para guiar las respuestas del LLM en la dirección deseada en función de la tarea en cuestión.

Por ejemplo, en una tarea de resumen, el pseudoestímulo podría consistir en palabras clave o frases extraídas de un resumen de referencia. Del mismo modo, para las tareas de generación de diálogo, los actos de diálogo, como solicitudes, preguntas o declaraciones, pueden utilizarse como pseudoestímulos.

Estos estímulos sirven como señales que el modelo de políticas utiliza para generar entradas específicas de tareas que dirigen eficazmente la salida del LLM hacia el comportamiento objetivo.

El conjunto de datos etiquetados utilizado para SFT puede ser relativamente pequeño, ya que el objetivo es proporcionar al modelo de lenguaje de políticas el conocimiento necesario para generar estímulos, no entrenar un LLM masivo desde cero. Esto convierte a SFT en una forma eficiente en recursos para hacer bootstrapping del modelo de políticas con conocimientos fundacionales sobre los requisitos específicos de la tarea.⁴

Refinamiento mediante aprendizaje por refuerzo (RL)

Después del ajuste inicial con SFT, el modelo de políticas se optimiza mediante el aprendizaje por refuerzo (RL). El RL permite que el modelo de políticas explore y perfeccione su capacidad para generar estímulos que conduzcan a resultados de LLM de mayor calidad. La idea central en esta fase es utilizar una función de recompensa para evaluar la eficacia de los estímulos generados.

Por ejemplo, en las tareas de resumen, la función de recompensa podría basarse en métricas como las puntuaciones ROUGE o BLEU, que miden la calidad del resumen generado en comparación con la referencia. 

Al centrarse en entrenar directamente el modelo de políticas en lugar del LLM, DSP supera los desafíos asociados con el ajuste de los modelos de caja negra, lo que lleva a un método más eficiente y escalable. 

Figura 1: Arquitectura del marco DSP 

DSP tiene ventajas notables y algunos desafíos, lo que lo convierte en una técnica intrigante, pero intrincada. Aquí hay un análisis más detallado de sus ventajas y desventajas.⁵

Pros:

Mecanismo de atención dirigida: el mecanismo de atención dirigida en DSP enfatiza tokens o información relevante, mejorando la precisión y la eficiencia al concentrar el procesamiento en componentes esenciales.

Uso optimizado de recursos: al concentrarse en los estímulos pertinentes, DSP reduce los requisitos del conjunto de datos, lo que da como resultado tiempos de procesamiento más rápidos y menores costos computacionales.

Precisión mejorada: al aislar y enfatizar los tokens de entrada más relevantes, DSP aumenta la precisión de las respuestas e interpretaciones del modelo de lenguaje.

Adaptabilidad: este enfoque se puede personalizar para diversas tareas de lenguaje, que van desde la generación de texto hasta el análisis de sentimientos, ofreciendo versatilidad en diferentes aplicaciones de procesamiento de lenguaje natural.

Contras:

Dependencia de señales precisas: el éxito de DSP depende en gran medida de estímulos precisos, lo que puede ser difícil de lograr en entornos complejos o ruidosos. Si el contexto o los estímulos experimentan cambios significativos, la eficacia del método podría disminuir, lo que resultaría en una menor confiabilidad.

Complejidad de la configuración: la configuración de estímulos direccionales requiere un diseño y una calibración cuidadosos, lo que puede complicar el proceso de configuración inicial.

Generalización limitada: su capacidad para generalizar a través de diferentes tipos de señales o variaciones de entrada inesperadas es limitada, lo que restringe su aplicabilidad en contextos más amplios.

DSP muestra un gran potencial en diversas tareas de PLN, guiando eficazmente los modelos para mejorar su rendimiento.

Resumen: DSP se utiliza para crear resúmenes deseados que se alinean más estrechamente con los resúmenes de referencia. En un resultado experimental, utilizando un pequeño conjunto de datos de solo 4000 muestras del conjunto de datos de CNN/Daily Mail, DSP mejoró los rendimientos de punto de referencia, como ROUGE y BLEU u otras medidas, incluidas las puntuaciones de preferencias humanas, entre un 4 % y un 13 %, superando algunos modelos totalmente supervisados.⁶

Generación de respuestas de diálogo: en la generación de diálogos orientados a tareas, DSP ayudó a ChatGPT a producir respuestas más precisas y relevantes. Por ejemplo, con solo 80 diálogos del conjunto de datos MultiWOZ, DSP logró un aumento del rendimiento del 41.4 %, superando a varios modelos de última generación (como ChatGPT, Codex e InstructGPT) entrenados en conjuntos de datos más grandes.⁷

Razonamiento de cadena de pensamiento: DSP también mejora el razonamiento de cadena de pensamiento al generar instrucciones específicas de instancias que superaron las instrucciones específicas de tareas diseñadas por humanos y generadas automáticamente, lo que lleva a una mayor precisión del razonamiento. Estos ejemplos ilustran cómo DSP puede ofrecer orientación específica, mejorando el rendimiento del modelo en una variedad de aplicaciones de PLN.⁸