Las técnicas de ingeniería rápida son estrategias utilizadas para diseñar y estructurar instrucciones, consultas de entrada o instrucciones, proporcionadas a los modelos de IA, en particular a los modelos de lenguaje grandes (LLM) como GPT-4 de openAI, Google Gemini o IBM® Granite. Estas técnicas tienen como objetivo guiar los sistemas de IA generativa para producir respuestas precisas, relevantes y contextualmente apropiadas, lo que permite a los usuarios lograr los resultados deseados de manera efectiva.
Los modelos de lenguaje grandes, que se basan en algoritmos avanzados de machine learning, son capaces de comprender y generar texto similar al humano. La ingeniería rápida aprovecha esta capacidad mediante la creación de entradas que ayudan al modelo a realizar tareas complejas, como el resumen, la traducción, la escritura creativa o la resolución de problemas, con mayor precisión. Al experimentar con diferentes estructuras de instrucciones, los usuarios pueden influir en el comportamiento de los LLM para optimizar su rendimiento en diversas aplicaciones.
A medida que la IA generativa continúa desempeñando un papel clave en varios dominios, comprender las técnicas de ingeniería rápida se ha vuelto esencial para desbloquear todo su potencial y adaptar los modelos de IA para satisfacer necesidades específicas de manera eficiente.
Una instrucción es el texto de entrada o consulta proporcionada a un modelo de IA, como un modelo de lenguaje grande para generar una respuesta. Sirve como mecanismo principal para guiar el comportamiento del modelo, definir la tarea y establecer el contexto para la interacción. El diseño de una instrucción afecta significativamente la calidad y relevancia del resultado, por lo que es esencial elegir el tipo adecuado de instrucción para tareas específicas.
Para lograr los mejores resultados de los modelos de IA, es esencial comprender las diversas formas en que se pueden estructurar las instrucciones para adaptarse a diferentes tareas y objetivos. Hay tres formas principales de estructurar la instrucción: instrucciones directas, instrucciones abiertas e instrucciones específicas de la tarea.
Las instrucciones directas son comandos claros y específicos que le dicen a la IA exactamente qué hacer. Estas instrucciones son ideales para tareas sencillas en las que el usuario tiene una expectativa clara del resultado. Las instrucciones directas se basan en la capacidad del modelo para analizar instrucciones explícitas y generar respuestas que se alineen estrechamente con el comando. Cuanto más detallada sea la instrucción, más probable es que el resultado cumpla con las expectativas.
Ejemplo:
En este caso, la IA conoce el formato exacto [un poema] y el tema [naturaleza] para generar el texto.
Las instrucciones abiertas son menos restrictivas e incentivan a la IA a explorar ideas más amplias o proporcionar respuestas creativas e interpretativas. Estas instrucciones son útiles para la lluvia de ideas, la narración de historias o los debates exploratorios en los que el usuario valora la variedad y la originalidad en el resultado. Las instrucciones abiertas aprovechan las capacidades generativas del modelo sin imponer restricciones. El modelo se basa en sus datos de entrenamiento para inferir el mejor enfoque para la instrucción, lo que puede producir resultados diversos o inesperados.
Ejemplo:
Aquí, la IA tiene la libertad de decidir qué aspectos del universo mencionar, como su origen, estructura o teorías científicas.
Las instrucciones específicas de la tarea están diseñadas para tareas precisas y orientadas a objetivos, como traducciones, resúmenes o cálculos. Estas instrucciones a menudo se elaboran con claridad y pueden incluir contexto o ejemplos adicionales para ayudar a garantizar respuestas precisas. Las instrucciones específicas de la tarea aprovechan la comprensión del modelo de las tareas especializadas. Pueden incorporar técnicas de ingeniería de instrucciones avanzadas como few-shot prompting (con ejemplos) o zero shot prompting (ningún ejemplo, pero basándose en el conocimiento previamente entrenado del modelo).
Ejemplo:
El modelo comprende tanto la tarea de traducción del idioma como el texto de entrada específico, lo que le permite producir el resultado deseado: "Bonjour".
Al comprender este tipo de instrucciones y los matices técnicos detrás de ellas, los usuarios pueden crear instrucciones que guíen los modelos de IA de manera efectiva, optimizando la calidad y relevancia de las respuestas.
Boletín de noticias Think
Manténgase a la vanguardia de las últimas noticias de la industria, herramientas de IA y tendencias emergentes en ingeniería rápida con el boletín Think. Además, obtenga acceso a nuevos documentos explicativos, tutoriales e insights de expertos, directamente en su bandeja de entrada. Consulte la Declaración de privacidad de IBM.
Para maximizar la eficacia de los modelos de IA, la ingeniería rápida emplea una variedad de técnicas adaptadas a diferentes tareas y objetivos. Las siguientes son varias técnicas clave, cada una explicada con ejemplos de instrucciones diseñadas para lograr resultados específicos.
Para demostrar la eficacia de varias técnicas de ingeniería rápida, veamos una sola tarea como caso de uso central: explicar el cambio climático. La tarea se estructura de la siguiente manera:
Cada técnica aborda la tarea de manera diferente, ofreciendo diferentes niveles de orientación, complejidad y metodología. A continuación, exploramos cómo se pueden aplicar estas técnicas a este caso de uso, con instrucciones adaptadas para resaltar sus capacidades únicas.
Zero-shot prompting implica pedirle al modelo que realice una tarea sin proporcionar ningún ejemplo u orientación previos. Se basa completamente en el conocimiento previamente entrenado de la IA para interpretar la instrucción y responder a ella.[1]
Ejemplo de instrucción:
El modelo no recibe ejemplos previos ni contexto adicional y debe basarse únicamente en su conocimiento previamente entrenado para generar el resultado.
Few-shot prompting incluye un pequeño número de ejemplos dentro de la instrucción para demostrar la tarea al modelo. Este enfoque ayuda al modelo a comprender mejor el contexto y el resultado esperado.[2]
Ejemplo de instrucción:
Al proporcionar algunos ejemplos de cómo explicar otros temas, el modelo se orienta sobre el tono y el nivel de simplicidad esperados para la explicación del cambio climático.
CoT prompting incentiva al modelo a razonar un problema paso a paso, dividiéndolo en componentes más pequeños para llegar a una conclusión lógica.[3]
Ejemplo de instrucción:
Se incentiva al modelo a pensar paso a paso, dividiendo la explicación en partes más pequeñas y lógicas para mayor claridad.
Meta prompting implica pedir al modelo que genere o perfeccione sus propias instrucciones para realizar mejor la tarea. Esta técnica puede mejorar la calidad del resultado aprovechando la capacidad del modelo para autodirigirse.[4]
Ejemplo de instrucción:
El modelo genera su propia instrucción antes de intentar explicar el tema, lo que puede mejorar la relevancia y la calidad de los resultados.
La autocoherencia utiliza múltiples generaciones independientes del modelo para identificar la respuesta más coherente o precisa. Es particularmente útil para tareas que requieren razonamiento o interpretación.[5]
Ejemplo de instrucción:
El modelo produce múltiples respuestas independientes y selecciona la más congruente o coherente como resultado final.
Esta técnica implica pedir al modelo que genere conocimientos previos antes de abordar la tarea principal, mejorando su capacidad para producir respuestas informadas y precisas.[6]
Ejemplo de instrucción:
El modelo genera primero conocimientos previos (por ejemplo, gases de efecto invernadero, calentamiento global) para proporcionar una explicación más informada.
El encadenamiento de instrucción implica vincular varias instrucciones, donde los resultados de una instrucción sirven como entrada para la siguiente. Esta técnica es ideal para procesos de varios pasos.
Ejemplo de instrucción:
Siguiente instrucción basada en la respuesta anterior:
Siguiente instrucción basada en la respuesta anterior:
La tarea se divide en una cadena de instrucciones más pequeñas, y el resultado de cada paso alimenta el siguiente para una explicación más estructurada.
Tree of thoughts prompting incentiva al modelo a explorar múltiples ramas de razonamiento o ideas antes de llegar a un resultado final.[7][8]
Ejemplo de instrucción:
El modelo explora múltiples enfoques para la explicación y selecciona el más efectivo, proporcionando un resultado completo.
La generación aumentada por recuperación (RAG, por sus siglas en inglés) combina la recuperación de información externa con IA generativa para producir respuestas basadas en conocimientos actualizados o específicos del dominio.[9]
Ejemplo de instrucción:
El modelo combina sus habilidades generativas con conocimiento externo para producir una explicación informada.
Esta técnica integra capacidades de razonamiento con herramientas externas o interfaces de programación de aplicaciones (API), lo que permite que el modelo utilice recursos como calculadoras o motores de búsqueda.[10]
Ejemplo de instrucción:
El modelo integra el razonamiento con herramientas externas (por ejemplo, calculadoras o API) para analizar datos y proporcionar una explicación basada en datos.
Este método implica utilizar la propia IA para generar y optimizar instrucciones para tareas específicas, automatizando el proceso de elaboración de instrucciones efectivas.
Ejemplo de instrucción:
El modelo automatiza la creación de una instrucción optimizada para mejorar la calidad de su respuesta.
Active-prompting ajusta dinámicamente la instrucción en función de los resultados intermedios del modelo, refinando la entrada para obtener mejores resultados.[11]
Instrucción inicial
Instrucción de seguimiento
La instrucción evoluciona dinámicamente en función del resultado intermedio, refinando la respuesta a lo largo de las iteraciones.
Directional stimulus prompting (DSP) utiliza señales direccionales para llevar al modelo hacia un tipo específico de respuesta o perspectiva.[12]
Ejemplo de instrucción:
El modelo es llevado hacia una perspectiva o tono específico, lo que influye en el marco de su explicación.
PALM integra capacidades de programación para aumentar el razonamiento y las habilidades computacionales del modelo.[13]
Ejemplo de instrucción:
El modelo combina la programación con la generación de lenguaje para proporcionar tanto una visualización como una explicación.
ReAct combina instrucciones de razonamiento y actuación, incentivando al modelo a pensar críticamente y actuar en función de su razonamiento.[14]
Ejemplo de instrucción:
Este ejemplo ilustra cómo el modelo puede combinar el razonamiento analítico con insights aplicables en la práctica.
La reflexión permite que el modelo evalúe sus resultados anteriores y los refine para mejorar la precisión o la coherencia.[15]
Ejemplo de instrucción:
El modelo reflexiona sobre su resultado anterior y lo mejora iterativamente.
Esta técnica integra el razonamiento de la cadena de pensamiento en múltiples modalidades, como texto, imágenes o audio.[16]
Ejemplo de instrucción:
El modelo integra el razonamiento en múltiples modalidades (texto e imágenes) para ofrecer una explicación completa.
Graph prompting aprovecha las estructuras basadas en gráficos para organizar y razonar a través de relaciones complejas entre conceptos o puntos de datos.
Ejemplo de instrucción:
El modelo utiliza un razonamiento basado en gráficos para conectar puntos de datos y generar una explicación perspicaz.
Por lo tanto, podemos ver cómo se pueden aplicar diferentes técnicas de ingeniería rápida a una sola tarea. Al utilizar la misma tarea en métodos como zero-shot, few-shot, cadena de pensamiento y árbol de pensamientos, podemos ver cómo cada técnica estructura la tarea de manera diferente y guía a la IA para producir respuestas únicas. Estos ejemplos muestran la flexibilidad y la creatividad de la ingeniería rápida para resolver una variedad de desafíos. Se anima a los lectores a probar estos ejemplos de instrucciones con diferentes modelos de IA o aplicaciones, como los modelos IBM Granite, ChatGPT de OpenAI, Bard de Google, Claude de Anthropic, Cohere o Jurassic de AI21 Labs. Esto permite a los usuarios ver cómo varían los resultados y encontrar lo que funciona mejor para sus necesidades.
Si bien las técnicas de ingeniería rápida son poderosas, conllevan varios desafíos. Elaborar instrucciones efectivas que produzcan resultados precisos de manera constante puede ser difícil, especialmente para tareas que requieren razonamiento complejo, comprensión de sentido común o respuestas matizadas. Las alucinaciones son otro problema común, en el que los modelos de IA generativa generan información inexacta o totalmente inventada. Confiar en plantillas estructuradas o ajustar el modelo puede ayudar a mitigar algunos de estos problemas, pero diseñar instrucciones que funcionen en diversos escenarios sigue siendo un proceso de prueba y error. Además, equilibrar las capacidades generales de la inteligencia artificial con objetivos específicos de tareas puede ser complicado, especialmente para tareas especializadas o específicas de un dominio.
Las técnicas de ingeniería rápida tienen una amplia gama de aplicaciones en varios campos. En los chatbots, ayudan a refinar las respuestas generadas para mejorar las interacciones de los usuarios en tiempo real. Para los desarrolladores, las instrucciones pueden ayudar a generar fragmentos de código o crear tutoriales paso a paso para conceptos de programación. En educación, pueden simplificar las explicaciones o resolver un problema matemático con un razonamiento detallado. Las empresas utilizan la ingeniería rápida para la toma de decisiones mediante la generación de resultados de IA perspicaces adaptados a escenarios específicos. A gran escala, estas técnicas se emplean en la creación de contenido, atención al cliente y flujos de trabajo automatizados, lo que hace que los sistemas de IA sean más eficientes y adaptables a diversas tareas.
El futuro de las técnicas de ingeniería rápida radica en avanzar en el procesamiento de lenguaje natural para ayudar a garantizar respuestas más precisas y relevantes en diversas aplicaciones. A medida que los modelos de IA evolucionen, su capacidad de razonamiento mejorará, lo que les permitirá manejar tareas más complejas con un mínimo de indicaciones. También podemos esperar el desarrollo de herramientas e infraestructuras más inteligentes para automatizar y optimizar la creación de instrucciones, haciendo que las interacciones con la IA sean más intuitivas, eficientes y personalizadas para los usuarios en diversos dominios.
Las técnicas de ingeniería rápida son esenciales para optimizar las interacciones de IA y desbloquear todo el potencial de los modelos de lenguaje grandes. Mediante el uso de enfoques estructurados como zero-shot, few-shot, cadena de pensamiento y árbol de pensamientos, estas técnicas permiten a la IA abordar una amplia gama de tareas, desde chatbots hasta toma de decisiones y educación. A pesar de los desafíos, como las alucinaciones y el diseño de instrucciones efectivas, las aplicaciones de la ingeniería rápida continúan expandiéndose en todos los dominios, proporcionando resultados de la IA más inteligentes y personalizados. A medida que hay avances en el procesamiento de lenguaje natural y las capacidades de razonamiento, el futuro de la ingeniería rápida promete una eficiencia y adaptabilidad aún mayores. Se anima a los lectores a experimentar con estas técnicas en diferentes modelos de IA para explorar sus capacidades y refinar sus resultados.
[1] Wei, J., Bosma, M., Zhao, V.Y., Guu, K., Yu, A.W., Lester, B., Du, N., Dai, A.M. and Le, Q.V., 2021. Finetuned language models are zero-shot learners. arXiv preprint arXiv:2109.01652.
[2] Touvron, H., Lavril, T., Izacard, G., Martinet, X., Lachaux, M.A., Lacroix, T., Rozière, B., Goyal, N., Hambro, E., Azhar, F. and Rodriguez, A., 2023. Llama: Open and efficient foundation language models. arXiv preprint arXiv:2302.13971.
[3] Wei, J., Wang, X., Schuurmans, D., Bosma, M., Xia, F., Chi, E., Le, Q.V. and Zhou, D., 2022. Chain-of-thought prompting elicits reasoning in large language models. Advances in neural information processing systems, 35, pp.24824-24837.
[4] Zhang, Y., Yuan, Y. and Yao, A.C.C., 2023. Meta prompting for ai systems. arXiv preprint arXiv:2311.11482.
[5] Wang, X., Wei, J., Schuurmans, D., Le, Q., Chi, E., Narang, S., Chowdhery, A. and Zhou, D., 2022. Self-consistency improves chain of thought reasoning in language models. arXiv preprint arXiv:2203.11171.
[6] Liu, J., Liu, A., Lu, X., Welleck, S., West, P., Bras, R.L., Choi, Y. and Hajishirzi, H., 2021. Generated knowledge prompting for commonsense reasoning. arXiv preprint arXiv:2110.08387.
[7] Yao, S., Yu, D., Zhao, J., Shafran, I., Griffiths, T., Cao, Y. and Narasimhan, K., 2023. Tree of thoughts: Deliberate problem solving with large language models. Advances in neural information processing systems, 36, pp.11809-11822.
[8] Long, J., 2023. Large language model guided tree-of-thought. arXiv preprint arXiv:2305.08291.
[9] Lewis, P., Perez, E., Piktus, A., Petroni, F., Karpukhin, V., Goyal, N., Küttler, H., Lewis, M., Yih, W.T., Rocktäschel, T. and Riedel, S., 2020. Retrieval-augmented generation for knowledge-intensive nlp tasks. Advances in neural information processing systems, 33, pp.9459-9474.
[10] Paranjape, B., Lundberg, S., Singh, S., Hajishirzi, H., Zettlemoyer, L. and Ribeiro, M.T., 2023. Art: Automatic multi-step reasoning and tool-use for large language models. arXiv preprint arXiv:2303.09014.
[11] Diao, S., Wang, P., Lin, Y., Pan, R., Liu, X. and Zhang, T., 2023. Active prompting with chain-of-thought for large language models. arXiv preprint arXiv:2302.12246.
[12] Li, Z., Peng, B., He, P., Galley, M., Gao, J. and Yan, X., 2023. Guiding large language models via directional stimulus prompting. Advances in Neural Information Processing Systems, 36, pp.62630-62656
[13] Gao, L., Madaan, A., Zhou, S., Alon, U., Liu, P., Yang, Y., Callan, J. and Neubig, G., 2022. Pal: program-aided language models. arXiv. arXiv preprint arXiv:2211.10435.
[14] Yao, S., Zhao, J., Yu, D., Du, N., Shafran, I., Narasimhan, K. and Cao, Y., 2023, enero. React: Synergizing reasoning and acting in language models. En International Conference on Learning Representations (ICLR).
[15] Shinn, N., Cassano, F., Gopinath, A., Narasimhan, K. and Yao, S., 2023. Reflexion: Language agents with verbal reinforcement learning. Advances in Neural Information Processing Systems, 36, pp.8634-8652.
[16] Zhang, Z., Zhang, A., Li, M., Zhao, H., Karypis, G. and Smola, A., 2023. Multimodal chain-of-thought reasoning in language models. arXiv preprint arXiv:2302.00923.
[17] Liu, Z., Yu, X., Fang, Y. and Zhang, X., 2023, April. Graphprompt: Unifying pre-training and downstream tasks for graph neural networks. En Proceedings of the ACM web conference 2023 (pp. 417-428).