La cadena de pensamiento (CoT) es una técnica de prompt engineering que mejora el resultado de los modelos de lenguaje de gran tamaño (LLM), especialmente para tareas complejas que implican un razonamiento de varios pasos. Facilita la resolución de problemas guiando el modelo a través de un proceso de razonamiento paso a paso mediante el uso de una serie coherente de pasos lógicos.
El prompt engineering se utiliza en inteligencia artificial para refinar las entradas (instrucciones) y obtener los resultados más precisos. En este estudio, se introduce el concepto de cadena de impulsos de pensamiento que provoca el razonamiento en los LLM1. El documento argumenta que incitar a los modelos a generar pasos de razonamiento intermedios aumenta significativamente su capacidad para resolver con precisión problemas de varios pasos como la aritmética, el sentido común y el razonamiento simbólico.
Los investigadores se inspiraron en la capacidad de los LLM para "pensar en voz alta" en lenguaje natural, y vieron que, a medida que aumentaba el tamaño de los parámetros, también lo hacían la capacidad de razonamiento y la precisión. Por esta razón, el prompting de CoT se considera una habilidad emergente, o una habilidad que aparece a medida que aumenta el tamaño o la complejidad del modelo. Los LLM grandes tienden a funcionar mejor porque han aprendido patrones de razonamiento más matizados a partir del entrenamiento en conjuntos de datos masivos.
Sin embargo, aumentar el tamaño del modelo no es la única forma de mejorar la precisión en la resolución de problemas en una variedad de puntos de referencia. Los avances en el ajuste de instrucciones han permitido que los modelos más pequeños realicen el razonamiento CoT. Los modelos de IBM® Granite Instruct, por ejemplo, se ajustan mediante el uso de conjuntos de datos de entrenamiento especializados compuestos por instrucciones y ejemplos para tareas de CoT. Un ejemplar es un ejemplo con instrucción que el modelo utiliza como la forma ideal de responder.
La cadena de impulsos de pensamiento simula procesos de razonamiento similares a los humanos al descomponer problemas elaborados en pasos intermedios manejables que conducen secuencialmente a una respuesta concluyente2. Esta estructura de resolución de problemas paso a paso tiene como objetivo ayudar a garantizar que el proceso de razonamiento sea claro, lógico y eficaz.
En los formatos de instrucción estándar, la salida del modelo suele ser una respuesta directa a la entrada proporcionada. Por ejemplo, se podría proporcionar una instrucción de entrada preguntando "¿De qué color es el cielo?", la IA generaría una respuesta simple y directa, como "El cielo es azul".
Sin embargo, si se le pide que explique por qué el cielo es azul utilizando el prompting de CoT, la IA primero definiría qué significa "azul" (un color primario). La IA deduciría entonces que el cielo parece azul debido a la absorción de otros colores por la atmósfera. Esta respuesta demuestra la capacidad de la IA para construir un argumento lógico.
Para construir una instrucción, un usuario suele añadir una instrucción al final de su instrucción. Los usuarios suelen añadir una indicación a su instrucción como "describa los pasos de su razonamiento" o "explique su respuesta paso a paso". En esencia, esta técnica de prompting pide al LLM que no solo genere un resultado, sino que también detalle la serie de pasos intermedios que condujeron a esa respuesta3.
La cadena de instrucciones es otro método popular utilizado en aplicaciones de IA generativa para mejorar la fiabilidad mediante el uso de múltiples instrucciones que se complementan entre sí secuencialmente para desglosar tareas complejas. Técnicas como la cadena de instrucciones y la CoT guían al modelo para razonar un problema paso a paso en lugar de saltar a una respuesta que simplemente suena correcta. Este método también puede ser útil para la observabilidad y la depuración, ya que anima al modelo a ser más transparente en su razonamiento. La principal diferencia entre estos métodos es que la cadena de instrucciones encadena varias instrucciones para desglosar las tareas paso a paso, mientras que las instrucciones de CoT provocan el proceso de razonamiento del modelo dentro de una única instrucción.
Boletín de Think
Manténgase a la vanguardia de las últimas noticias de los sectores, herramientas de IA y tendencias emergentes en prompt engineering con el boletín Think. Además, acceda a nuevos artículos explicativos, tutoriales y conocimientos de expertos, directamente en su bandeja de entrada. Consulte la Declaración de privacidad de IBM.
El prompting de la cadena de pensamiento aprovecha los modelos de lenguaje de gran tamaño (LLM) para articular una sucesión de pasos de razonamiento, guiando el modelo hacia la generación de cadenas de razonamiento análogas para tareas novedosas. Esto se consigue mediante instrucciones que ilustran el proceso de razonamiento, aumentando así la capacidad del modelo para abordar problemas de razonamiento complejos2. Comprendamos el flujo de esta técnica de prompting abordando el clásico problema matemático verbal: resolver una ecuación polinomial.
El prompting de cadena de pensamiento (CoT) puede ayudar significativamente a resolver ecuaciones polinómicas al guiar un modelo de lenguaje de gran tamaño (LLM) para seguir una serie de pasos lógicos, desglosando el proceso de resolución de problemas5. Examinemos cómo el prompting de CoT puede abordar una ecuación polinómica.
Considere el ejemplo de la resolución de una ecuación cuadrática.
Instrucción de entrada: resuelva la ecuación cuadrática: x2 - 5x + 6 = 0
Cuando damos esta instrucción al chat de IBM® watsonx.ai, podemos ver la siguiente conversación entre la pregunta humana y la respuesta de la asistencia de IA.
El prompting de la cadena de pensamiento (CoT) ha evolucionado en varias variantes innovadoras, cada una adaptada para abordar desafíos específicos y mejorar las capacidades de razonamiento del modelo de maneras únicas. Estas adaptaciones no solo amplían la aplicabilidad de CoT a distintos ámbitos, sino que también perfeccionan el proceso de resolución de problemas del modelo6.
La variante de cadena de pensamiento zero-shot aprovecha el conocimiento inherente dentro de los modelos para abordar problemas sin ejemplos específicos previos o fine-tuning para la tarea en cuestión. Este enfoque es especialmente valioso cuando se trata de tipos de problemas nuevos o diversos en los que es posible que no se disponga de datos de entrenamiento personalizados4. Este enfoque puede aprovechar las propiedades del prompting estándar y del few-shot prompting.
Por ejemplo, al abordar la pregunta "¿Cuál es la capital de un país que limita con Francia y tiene una bandera roja y blanca?", un modelo que utiliza zero-shot CoT se basaría en su conocimiento geográfico y de bandera incorporado para deducir los pasos que conducen a Suiza como respuesta, a pesar de no estar explícitamente entrenada en este tipo de consultas.
La cadena de pensamiento automática (auto-CoT) tiene como objetivo minimizar el esfuerzo manual a la hora de elaborar las instrucciones mediante la automatización de la generación y la selección de vías de razonamiento eficaces. Esta variante mejora la escalabilidad y accesibilidad de las indicaciones de CoT para una gama más amplia de tareas y usuarios8, 9.
Por ejemplo, para resolver un problema matemático como "Si compra compra manzanas y ya tiene tres, ¿cuántas tiene en total?", un sistema de auto-CoT podría generar automáticamente pasos intermedios. Esos pasos podrían incluir "Comenzar con tres manzanas" y "Agregar cinco manzanas a las tres existentes", culminando en "Total de manzanas = 8", agilizando el proceso de razonamiento sin intervención humana.
La cadena de pensamiento multimodal amplía el marco de CoT para incorporar entradas de varias modalidades, como texto e imágenes, lo que permite que el modelo procese e integre diversos tipos de información para tareas de razonamiento complejas10.
Por ejemplo, cuando se le presenta una imagen de una playa llena de gente y se le pregunta: "¿Puede que esta playa sea popular en verano?", un modelo que emplea CoT multimodal puede analizar señales visuales. Señales como la ocupación de la playa, las condiciones meteorológicas y más, junto con su comprensión textual de la popularidad estacional, ayudan al modelo a razonar una respuesta detallada. Una posible respuesta podría ser: "La playa está abarrotada, lo que indica una gran popularidad, que probablemente aumente aún más en verano".
Estas variantes del prompting de la cadena de pensamiento no sólo demuestran la flexibilidad y adaptabilidad del enfoque CoT, sino que también apuntan al enorme potencial de desarrollo futuro de las capacidades de razonamiento y resolución de problemas de la IA.
El prompting de CoT es una técnica potente para mejorar el rendimiento de los modelos de lenguaje de gran tamaño (LLM) en tareas de razonamiento complejas, que ofrece beneficios significativos en varios dominios, como una mayor precisión, transparencia y capacidades de razonamiento de varios pasos. Sin embargo, es esencial tener en cuenta sus limitaciones, como la necesidad de instrucciones de alta calidad, el aumento del coste computacional, la susceptibilidad a los ataques de adversarios y las dificultades para evaluar las mejoras cualitativas en el razonamiento o la comprensión. Al abordar estas limitaciones, los investigadores y profesionales pueden garantizar una implementación responsable y eficaz del prompting de CoT en diversas aplicaciones10.
Los usuarios pueden obtener beneficio de varias ventajas dentro de la cadena de impulsos de pensamiento. Algunas son:
La evolución de la cadena de pensamientos (CoT) es un testimonio de los avances sinérgicos en varios dominios, en particular en el procesamiento del lenguaje natural (PLN), el machine learning y el floreciente campo de la IA generativa. Estos avances no solo han propulsado a CoT a la vanguardia de la resolución de problemas complejos, sino que también han subrayado su utilidad en un amplio espectro de aplicaciones. Aquí, profundizamos en los desarrollos clave, integrando los términos especificados para pintar una imagen completa del progreso de CoT.
Las innovaciones en el prompt engineering han mejorado significativamente la comprensión y la interacción de los modelos con la instrucción original, lo que ha dado lugar a rutas de razonamiento más matizadas y contextualizadas. Esta evolución ha sido crítica para perfeccionar la eficacia de CoT2.
La integración en tareas de razonamiento simbólico y tareas de razonamiento lógico ha mejorado la capacidad de los modelos para el pensamiento abstracto y la deducción, lo que supone un salto significativo a la hora de abordar los retos basados en la lógica con CoT7.
Por ejemplo, el razonamiento simbólico consiste en resolver ecuaciones matemáticas, como 2 + 3 = 5. En este caso, el problema se descompone en sus partes constituyentes (suma y números), y el modelo deduce la respuesta correcta basándose en sus conocimientos aprendidos y en las reglas de inferencia. El razonamiento lógico, por otro lado, implica sacar conclusiones de premisas o suposiciones, como "Todos los pájaros pueden volar y un pingüino es un pájaro". El modelo determinaría entonces que un pingüino puede volar basándose en la información proporcionada. La integración de las indicaciones de CoT en las tareas de razonamiento simbólico y lógico ha permitido a los alumnos de LLM demostrar una mayor capacidad de pensamiento abstracto y deducción, lo que les ha permitido abordar problemas más complejos y diversos.
La aplicación de la IA generativa y las arquitecturas del transformador ha revolucionado la CoT, lo que permite generar rutas de razonamiento sofisticadas que exhiben creatividad y profundidad. Esta sinergia ha ampliado la aplicabilidad de la CoT, influyendo tanto en el ámbito académico como en el práctico9.
Los avances que permiten a los modelos más pequeños participar eficazmente en el razonamiento CoT han democratizado el acceso a capacidades de razonamiento sofisticadas. El enfoque en la autocoherencia dentro de CoT ayuda a garantizar la solidez lógica de las rutas generadas, lo que mejora la fiabilidad de las conclusiones extraídas por los modelos15.
La metodología de cadena de pensamientos (CoT), con la capacidad de descomponer problemas complejos en pasos de razonamiento comprensibles, ha encontrado aplicaciones en una amplia gama de campos. Estos casos de uso no sólo demuestran la versatilidad de la CoT sino también su potencial para transformar el modo en que los sistemas abordan las tareas de resolución de problemas y toma de decisiones. En la siguiente sección exploramos varios casos de uso destacados en los que la CoT se ha aplicado eficazmente.
La integración de la CoT en los chatbots y el uso de las técnicas de PNL más modernas han transformado la IA conversacional, ya que permite a los chatbots llevar a cabo interacciones más complejas que requieren un mayor nivel de comprensión y competencias para resolver problemas.
En conjunto, estos avances significan un salto adelante en las capacidades de CoT y la importancia de la integración de chatbots y modelos CoT, destacando su potencial para revolucionar los procesos de toma de decisiones y resolución de problemas impulsados por la IA. Al combinar las capacidades conversacionales de los chatbots con las capacidades de razonamiento avanzado de los modelos CoT, podemos crear sistemas de IA más sofisticados y efectivos capaces de manejar una gama más amplia de tareas y aplicaciones.
Además, la integración de varias aplicaciones y modelos CoT puede mejorar la experiencia general del usuario al permitir que los sistemas de IA comprendan y respondan mejor a las necesidades y preferencias de los usuarios. Al integrar técnicas de procesamiento del lenguaje natural (PLN) en los modelos de CoT, podemos permitir que los chatbots entiendan y respondan a las entradas de los usuarios de una manera más humana, creando experiencias conversacionales más atractivas, intuitivas y efectivas.
Los chatbots Advanced utilizan CoT para comprender y abordar mejor las consultas de los clientes. Al desglosar el problema de un cliente en partes más pequeñas y manejables, los chatbots pueden ofrecer respuestas más precisas y útiles, mejorar la satisfacción del cliente y reducir la necesidad de intervención humana.
Los investigadores emplean la CoT para estructurar su proceso de pensamiento en la resolución de problemas científicos complejos, facilitando la innovación. Este enfoque estructurado puede acelerar el proceso de descubrimiento y permitir la formulación de hipótesis novedosas.
En la creación de contenido, la CoT ayuda a generar esquemas o resúmenes estructurados al organizar de forma lógica las ideas y la información, lo que mejora la coherencia y la calidad del contenido escrito.
La CoT es fundamental en las plataformas tecnológicas educativas, ya que ayuda a generar explicaciones paso a paso para problemas complejos. Esta capacidad es particularmente valiosa en materias como matemáticas y ciencias, donde comprender el proceso es tan crucial como la respuesta final. Los sistemas basados en la CoT pueden guiar a los estudiantes a través de procedimientos de resolución de problemas, mejorando su comprensión y retención.
La CoT es crucial para dilucidar el razonamiento detrás de las decisiones impulsadas por la IA, especialmente en escenarios que requieren consideraciones éticas. Al proporcionar una ruta de razonamiento transparente, la CoT ayuda a garantizar que las decisiones de IA se alineen con los estándares éticos y las normas sociales.
Estos casos de uso subrayan el potencial transformador de la CoT en diversos sectores, ofreciendo una visión de su capacidad para redefinir los procesos de resolución de problemas y toma de decisiones. A medida que la CoT continúa evolucionando, se espera que sus aplicaciones se expandan, integrando aún más esta metodología en el tejido de los avances tecnológicos y sociales.
El prompting de la cadena de pensamiento supone un salto adelante en la capacidad de la IA para llevar a cabo tareas de razonamiento complejas, emulando los procesos cognitivos humanos. Al dilucidar los pasos intermedios de razonamiento, la CoT no solo amplifica la perspicacia de resolución de problemas de los LLM, sino que también mejora la transparencia y la interpretabilidad. A pesar de las limitaciones inherentes, las exploraciones en curso de las variantes y aplicaciones de la CoT continúan ampliando las capacidades de razonamiento de los modelos de IA, lo que presagia futuras mejoras en las funcionalidades cognitivas de la IA.