Chain of thought (CoT) es una técnica de ingeniería rápida que mejora el resultado de modelos de lenguaje grandes (LLM), particularmente para tareas complejas que involucran razonamiento de varios pasos. Facilita la resolución de problemas al guiar el modelo a través de un proceso de razonamiento paso a paso mediante el uso de una serie coherente de pasos lógicos.
La ingeniería rápida se utiliza en inteligencia artificial para refinar las entradas (instrucciones) para obtener los resultados del modelo más precisos. En este estudio, se introduce el concepto de chain of thought prompting que provoca el razonamiento en los LLM.1 El documento argumenta que incitar a los modelos a generar pasos de razonamiento intermedios aumenta significativamente su capacidad para resolver con precisión problemas de varios pasos como la aritmética, el sentido común y el razonamiento simbólico.
Los investigadores se inspiraron en la capacidad de los LLM para "pensar en voz alta" en lenguaje natural, y señalaron que a medida que aumentaba el tamaño de los parámetros, también lo hacía la capacidad de razonamiento y la precisión. Por esta razón, CoT prompting se considera una habilidad emergente, o una habilidad que aparece a medida que aumenta el tamaño o la complejidad del modelo. Los LLM tienden a funcionar mejor porque han aprendido patrones de razonamiento más matizados a partir del entrenamiento en conjuntos de datos masivos.
Sin embargo, aumentar el tamaño del modelo no es la única forma de mejorar la precisión de la resolución de problemas en una variedad de puntos de referencia. Los avances en el ajuste de instrucciones han permitido que los modelos más pequeños realicen el razonamiento CoT. Los modelos de IBM® Granite Instruct, por ejemplo, se ajustan mediante el uso de conjuntos de datos de entrenamiento especializados compuestos por instrucciones y ejemplares para tareas de CoT. Un ejemplar es un ejemplo con instrucción que el modelo utiliza como la forma ideal de responder.
Chain of thought prompting simula procesos de razonamiento similares a los humanos al desglosar problemas elaborados en pasos intermedios manejables que conducen secuencialmente a una respuesta concluyente.2 Esta estructura de resolución de problemas paso a paso tiene como objetivo ayudar a garantizar que el proceso de razonamiento sea claro, lógico y eficaz.
En los formatos de instrucciones estándar, el resultado del modelo suele ser una respuesta directa a la entrada proporcionada. Por ejemplo, se podría proporcionar una entrada que pregunte: "¿De qué color es el cielo?". La IA generaría una respuesta simple y directa, como "El cielo es azul".
Sin embargo, si se le pide que explique por qué el cielo es azul utilizando CoT prompting, la IA primero definiría qué significa "azul" (un color primario). La IA deduciría entonces que el cielo parece azul debido a la absorción de otros colores por la atmósfera. Esta respuesta demuestra la capacidad de la IA para construir un argumento lógico.
Para construir una instrucción, un usuario suele agregar una indicación al final de su instrucción. Los usuarios suelen agregar una indicación a su instrucción, como "describa los pasos de su razonamiento" o "explique su respuesta paso a paso". En esencia, esta técnica de ingeniería de instrucciones le pide al LLM que no solo genere un resultado, sino que también detalle la serie de pasos intermedios que llevaron a esa respuesta.3
El encadenamiento de instrucciones es otro método popular utilizado en aplicaciones de IA generativa para mejorar la confiabilidad mediante el uso de múltiples instrucciones que se basan entre sí secuencialmente para desglosar tareas complejas. Las técnicas como el encadenamiento de instrucciones y CoT guían al modelo para razonar un problema paso a paso en lugar de saltar a una respuesta que simplemente suena correcta. Este método también puede ser útil para la observabilidad y la depuración, ya que fomenta que el modelo sea más transparente en su razonamiento. La principal diferencia entre estos métodos es que el encadenamiento de instrucciones secuencia varias instrucciones para desglosar las tareas paso a paso, mientras que CoT prompting provoca el proceso de razonamiento del modelo dentro de una sola instrucción.
Boletín de noticias Think
Manténgase a la vanguardia de las últimas noticias de la industria, herramientas de IA y tendencias emergentes en ingeniería rápida con el boletín Think. Además, obtenga acceso a nuevos documentos explicativos, tutoriales e insights de expertos, directamente en su bandeja de entrada. Consulte la Declaración de privacidad de IBM.
Chain of thought prompting aprovecha los modelos de lenguaje grandes (LLM) para articular una sucesión de pasos de razonamiento, guiando el modelo hacia la generación de cadenas de razonamiento análogas para tareas novedosas. Esto se logra a través de instrucciones basadas en ejemplares que ilustran el proceso de razonamiento, mejorando así la capacidad del modelo para abordar desafíos de razonamiento complejos.2 Comprendamos el flujo de esta técnica de ingeniería de instrucciones abordando el tradicional problema matemático: resolver una ecuación polinomial.
Chain of thought (CoT) prompting puede ayudar significativamente a resolver ecuaciones polinómicas al guiar un LLM para seguir una serie de pasos lógicos, desglosando el proceso de resolución de problemas.2 Examinemos cómo CoT prompting puede abordar una ecuación polinómica.
Consideremos el ejemplo de resolver una ecuación cuadrática.
Señal de entrada: Resolver la ecuación cuadrática: x2 - 5x + 6 = 0
Cuando damos esta instrucción al chat de IBM® watsonx.ai, podemos ver la siguiente conversación entre la pregunta humana y la respuesta de la asistencia de IA.
Chain of thought (CoT) prompting ha evolucionado en varias variantes innovadoras, cada una adaptada para abordar desafíos específicos y mejorar las capacidades de razonamiento del modelo de maneras únicas. Estas adaptaciones no solo amplían la aplicabilidad de CoT en diferentes dominios, sino que también refinan el proceso de resolución de problemas del modelo.3
La variante de la cadena de pensamiento zero-shot aprovecha el conocimiento inherente dentro de los modelos para abordar problemas sin ejemplos específicos previos o ajustes para la tarea en cuestión. Este enfoque es particularmente valioso cuando se trata de tipos de problemas nuevos o diversos en los que es posible que no se disponga de datos de entrenamiento personalizados.7 Este enfoque puede aprovechar las propiedades de las instrucciones estándar y few-shot prompting.
Por ejemplo, al abordar la pregunta "¿Cuál es la capital de un país que limita con Francia y tiene una bandera roja y blanca?", un modelo que utiliza zero-shot CoT se basaría en su conocimiento geográfico y de bandera incorporado para deducir los pasos que conducen a Suiza como la respuesta, a pesar de no estar explícitamente entrenado en tales consultas.
La cadena de pensamiento automática (auto-CoT) tiene como objetivo minimizar el esfuerzo manual en la elaboración de instrucciones mediante la automatización de la generación y selección de rutas de razonamiento eficaces. Esta variante mejora la escalabilidad y accesibilidad de CoT prompting para una gama más amplia de tareas y usuarios.8, 9
Por ejemplo, para resolver un problema matemático como "Si compra 5 manzanas y ya tiene 3, ¿cuántas tiene en total?", un sistema de auto-CoT podría generar automáticamente pasos intermedios. Esos pasos podrían incluir "Comenzar con 3 manzanas" y "Sumar 5 manzanas a las 3 existentes", culminando en "Total de manzanas = 8", agilizando el proceso de razonamiento sin intervención humana.
La cadena de pensamiento multimodal amplía el marco CoT para incorporar entradas de diversas modalidades, como texto e imágenes, lo que permite que el modelo procese e integre diversos tipos de información para tareas de razonamiento complejas.6
Por ejemplo, cuando se le presenta una imagen de una playa llena de gente y se le pregunta: "¿Es probable que esta playa sea popular en verano?", un modelo que emplea CoT multimodal puede analizar señales visuales. Señales como la ocupación de la playa, las condiciones climáticas y más, junto con su comprensión textual de la popularidad estacional, ayudan al modelo a razonar una respuesta detallada. Una posible respuesta podría ser: "La playa está abarrotada, lo que indica una gran popularidad, que probablemente aumente aún más en verano".
Estas variantes de la cadena de pensamiento que incitan no solo showcase la flexibilidad y adaptabilidad del enfoque CoT, sino que también sugieren el vasto potencial para futuros desarrollos en el razonamiento de IA y las capacidades de resolución de problemas.
CoT prompting es una técnica poderosa para mejorar el rendimiento de los modelos de lenguaje grandes (LLM) en tareas de razonamiento complejas, que ofrecen beneficios significativos en varios dominios, como una mayor precisión, transparencia y capacidades de razonamiento de varios pasos. Sin embargo, es esencial considerar sus limitaciones, incluida la necesidad de instrucciones de alta calidad, mayor costo computacional, susceptibilidad a ataques adversarios y desafíos en la evaluación de mejoras cualitativas en el razonamiento o la comprensión. Al abordar estas limitaciones, los investigadores y profesionales pueden garantizar un despliegue responsable y eficaz de CoT prompting en diversas aplicaciones.11
Los usuarios pueden beneficiarse de varias ventajas dentro de chain of thought prompting. Por ejemplo:
La evolución de la cadena de pensamiento (CoT) es un testimonio de los avances sinérgicos en varios dominios, especialmente en el procesamiento de lenguaje natural (PLN), machine learning y el floreciente campo de la IA generativa. Estos avances no solo han impulsado a CoT a la vanguardia de la resolución de problemas complejos, sino que también han subrayado su utilidad en un espectro de aplicaciones. Aquí, profundizamos en los desarrollos clave, integrando los términos especificados para representar una imagen completa del progreso de CoT.
Las innovaciones en la ingeniería rápida han mejorado significativamente la comprensión y la interacción de los modelos con la instrucción original, lo que ha dado lugar a rutas de razonamiento más matizadas y contextualizadas. Esta evolución ha sido crítica para perfeccionar la eficacia de CoT.2
La integración en tareas de razonamiento simbólico y tareas de razonamiento lógico ha mejorado la capacidad de los modelos para el pensamiento abstracto y la deducción, lo que supone un salto significativo a la hora de abordar los retos basados en la lógica con CoT.7
Por ejemplo, el razonamiento simbólico consiste en resolver ecuaciones matemáticas, como 2 + 3 = 5. En este caso, el problema se descompone en sus partes constituyentes (suma y números), y el modelo deduce la respuesta correcta en función de su conocimiento aprendido y las reglas de inferencia. El razonamiento lógico, por otro lado, implica sacar conclusiones de premisas o suposiciones, como "Todos los pájaros pueden volar, y un pingüino es un pájaro". Luego, el modelo determinaría que un pingüino puede volar en función de la información proporcionada. La integración de CoT prompting en las tareas de razonamiento simbólico y lógico ha permitido a los LLM demostrar mejores capacidades de pensamiento abstracto y deducción, lo que les permite abordar problemas más complejos y diversos.
La aplicación de la IA generativa y las arquitecturas transformadoras revolucionó CoT, permitiendo la generación de sofisticadas vías de razonamiento que exhiben creatividad y profundidad. Esta sinergia amplió la aplicabilidad de CoT, influyendo tanto en el ámbito académico como en el práctico.14
Los avances que permiten que los modelos más pequeños participen de manera efectiva en el razonamiento CoT han democratizado el acceso a capacidades de razonamiento sofisticadas. El enfoque en la autocoherencia dentro de CoT ayuda a garantizar la solidez lógica de las rutas generadas, mejorando la confiabilidad de las conclusiones extraídas por los modelos.15
La metodología de la cadena de pensamiento (CoT), con su capacidad para descomponer problemas complejos en pasos de razonamiento comprensibles, ha encontrado aplicaciones en una amplia gama de campos. Estos casos de uso no solo demuestran la versatilidad de CoT, sino también su potencial para transformar la manera en que los sistemas abordan las tareas de resolución de problemas y toma de decisiones. En la siguiente sección, exploramos varios casos de uso destacados en los que CoT se ha aplicado de manera efectiva.
La integración de CoT en los chatbots y el aprovechamiento de las técnicas de PLN de última generación ha transformado la IA conversacional, lo que permite a los chatbots llevar a cabo interacciones más complejas que requieren un nivel más profundo de comprensión y aptitud en la resolución de problemas.
En conjunto, estos avances significan un paso adelante en las capacidades de CoT y la importancia de la integración de chatbots y modelos de CoT, destacando su potencial para revolucionar los procesos de toma de decisiones y resolución de problemas impulsados por IA. Al combinar las capacidades conversacionales de los chatbots con las capacidades de razonamiento avanzadas de los modelos CoT, podemos crear sistemas de IA más sofisticados y eficaces capaces de manejar una gama más amplia de tareas y aplicaciones.
Además, la integración de varias aplicaciones y modelos de CoT puede mejorar la experiencia general del usuario al permitir que los sistemas de IA comprendan y respondan mejor a las necesidades y preferencias de los usuarios. Al integrar técnicas de procesamiento de lenguaje natural (PLN) en los modelos de CoT, podemos permitir que los chatbots entiendan y respondan a las entradas de los usuarios de una manera más humana, creando experiencias conversacionales más atractivas, intuitivas y efectivas.
Los chatbots avanzados utilizan CoT para comprender y abordar mejor las consultas de los clientes. Al dividir el problema de un cliente en partes más pequeñas y manejables, los chatbots pueden proporcionar respuestas más precisas y útiles, mejorando la satisfacción del cliente y reduciendo la necesidad de intervención humana.
Los investigadores emplean la CoT para estructurar su proceso de pensamiento en la resolución de problemas científicos complejos, facilitando la innovación. Este enfoque estructurado puede acelerar el proceso de descubrimiento y permitir la formulación de hipótesis novedosas.
En la creación de contenido, la CoT ayuda a generar esquemas o resúmenes estructurados al organizar de forma lógica las ideas y la información, lo que mejora la coherencia y la calidad del contenido escrito.
CoT es fundamental en las plataformas de tecnología educativa, ayudando en la generación de explicaciones paso a paso para problemas complejos. Esta capacidad es particularmente valiosa en materias como matemáticas y ciencias, donde comprender el proceso es tan crucial como la respuesta final. Los sistemas basados en CoT pueden guiar a los estudiantes a través de procedimientos de resolución de problemas, mejorando su comprensión y retención.
CoT es crucial para dilucidar el razonamiento detrás de las decisiones impulsadas por IA, especialmente en escenarios que requieren consideraciones éticas. Al proporcionar una ruta de razonamiento transparente, CoT ayuda a garantizar que las decisiones de IA se alineen con los estándares éticos y las normas sociales.
Estos casos de uso subrayan el potencial transformador de la CoT en diversos sectores, ofreciendo una visión de su capacidad para redefinir los procesos de resolución de problemas y toma de decisiones. A medida que la CoT continúa evolucionando, se espera que sus aplicaciones se expandan, integrando aún más esta metodología en el tejido de los avances tecnológicos y sociales.
El prompting de la cadena de pensamiento supone un salto adelante en la capacidad de la IA para llevar a cabo tareas de razonamiento complejas, emulando los procesos cognitivos humanos. Al dilucidar los pasos intermedios de razonamiento, la CoT no solo amplifica la perspicacia de resolución de problemas de los LLM, sino que también mejora la transparencia y la interpretabilidad. A pesar de las limitaciones inherentes, las exploraciones en curso de las variantes y aplicaciones de la CoT continúan ampliando las capacidades de razonamiento de los modelos de IA, lo que presagia futuras mejoras en las funcionalidades cognitivas de la IA.