Cadeia de pensamento (CoT) é uma técnica de engenharia de prompts que aprimora a saída da grandes modelos de linguagem (LLMs), particularmente para tarefas complexas que envolvem raciocínio em várias etapas. Facilita a resolução de problemas, ao orientar o modelo por um processo de raciocínio passo a passo, usando uma série coerente de etapas lógicas.
A engenharia de prompts é usada na inteligência artificial para refinar entradas (prompts) e obter as saídas mais precisas do modelo. Neste estudo, é introduzido o conceito de prompt da cadeia de pensamento, que solicita raciocínio em LLMs.1 O artigo argumenta que solicitar que os modelos gerem etapas de raciocínio intermediárias aumenta significativamente sua capacidade de resolver com precisão problemas de várias etapas, como problemas aritméticos, senso comum e raciocínio simbólico.
Os pesquisadores foram inspirados pela capacidade dos LLMs de “pensar em voz alta” em linguagem natural, observando que, à medida que o tamanho dos parâmetros aumentava, também aumentava a capacidade de raciocínio e a precisão. Por esse motivo, o prompt da CoT é considerado uma capacidade emergente, ou uma capacidade que aparece à medida que o tamanho ou a complexidade do modelo aumenta. Grandes LLMs tendem a ter um desempenho melhor porque aprenderam padrões de raciocínio mais sutis durante o treinamento em conjuntos de dados maciços.
No entanto, aumentar o tamanho do modelo não é a única maneira de melhorar a precisão da resolução de problemas em uma variedade de benchmarks. Avanços no ajuste de instruções permitiram que modelos menores realizassem raciocínio de CoT. Os modelos IBM® Granite Instruct, por exemplo, recebem ajuste fino usando conjuntos de dados de treinamento especializados, compostos por prompts e exemplares de instrução para tarefas de CoT. Um exemplar é um exemplo de prompt que o modelo usa como a maneira ideal de responder.
O prompt da cadeia de pensamento simula processos de raciocínio semelhantes aos humanos, dividindo problemas elaborados em etapas intermediárias e gerenciáveis que levam sequencialmente a uma resposta conclusiva.2 Essa estrutura de resolução de problemas passo a passo visa ajudar a garantir que o processo de raciocínio seja claro, lógico e eficaz.
Em formatos de prompts padrão, a saída do modelo é tipicamente uma resposta direta à entrada fornecido. Por exemplo, pode-se fornecer um prompt de entrada perguntando: "Qual é a cor do céu?", e a IA geraria uma resposta simples e direta, como "O céu é azul."
No entanto, se fosse solicitada a explicar por que o céu é azul usando o prompt da CoT, a IA definiria primeiro o que significa "azul" (uma cor primária). A IA, então, deduziria que o céu parece azul devido à absorção de outras cores pela atmosfera. Essa resposta demonstra a capacidade da IA de construir um argumento lógico.
Para construir um prompt, um usuário normalmente acrescenta uma instrução ao final do prompt. Os usuários geralmente adicionam uma instrução ao prompt, como "descreva suas etapas de raciocínio" ou "explique sua resposta passo a passo". Em essência, essa técnica de engenharia de prompts pede ao LLM para não apenas gerar um resultado, mas também detalhar a série de etapas intermediárias que levaram a essa resposta.3
Encadeamento de prompts é outro método popular usado em aplicações de IA generativa para melhorar a confiabilidade usando múltiplos prompts que se baseiam uns nos outros sequencialmente para dividir tarefas complexas. Técnicas como o encadeamento de prompts e a CoT orientam o modelo para raciocinar por meio de um passo a passo do problema, em vez de avançar para uma resposta que simplesmente parece correta. Esse método também pode ser útil para observabilidade e depuração, pois incentiva o modelo a ser mais transparente em seu raciocínio. A principal diferença entre esses métodos é que o encadeamento de prompts sequencia vários prompts para dividir as tarefas passo a passo, enquanto o prompt da CoT extrai o processo de raciocínio do modelo em um único prompt.
Boletim informativo do Think
Fique à frente das últimas notícias do setor, ferramentas de IA e tendências emergentes em engenharia de prompts com o boletim informativo Think. Além disso, tenha acesso a novas explicações, tutoriais e insights, entregues diretamente na sua caixa de entrada. Consulte a declaração de privacidade da IBM.
O prompting da cadeia de pensamento aproveita grandes modelos de linguagem (LLMs) para articular uma sucessão de etapas de raciocínio, orientando o modelo para gerar cadeias de raciocínio análogas para novas tarefas. Isso é obtido por meio de prompts baseados em exemplos que ilustram o processo de raciocínio, aprimorando, assim, a capacidade do modelo de lidar com desafios complexos de raciocínio.2 Vamos entender o fluxo dessa técnicas de engenharia de prompt lidando com um problema clássico de matemática: resolver uma equação polinomial.
O prompt da cadeia de pensamento (CoT) pode ajudar significativamente na resolução de equações polinomiais, ao orientar um LLM a seguir uma série de etapas lógicas, detalhando o processo de resolução de problemas.5 Vamos examinar como o prompt da CoT pode lidar com uma equação polinomial.
Considere o exemplo de resolução de uma equação quadrática.
Prompt de input: Resolva a equação quadrática: x2 - 5x + 6 = 0
Quando damos esse prompt ao IBM® watsonx.ai, podemos ver a seguinte conversa entre a pergunta humana e a resposta do assistente de IA.
O prompt da cadeia de pensamento (CoT) evoluiu para diversas variantes inovadoras, cada uma adaptada para lidar com desafios específicos e aprimorar os recursos de raciocínio do modelo de maneira única. Essas adaptações não apenas ampliam a aplicabilidade da CoT em diferentes domínios, mas também refinam o processo de resolução de problemas do modelo.6
A variante da cadeia de pensamento zero-shot aproveita o conhecimento inerente aos modelos para resolver problemas sem exemplos específicos anteriores ou ajuste fino para a tarefa em questão. Essa abordagem é particularmente valiosa quando lida com tipos de problemas novos ou diversos, nos quais dados de treinamento personalizados podem não estar disponíveis.4 Essa abordagem pode aproveitar as propriedades do prompt padrão e do prompt few-shot.
Por exemplo, ao lidar com a pergunta "Qual é a capital de um país que faz fronteira com a França e tem uma bandeira vermelha e branca?", um modelo que utilizasse CoT zero-shot se basearia em seu conhecimento geográfico e de bandeiras incorporado para deduzir etapas que levassem à Suíça como resposta, apesar de não ter sido explicitamente treinado para essas consultas.
A cadeia de pensamento automática (CoT auto) visa minimizar o esforço manual na criação de prompts, automatizando a geração e seleção de caminhos de raciocínio eficazes. Essa variante melhora a escalabilidade e a acessibilidade do prompt da cadeia de pensamento para uma gama mais ampla de tarefas e usuários.8, 9
Por exemplo, para resolver um problema de matemática como "Se você compra 5 maçãs e já tem 3, quantas você tem no total?", um sistema de CoT auto pode gerar automaticamente etapas intermediárias. Essas etapas podem incluir "Comece com 3 maçãs" e "Adicione 5 maçãs às 3 existentes", culminando em "Total de maçãs = 8", simplificando o processo de raciocínio sem intervenção humana.
A cadeia de pensamento multimodal amplia o framework da CoT para incorporar entradas de várias modalidades, como texto e imagens, possibilitando que o modelo processe e integre diversos tipos de informações para tarefas complexas de raciocínio.10
Por exemplo, quando apresentada uma imagem de uma cena de praia lotada e a pergunta: "Essa praia provavelmente é popular no verão?", um modelo que emprega CoT multimodal pode analisar dicas visuais. Dicas como ocupação da praia, condições meteorológicas e outros, juntamente com sua compreensão textual da popularidade sazonal, ajudam o modelo a elaborar uma resposta detalhada. Uma possível resposta seria: "A praia está lotada, indicando alta popularidade, provavelmente aumentando ainda mais no verão."
Essas variantes do prompting com cadeia de pensamentos não apenas demonstram a flexibilidade e adaptabilidade dessa abordagem, mas também sugerem um vasto potencial para futuros avanços na capacidade de raciocínio e resolução de problemas da IA.
O prompt da CoT é uma técnica poderosa para aprimorar o desempenho de grandes modelos de linguagem (LLMs) em tarefas de raciocínio complexo, oferecendo benefícios significativos em diversos domínios, como maior precisão, transparência e capacidade de raciocínio multietapas. No entanto, é essencial considerar suas limitações, incluindo a necessidade de prompts de alta qualidade, aumento do custo computacional, suscetibilidade a ataques adversários e desafios na avaliação das melhorias qualitativas no raciocínio ou na compreensão. Ao lidar com essas limitações, pesquisadores e profissionais podem garantir a implementação responsável e eficaz do prompt da CoT em diversas aplicações.11
Os usuários podem ter vários benefícios no prompt da cadeia de pensamento. Alguns deles são:
A evolução da cadeia de pensamento (CoT) é um testemunho dos avanços sinérgicos em vários domínios, notavelmente no processamento de linguagem natural (NLP), aprendizado de máquina e o campo crescente da IA generativa. Esses avanços não apenas colocaram a CoT na vanguarda da solução de problemas complexos, mas também destacaram sua utilidade em uma ampla gama de aplicações. Aqui, exploramos os principais desenvolvimentos, integrando os termos especificados para oferecer uma visão abrangente do progresso da CoT.
As inovações em engenharia de prompts aprimoraram significativamente a compreensão e a interação dos modelos com o prompt original, levando a caminhos de raciocínio mais refinados e alinhados ao contexto. Esse desenvolvimento tem sido fundamental para refinar a eficácia da CoT.12
A integração com tarefas de raciocínio simbólico e tarefas de raciocínio lógico melhorou a capacidade dos modelos de abstrair pensamento e dedução, marcando um salto significativo no enfrentamento dos desafios baseados em lógica com a CoT.13
Por exemplo, o raciocínio simbólico é a resolução de equações matemáticas, como 2 + 3 = 5. Nesse caso, o problema é dividido em suas partes constituintes (adição e números), e o modelo deduz a resposta correta com base em seu conhecimento aprendido e regras de inferência. O raciocínio lógico, por outro lado, envolve tirar conclusões de premissas ou suposições, como "Todos os pássaros podem voar, e um pinguim é um pássaro". Então, o modelo determinaria se um pinguim pode voar com base nas informações apresentadas. A integração do prompt da CoT com tarefas de raciocínio simbólico e raciocínio lógico permitiu que os LLMs demonstrassem recursos aprimorados de raciocínio abstrato e dedução, capacitando-os a lidar com problemas mais complexos e diversos.
A aplicação da IA generativa e de arquiteturas de transformação revolucionou a CoT, possibilitando a geração de caminhos de raciocínio sofisticados que exibem criatividade e profundidade. Essa sinergia ampliou a aplicabilidade da CoT, influenciando os domínios acadêmico e prático.14
Os avanços que permitem que modelos menores se envolvam eficazmente no raciocínio da CoT democratizaram o acesso a recursos sofisticados de raciocínio. O foco na autoconsistência dentro da CoT garante a solidez lógica dos caminhos gerados, aumentando a confiabilidade das conclusões tiradas pelos modelos.15
A metodologia da cadeia de pensamento (CoT), com sua capacidade de decompor problemas complexos em etapas de raciocínio compreensíveis, encontrou aplicações em uma ampla gama de campos. Esses casos de uso não só demonstram a versatilidade da CoT, mas também seu potencial para transformar a forma como os sistemas abordam as tarefas de resolução de problemas e tomada de decisão. Na seção a seguir, exploramos vários casos de uso proeminentes em que a CoT foi aplicada de forma eficaz.
A integração da CoT em chatbots, com técnicas avançadas de NLP, transformou a IA conversacional, permitindo que chatbots realizem interações mais complexas, exigindo um nível mais profundo de compreensão e proficiência na resolução de problemas.
Esses avanços significam coletivamente um salto nos recursos da CoT e a importância da integração de chatbots e modelos de CoT, destacando seu potencial para revolucionar os processos de tomada de decisão e resolução de problemas orientados por IA. Ao combinar as habilidades de conversação dos chatbots com os recursos avançados de raciocínio dos modelos de CoT, podemos criar sistemas de IA mais sofisticados e eficazes, capazes de lidar com uma gama mais ampla de tarefas e aplicações.
Além disso, a integração de várias aplicações e modelos de CoT pode aprimorar a experiência geral do usuário, permitindo que os sistemas de IA compreendam melhor e respondam às necessidades e preferências dos usuários. Ao integrar técnicas de processamento de linguagem natural (NLP) em modelos de CoT, podemos capacitar chatbots a entender e responder às entradas dos usuários de maneira mais semelhante à humana, criando experiências conversacionais mais envolventes, intuitivas e eficazes.
Chatbots avançados usam a CoT para entender e lidar melhor com as consultas dos clientes. Ao dividir o problema de um cliente em partes menores e gerenciáveis, os chatbots podem apresentar respostas mais precisas e úteis, melhorando a satisfação do cliente e reduzindo a necessidade de intervenção humana.
Os pesquisadores empregam a CoT para estruturar seu processo de ideias na solução de problemas científicos complexos, facilitando a inovação. Essa abordagem estruturada pode acelerar o processo de descoberta e permitir a formulação de novas hipóteses.
Na criação de conteúdo, a CoT auxilia na geração de esboços ou resumos estruturados, organizando logicamente pensamentos e informações, aprimorando a coerência e a qualidade do conteúdo escrito.
A CoT é fundamental para plataformas de tecnologia educacional, auxiliando na geração de explicações passo a passo para problemas complexos. Essa capacidade é particularmente valiosa em disciplinas como matemática e ciências, em que compreender o processo é tão crucial quanto a resposta final. Os sistemas baseados em CoT podem orientar os alunos por meio de procedimentos de resolução de problemas, aprimorando sua compreensão e retenção.
A CoT é crucial para elucidar o raciocínio por trás das decisões orientadas por IA, especialmente em cenários que exigem considerações éticas. Ao fornecer um caminho de raciocínio transparente, a CoT ajuda a garantir que as decisões da IA estejam alinhadas com os padrões éticos e as normas sociais.
Esses casos de uso ressaltam o potencial transformador da CoT em diversos setores, oferecendo um vislumbre de sua capacidade de redefinir os processos de resolução de problemas e tomada de decisão. À medida que a CoT continua evoluindo, espera-se que suas aplicações se expandam, incorporando ainda mais essa metodologia na estrutura dos avanços tecnológicos e sociais.
O prompt com cadeia de ideias significa um salto na capacidade da IA de realizar tarefas complexas de raciocínio, emulando os processos cognitivos humanos. Ao elucidar as etapas intermediárias de raciocínio, a CoT não apenas amplifica a perspicácia de resolução de problemas dos LLMs, mas também aumenta a transparência e a interpretabilidade. Apesar das limitações inerentes, as explorações contínuas em variantes e aplicações do CoT continuam a ampliar as capacidades de raciocínio dos modelos de IA, anunciando melhorias futuras nas funcionalidades cognitivas da IA.