Um modelo de raciocínio, também chamado de modelo pensante ou grande modelo de raciocínio (LRM), é um grande modelo de linguagem (LLM) que passou por ajuste fino para resolver problemas em várias etapas, produzindo etapas intermediárias, muitas vezes chamadas de “rastros de raciocínio”, por meio das quais refina iterativamente sua saída antes de gerar sua resposta final.
Treinados para empregar um raciocínio sofisticado por cadeia de pensamento e outras estratégias de tomada de decisão em várias etapas, os modelos de raciocínio representam o que há de mais avançado no desempenho dos LLMs, sobretudo em matemática, programação e outros domínios que dependem de raciocínio lógico. Introduzidos originalmente como uma categoria de modelo distinta e especializada, esses “modelos pensantes” se tornaram cada vez mais onipresentes: hoje, a maioria dos LLMs modernos oferece um “modo de pensamento” ou recursos de raciocínio com nome semelhante.
O conceito de “modelo de raciocínio” foi apresentado pela primeira vez pelo o1-preview (e pelo o1-mini) da OpenAI em setembro de 2024, seguido pelo “Qwen with Questions” (QwQ-32B-preview) da Alibaba em novembro e pelo Gemini 2.0 Flash Experiment do Google em dezembro. Um marco no desenvolvimento dos LLMs de raciocínio foi o lançamento, em janeiro de 2025, do modelo DeepSeek-R1, de código aberto. Os processos de treinamento usados no ajuste fino dos modelos de raciocínio anteriores eram segredos bem guardados, mas a DeepSeek publicou um artigo técnico detalhado que serviu de guia para outros desenvolvedores de modelos. Desde então, IBM Granite, Anthropic e Mistral AI, entre outros, lançaram seus próprios LLMs de raciocínio.
Simplificando, os LLMs de raciocínio são treinados para passar mais tempo "pensando" antes de responder. Foi demonstrado empiricamente que a adição desse "processo de raciocínio" produz grandes avanços no desempenho do LLM em tarefas de raciocínio complexas. Esse sucesso expandiu os casos de uso do mundo real e os domínios aos quais os modelos de IA podem ser aplicados, marcando um importante ponto de inflexão no desenvolvimento contínuo da IA generativa e dos agentes de IA.
Vale observar, no entanto, que termos antropomórficos como o “processo de pensamento” de um modelo são mais convenientes do que literais. Assim como todos os modelos de aprendizado de máquina, os modelos de raciocínio, no fim das contas, apenas aplicam algoritmos sofisticados para fazer previsões, como qual palavra deve vir a seguir, que refletem padrões aprendidos com os dados de treinamento.Os LLMs de raciocínio não demonstraram consciência nem outros sinais de inteligência artificial geral (AGI). Um artigo de pesquisa amplamente citado da Apple, apresentado no NeurIPS 2025, põe em dúvida se as atuais capacidades de raciocínio dos modelos podem escalar até um raciocínio verdadeiramente “generalizável”.
Talvez o mais preciso seja dizer que os LLMs de raciocínio são treinados para “mostrar o passo a passo”, gerando uma sequência de tokens (palavras) que lembra um processo de pensamento humano, e que esse ato de “verbalizar” pensamentos parece liberar recursos latentes de raciocínio que os LLMs aprendem implicitamente com seu enorme corpus de dados de treinamento (que contém exemplos de pessoas articulando os próprios processos de forma direta e indireta).
Receba insights selecionados sobre as notícias mais importantes (e intrigantes) sobre IA. Inscreva-se no nosso boletim informativo semanal Think. Consulte a Declaração de privacidade da IBM.
A adição de um "processo de pensamento" às saídas do modelo mitiga muitas das falhas inerentes à inferência do LLM padrão, ajudando o modelo a evitar atalhos cognitivos prejudiciais e revelar conhecimentos potencialmente mais relevantes que foi aprendido com dados de treinamento.
No contexto dos LLMs de raciocínio, a literatura de pesquisa em IA costuma se referir ao pensamento do “Sistema 1” e do “Sistema 2”, termos cunhados pelo economista comportamental Daniel Kahneman, ganhador do Prêmio Nobel, em sua obra seminal Rápido e Devagar: Duas Formas de Pensar. O pensamento do Sistema 1 é rápido, inconsciente e intuitivo, apoia-se em heurísticas e exige pouco ou nenhum esforço. O pensamento do Sistema 2 é lento, deliberado e lógico, e exige esforço concentrado. As pesquisas têm demonstrado de forma consistente que os LLMs autorregressivos tendem, por padrão, ao pensamento do Sistema 1.
Para algumas tarefas, o pensamento do Sistema 1 é eficaz e computacionalmente eficiente. Mas, em muitas outras, o pensamento impulsivo do Sistema 1 fica aquém. Por exemplo, um artigo de 2023 assinado pelos pesquisadores da Meta Jason Weston e Sainbayar Sukhbaatar observou como os LLMs se deixam influenciar facilmente por contexto irrelevante ou por detalhes subjetivos no prompt de entrada.
Exemplo de como LLMs que não raciocinam são frequentemente "distraídos" por informações irrelevantes. Retirado do artigo "System 2 Attention (is something you might need too)."
Eles propuseram uma classe de técnicas que apelidaram de "Atenção ao Sistema 2" (S2A), na qual o modelo é instruído a gerar primeiro uma versão reescrita do prompt de entrada, privada de contexto irrelevante, e então responder a esse prompt reescrito. Em experimentos, o S2A superou a inferência padrão em uma variedade de tarefas, aumentando a precisão e diminuindo a bajulação.
S2A, um método de escalonamento da inferência inicial. Ao adicionar etapas entre a entrada e a resposta (nesse caso, para reescrever o prompt), o modelo melhora sua saída final. Retirado do artigo "System 2 Attention (is something you might need too)."
Conceitualmente falando, o objetivo implícito das abordagens de raciocínio pode ser entendido como a implementação de um comportamento de modelo semelhante ao Sistema 2 que explora, avalia e refina suas saídas potenciais.
Os primeiros artigos de pesquisa sobre LLMs lançaram a base dos “modelos pensantes” modernos: um do Google Research, em 2021, e outro de pesquisadores da University of Tokyo, em 2022. Ambos demonstraram que simplesmente acrescentar a frase “pense passo a passo”, técnica chamada de prompting de cadeia de pensamento, melhora significativamente as saídas do modelo.Um artigo de 2024 do Google DeepMind fez uma afirmação ainda mais ampla ao propor uma nova lei de escalonamento: ampliar a computação em tempo de teste (os recursos usados para gerar uma saída) aumenta o desempenho do modelo tanto quanto ampliar a computação em tempo de treinamento (os recursos usados para treinar um modelo).O prompting de CoT é apenas uma de muitas técnicas de escalonamento de inferência (também chamado de escalonamento em tempo de teste), assim como o S2A.
Os LLMs de raciocínio modernos vão além: em vez de depender da engenharia de prompts, eles usam novas técnicas de ajuste fino e fluxos de trabalho sofisticados para aumentar intrinsecamente a quantidade de computação que o modelo usa no momento da inferência. Otimizar um modelo de raciocínio envolve tanto o desafio técnico de desenvolver algoritmos e dados de treinamento quanto o desafio filosófico de projetar um “processo de pensamento” ideal.
Os estágios iniciais do raciocínio de treinamento de LLMs refletem os de LLMs convencionais. Assim como os LLMs padrão, os modelos de raciocínio obtêm sua instalação linguística geral e conhecimento de mundo a partir de pré-treinamento autossupervisionado em grande escala, seguido por uma certa quantidade de ajuste fino supervisionado (SFT) para adaptá-los às tarefas posteriores (como o uso de chatbot conversacional). A inovação central é a aplicação de novas técnicas de aprendizado por reforço (RL), que incentivam o modelo a gerar etapas de raciocínio intermediárias no tempo de inferência antes de produzir uma saída final.
Anos de pesquisa e experimentação produziram uma variedade de abordagens de raciocínio em expansão exponencial, mas todas elas compartilham o objetivo fundamental de aumentar a computação em tempo de teste. Além do LLM de base (ou ajustado por instruções) que serve como seu fundamento, os modelos de raciocínio são diferenciados pelas estratégias de tomada de decisão específicas as quais são treinados para empregar e pelos algoritmos específicos usados para incentivar esse comportamento.
Em termos gerais, existem dois métodos principais para aumentar a computação usada no tempo de inferência. O objetivo de ajustar um modelo de raciocínio é treiná-lo para empregar uma (ou ambas) dessas amplas abordagens por meio de vários algoritmos de aprendizado.
A natureza dos paradigmas de aprendizado que produzem modelos de raciocínio normalmente envolve treinamento e avaliação em problemas cujas soluções são verificáveis por natureza, como tarefas de programação ou problemas matemáticos. As métricas de benchmarks usadas para avaliar o desempenho do modelo de raciocínio, portanto, normalmente se concentram nessas áreas. Consideravelmente menos pesquisas foram conduzidas sobre o impacto do raciocínio em domínios mais subjetivos, como a escrita criativa.
O avanço do ajuste fino baseado em RL tem sido fundamental para o surgimento dos LLMs de raciocínio, abrangendo tanto RL baseado em regras quanto RL baseado em deep learning ("RL profundo") em contextos de LLMs. Enquanto os aprendizados supervisionado e autossupervisionado exigem tarefas de treinamento estáticas e bem definidas, o RL é adequado para o tipo de tarefas dinâmicas, abertas e complexas, para as quais o raciocínio multietapas é mais útil.
O uso de RL para ajuste fino de LLMs de uma maneira que proporcione qualidades abstratas não é exclusivo dos modelos de raciocínio. Por exemplo, o pipeline de treinamento padrão para que um LLM seja usado em configurações de chatbots é o seguinte:
Os LLMs de raciocínio normalmente passam por esses mesmos estágios de treinamento, com a adição (em algum momento) de um estágio de aprendizado por reforço que instila um processo produtivo de raciocínio baseado em CoT. Isso é alcançado definindo os objetivos desse processo de raciocínio (os comportamentos específicos do modelo a serem "recompensados", como a geração de traços de raciocínio de CoT antes de uma saída final) e, então, otimizando os pesos do modelo de uma forma que maximize a recompensa.
Como é difícil ou até mesmo impossível projetar uma função de recompensa explícita para uma tarefa tão abstrata e complexa como um processo de raciocínio que será eficaz para todas as soluções de problemas complexos, esse sinal de recompensa geralmente vem de um modelo de recompensa separado usado durante o treinamento. No RLHF, esse modelo de recompensa é treinado com base no feedback humano e aprende a prever uma pontuação numérica para o quanto um ser humano preferiria uma determinada resposta.
No contexto de RL para modelos de raciocínio, os sinais de recompensa podem ser divididos em categorias: modelos de recompensa de resultados (ORMs), modelos de recompensa de processos (PRMs) e sistemas de recompensa baseados em regras.
Os modelos de recompensa de resultado (ORMs), como o nome sugere, verificam a precisão da saída final do modelo de raciocínio e fornecem sinais de recompensa usados para otimizar os pesos do modelo em função disso. À primeira vista, isso se assemelha ao papel de uma função de perda no aprendizado supervisionado, embora a mecânica costume ser mais complexa.
Enquanto uma função de perda normalmente mede a divergência token por token entre a saída do modelo e a verdade absoluta, um ORM eficaz deve ser capaz de reconhecer uma resposta correta para um problema matemático mesmo quando apresentado de forma muito diferente da resposta de verdade absoluta disponível, o que ocorre frequentemente, dada a alta variabilidade de saídas de CoT longas. Da mesma forma, a maioria dos problemas de programação do mundo real tem várias soluções: avaliar de forma holística a saída do código geralmente requer um pipeline de dados que executa e verifica com eficiência a eficácia dos trechos de código. Outras qualidades de saída, como se segue formatação ou instruções prescritas, podem usar um LLM padrão como verificador.
Embora os ORMs sejam uma solução relativamente direta e computacionalmente eficiente, eles podem recompensar situações em que etapas de raciocínio falhas levam a uma resposta final correta, resultando no modelo aprendendo processos de raciocínio abaixo do ideal.
Os modelos de recompensa de processo (PRMs) pontuam e recompensam (ou penalizam) cada etapa individual de raciocínio isoladamente, em vez de se concentrar apenas na precisão da resposta final. Com isso, os sinais de recompensa e os ajustes subsequentes do modelo ficam mais granulares, produzindo modelos com um processo de raciocínio mais sólido e interpretável.
No entanto, os PRMs são mais caros e demorados de treinar e implementar. As primeiras abordagens influentes de PRMs, como o conjunto de dados PRM800K, da OpenAI, dependiam quase inteiramente da trabalhosa rotulagem de dados feita por anotadores humanos.Muitas abordagens posteriores, como o influente Math-Shepherd, automatizaram esse processo ao inferir a validade de uma etapa de raciocínio com base na frequência com que ela leva a uma resposta correta.
Para evitar os custos e as complicações dos modelos de recompensa, algumas abordagens de ajuste fino baseadas em RL projetam as tarefas de treinamento de uma forma que simplifica o ato de avaliar as saídas do modelo.
Por exemplo, as técnicas do DeepSeek-R1 e do R1-Zero instruem os modelos a formatar suas respostas finais em uma caixa separada, o que permite verificar a precisão sem um modelo de recompensa especializado que precise analisar a resposta inteira. Outros sistemas de recompensa baseados em regras incentivam microações específicas, como acrescentar periodicamente “espere” à resposta do modelo para estimular mais exploração e autocorreção. Essas microações comprovadamente melhoram as saídas finais e, o que é igualmente importante, são fáceis e baratas de verificar.
Uma técnica de ajuste fino por reforço simples, ilustrativa e altamente influente foi pioneira por parte da DeepSeek no treinamento de seu modelo de raciocínio experimental de código aberto R1-Zero.
Utilizando o DeepSeek-V3 como base, a DeepSeek passou diretamente do pré-treinamento para um esquema de aprendizado por reforço baseado em regras extremamente simples:
Surpreendentemente, sem qualquer instrução explícita para fazê-lo, o DeepSeek-R1-Zero aprendeu a gerar cadeias de pensamento complexas e a empregar estratégias de raciocínio que produziram um desempenho impressionante em tarefas matemáticas e de raciocínio. Em outras palavras, dado apenas o mandato de "pense" antes de produzir uma resposta final e maximizar a precisão das respostas finais, o modelo naturalmente explorou e "descobriu" padrões de raciocínio ideais.
Na prática, essa abordagem simplificada teve falhas importantes: como explica o artigo técnico, "o DeepSeek-R1-Zero encontra desafios como repetição interminável, baixa legibilidade e mistura de idiomas". No entanto, essa abordagem pura de RL serviu de base para uma metodologia mais refinada que resultou no imensamente popular modelo DeepSeek-R1,
Enquanto a maioria dos paradigmas de RL baseados em CoT visa otimizar a eficácia de uma única saída do modelo, outros métodos geram múltiplas saídas finais ou intermediárias, com o objetivo de identificar e incentivar as melhores etapas de raciocínio.
Muitas dessas abordagens recorrem a algoritmos de otimização baseados em busca, como beam search, árvore de pensamentos ou busca em árvore de Monte Carlo (MCTS), para gerar e explorar vários caminhos de raciocínio. Um modelo de recompensa de processo (PRM) avalia a qualidade e o sucesso de cada etapa individual de raciocínio, e uma recompensa é então retropropagada de forma iterativa pelos caminhos de raciocínio que levaram a resultados desejáveis. Otimizar os pesos do modelo para maximizar a recompensa esperada aumenta a probabilidade de o modelo seguir os caminhos de raciocínio mais produtivos. Isso é particularmente útil em tarefas de raciocínio com uma gama muito ampla de decisões possíveis ou naquelas que exigem um extenso planejamento de longo prazo para ter alguma chance de chegar a uma resposta final precisa.
Enquanto os algoritmos baseados em busca se concentram, por natureza, nas etapas intermediárias, as abordagens baseadas em amostragem priorizam os resultados finais. A implementação mais básica do escalonamento de inferência baseado em amostragem é um simples algoritmo best-of-N: fornecer o mesmo prompt de entrada a um modelo N vezes, usar um modelo de recompensa de resultado (ORM) para pontuar cada resultado e selecionar como resposta final do modelo aquele que receber a maior pontuação do ORM.
Um algoritmo clássico baseado em amostragem, a autoconsistência (também chamada de votação majoritária), não exige um ORM.Cada tarefa começa com o prompting da cadeia de pensamento. Várias respostas, cada uma com seus próprios caminhos de raciocínio, são amostradas do decodificador do modelo. A resposta final que aparece com mais consistência entre as saídas amostradas é definida como a resposta ideal. Isso pode ser usado seja como estratégia de escalonamento em tempo de teste, para minimizar a aleatoriedade e a alucinação, seja como forma de gerar dados de raciocínio de alta qualidade para métodos baseados em SFT.
A principal desvantagem dos métodos baseados em busca e em amostragem para modelos pensantes é o aumento da latência (ou seja, tempos de resposta mais longos) e da sobrecarga computacional que eles introduzem. No entanto, uma pesquisa da Carnegie Mellon University sustenta que modelos menores que empregam algoritmos de inferência baseados em busca ou em amostragem podem oferecer uma relação entre desempenho e eficiência superior à de modelos maiores usados de forma convencional.
Entre as maneiras mais conceitualmente simples de ajuste fino de modelos para raciocínio está simplesmente usar o aprendizado supervisionado em um conjunto de dados que compreende prompts de entrada desafiadores e saídas correspondentes baseadas em CoT.
Embora usar métodos convencionais para montar um conjunto de dados de treinamento “à mão”, com exemplos escritos por pessoas, seja demorado e trabalhoso demais, a proliferação de modelos de raciocínio e de técnicas de escalonamento de inferência tornou significativamente mais fácil gerar dados de treinamento sintéticos adequados.Uma pesquisa conduzida pela Stanford University e pelo Allen Institute for AI descobriu que, depois de fazer o ajuste fino do modelo Qwen2.5-32B-Instruct em um conjunto de dados curado com apenas 1.000 pares de perguntas e rastros de raciocínio, o modelo “s1” deles superou o o1-preview da OpenAI em problemas de matemática de competição.
A destilação de conhecimento também pode ser usada para ensinar modelos menores a emular os processos de pensamento de modelos de raciocínio maiores, com ajuste fino por SFT diretamente nas saídas geradas pelo modelo “professor” maior. A DeepSeek usou a destilação de conhecimento, com o DeepSeek-R1 como professor, para criar versões ajustadas para raciocínio de modelos Qwen e Llama de vários tamanhos.
Outros métodos buscam construir iterativamente um conjunto de dados com prompts e as saídas longas de CoT correspondentes por meio de um processo de “autoaperfeiçoamento” do modelo. O Self-Taught Reasoner (STaR) fornece exemplos few-shot de rastros de raciocínio eficazes e, em seguida, solicita a um modelo que gere respostas e justificativas para um número maior de perguntas de exemplo. O modelo passa então por ajuste fino nas justificativas que acabaram produzindo respostas corretas e, depois disso, o processo é repetido de forma iterativa.O Treinamento Autoreforçado (ReST, na sigla em inglês) aplica uma abordagem conceitualmente semelhante para fazer o ajuste fino do sinal de recompensa (ou "política") usado no ajuste fino por reforço.Ambos deram origem a diversas metodologias derivadas.
Apesar de seus muitos pontos fortes e benefícios, os LLMs de raciocínio também têm suas desvantagens.
Os modelos de raciocínio (sobretudo os que têm relativamente poucos parâmetros) são propensos ao raciocínio excessivo. Um estudo da Tencent constatou que os modelos de raciocínio consomem, em média, 1.953% mais tokens do que os modelos convencionais para chegar à mesma resposta.Outro estudo[x], conduzido por pesquisadores de várias universidades, observou que, em ambientes agênticos, os modelos de raciocínio tendem a entrar em um raciocínio circular prolongado em vez de interagir com ferramentas e fontes de informação externas.
Uma pesquisa publicada pela Anthropic em julho de 2025 afirmou que esse raciocínio excessivo não é apenas uma questão de eficiência: seu artigo, “Inverse Scaling in Test-Time Compute”, explorou “casos em que um raciocínio mais longo deteriora o desempenho, apresentando uma relação inversa entre a computação em tempo de teste e a precisão.” Embora se tenha demonstrado empiricamente que aumentar a computação em tempo de teste muitas vezes pode melhorar o desempenho do modelo, a pesquisa deles apresentou vários cenários em que gerar mais tokens de raciocínio antes da saída final amplificou as fraquezas do modelo e os problemas de alinhamento. Isso questiona “a suposição de que mais raciocínio melhora universalmente as saídas do modelo”.
Uma pesquisa relacionada da Apple, mencionada anteriormente neste artigo, identificou uma série de tarefas de baixa complexidade em que os modelos padrão superaram os modelos de raciocínio, além de tarefas de alta complexidade em que os dois tipos de modelo falharam por completo. Nas investigações da Apple, os modelos de raciocínio “não conseguem desenvolver recursos generalizáveis de resolução de problemas para tarefas de planejamento, com o desempenho caindo a zero acima de determinado limiar de complexidade”.
Embora o ajuste fino para raciocínio costume trazer grandes melhorias em tarefas complexas de domínios lógicos como matemática e programação, ele também pode levar a quedas de desempenho em outras áreas. Por exemplo, em comparação com seus equivalentes originais, as versões do Llama 3.1 e do Qwen2.5 que passaram por ajuste fino com destilação de conhecimento a partir do DeepSeek-R1 apresentaram regressão significativa tanto no ArenaHard quanto no Alpaca-Eval-2, benchmarks populares que medem a capacidade de um modelo de raciocinar para atender a instruções difíceis. Dito isso, técnicas de raciocínio de escopo mais amplo, como a otimização de preferência de pensamento (TPO) usada no ajuste fino do IBM Granite 3.2, melhoram significativamente o seguimento de instruções (ainda que sem impacto relevante no desempenho em matemática ou programação).
Os usuários devem pagar (e esperar) por todos os tokens que o modelo gera enquanto "pensa", e esses tokens de pensamento consomem a janela de contexto disponível. Alguns casos de uso justificam esse tempo e computação extras, mas para outros, isso é um desperdício de recursos. No entanto, mudar constantemente de um modelo de raciocínio para um modelo "padrão", tarefa por tarefa, prompt por prompt, geralmente não é prático.
Desde o lançamento dos primeiros modelos de raciocínio, o setor de IA adotou amplamente os “modelos de raciocínio híbridos”, cujo “esforço” de raciocínio ou de pensamento, ou seja, a quantidade de tokens de raciocínio que geram antes da saída final, pode ser ajustado.
Em fevereiro de 2025, o IBM Granite 3.2 se tornou o primeiro LLM a oferecer um modo de “pensamento” que pode ser ativado e desativado, permitindo que os usuários recorram ao raciocínio quando precisam dele e priorizem a eficiência quando não precisam.16 O Claude 3.7 Sonnet, da Anthropic, seguiu o mesmo caminho ainda naquele mês, acrescentando a capacidade de os usuários da API terem controle granular sobre por quanto tempo o modelo “pensa”. Em seguida, o Google introduziu uma capacidade semelhante de ajustar o “orçamento de pensamento” dos modelos Gemini, e a OpenAI logo permitiu que o “esforço de raciocínio” de seus modelos de raciocínio o1 e o3 fosse definido como “baixo”, “médio” ou “alto”.
Desde então, essa abordagem se tornou basicamente um padrão.Embora algumas famílias importantes de modelos de linguagem continuem a ser lançadas com variantes distintas de raciocínio e de não raciocínio, a maioria dos fornecedores simplesmente lança modelos capazes de raciocinar, cujo esforço de raciocínio pode ser desativado pelo usuário.
Em tese, revelar ao usuário a cadeia de pensamento do modelo ajuda a compreender exatamente como um LLM chega às suas respostas finais, oferecendo mais interpretabilidade do que costuma ser possível com um modelo padrão. Mas uma pesquisa da Anthropic sugere que os modelos de raciocínio nem sempre dizem o que de fato pensam. Em uma série de tarefas especialmente concebidas, os pesquisadores descobriram que tanto o Claude 3.7 Sonnet quanto o DeepSeek-R1 não explicavam seu raciocínio com fidelidade: quando recebiam pistas da resposta correta, por exemplo, suas respostas raramente mencionavam essas pistas ao descrever a suposta justificativa.
Explore a biblioteca de modelos de base da IBM no portfólio do watsonx para escalar a IA generativa em sua empresa com confiança.
Use a IA a serviço de sua empresa com a experiência e o portfólio de soluções líder do setor da IBM à sua disposição.
Reinvente os fluxos de trabalho e operações críticos adicionando IA para maximizar experiências, tomadas de decisão em tempo real e valor de negócios.