추론 모델이란 무엇인가요?

복잡한 사고 사슬 추론과 기타 다단계 의사결정 전략을 활용하도록 학습된 추론 모델은 특히 수학, 코딩 및 논리적 추론이 중요한 기타 분야에서 LLM 성능의 최첨단을 보여줍니다. 처음에는 별도의 전문 모델 범주로 도입되었던 이러한 '생각하는 모델'은 점차 널리 보급되었습니다. 오늘날에는 대부분의 최신 LLM이 '생각 모드' 또는 이와 유사한 이름의 추론 기능을 제공합니다.

'추론 모델'이라는 개념은 2024년 9월 OpenAI의 o1-preview(및 o1-mini)를 통해 처음 소개되었으며, 이후 11월에는 Alibaba의 'Qwen with Questions'(QwQ-32B-preview), 12월에는 Google의 Gemini 2.0 Flash Experiment가 잇따라 공개되었습니다. 추론 LLM 개발의 중요한 이정표는 2025년 1월 오픈 소스 DeepSeek-R1 모델이 공개된 것입니다. 이전 추론 모델을 미세 조정하는 데 사용된 학습 과정은 철저히 비공개로 유지되었지만, DeepSeek는 다른 모델 개발자들이 참고할 수 있는 청사진을 제시한 상세한 기술 논문을 공개했습니다. 이후 IBM® Granite, Anthropic, Mistral AI 등을 비롯한 여러 기업이 자체 추론 LLM을 출시했습니다.

간단히 말해서, 추론 LLM은 응답하기 전에 '생각'하는 데 더 많은 시간을 할애하도록 학습됩니다. 이 '추론 프로세스'를 추가하면 복잡한 추론 작업에서 LLM의 성능이 크게 향상되는 것으로 경험적으로 나타났습니다. 이러한 성공은 AI 모델을 적용할 수 있는 실제 사용 사례와 영역을 확장하여 생성형 AI 및 AI 에이전트의 지속적인 개발에 중요한 변곡점을 마련했습니다.

다만 모델의 '사고 과정'과 같은 의인화된 표현은 문자 그대로의 의미가 아니라 이해를 돕기 위한 편의적인 표현이라는 점에 유의해야 합니다. 다른 모든 머신 러닝 모델과 마찬가지로 추론 모델도 궁극적으로는 학습 데이터에서 학습한 패턴을 바탕으로 다음에 어떤 단어가 올지와 같은 예측을 수행하기 위해 정교한 알고리즘을 적용하는 것입니다. 추론 LLM은 의식이나 범용 인공 지능(AGI)의 다른 징후를 보여준 바 없습니다. NeurIPS 2025에서 발표되어 널리 인용된 Apple의 연구 논문은 현재 모델의 추론 능력이 진정으로 '일반화 가능한' 추론으로 확장될 수 있는지에 의문을 제기합니다.

추론 LLM은 사람의 사고 과정을 닮은 일련의 토큰(단어)을 생성하여 자신의 추론 과정을 드러내도록 학습되며, 이러한 '사고의 언어화' 과정이 방대한 학습 데이터(사람들이 자신의 사고 과정을 직간접적으로 표현한 사례를 포함함)에서 암묵적으로 학습한 잠재적인 추론 능력을 끌어내는 것으로 이해하는 것이 가장 정확할 것입니다. 

모델 아웃풋에 '사고 과정'을 추가하면 모델이 유해한 인지적 지름길을 피하고 학습 데이터에서 학습한 잠재적으로 관련성이 더 높은 지식을 표면화하는 데 도움이 되므로 표준 LLM 추론에 내재된 많은 결함을 완화할 수 있습니다.

추론 LLM과 관련한 AI 연구에서는 '시스템 1' 사고와 '시스템 2' 사고라는 개념을 자주 언급합니다. 이 용어는 노벨경제학상 수상자인 행동경제학자 Daniel Kahneman이 저서 Thinking, Fast and Slow에서 제시한 개념입니다.시스템 1 사고는 빠르고, 무의식적이며, 직관적으로 이루어지고 휴리스틱에 의존하며 거의 노력이 필요하지 않습니다. 시스템 2 사고는 느리고, 신중하며, 논리적으로 이루어지고 의도적인 노력이 필요합니다. 연구에 따르면 자기회귀 LLM은 기본적으로 시스템 1 사고에 치우치는 경향이 있는 것으로 일관되게 나타났습니다.

일부 작업에서는 시스템 1 사고가 효과적이며 계산 효율성도 뛰어납니다. 하지만 많은 작업에서는 성급한 시스템 1 사고만으로는 충분하지 않습니다. 예를 들어 Meta 연구원 Jason Weston과 Sainbayar Sukhbaatar가 발표한 2023년 논문에서는 입력 프롬프트에 관련 없는 맥락이나 주관적인 세부 정보가 포함되면 LLM이 쉽게 영향을 받는다는 점을 지적했습니다.

그들은 '시스템 2 주의'(S2A)라고 부르는 기술 클래스를 제안했는데, 이 기술은 모델에 먼저 관련 없는 컨텍스트가 제거된 입력 프롬프트의 재작성 버전을 생성한 다음 다시 작성된 프롬프트에 응답하도록 지시합니다. 실험에서 S2A는 다양한 작업에서 표준 추론을 능가하여 정확도를 높이고 아부형 응답을 줄였습니다.

개념적으로 말하자면, 추론 접근 방식의 암묵적 목표는 잠재적 아웃풋을 탐색, 평가 및 개선하는 시스템 2와 유사한 모델 동작을 구현하는 것으로 이해될 수 있습니다.

현대적인 '생각하는 모델'의 기반은 초기 LLM 연구 논문에서 마련되었습니다. 하나는 2021년에 Google Research가 발표한 논문이며, 다른 하나는 2022년에 University of Tokyo 연구진이 발표한 논문입니다. 두 연구 모두 사고 사슬 프롬프팅이라고 하는 기법으로 'think step by step'이라는 문구를 추가하기만 해도 모델의 출력 품질이 크게 향상된다는 점을 보여주었습니다.Google DeepMind가 2024년에 발표한 논문은 새로운 스케일링 법칙을 제안하며 한 걸음 더 나아갔습니다. 추론 시 연산량(출력을 생성하는 데 사용하는 연산 자원)을 늘리면 학습 시 연산량(모델을 학습시키는 데 사용하는 연산 자원)을 늘리는 것만큼 모델 성능이 향상된다는 것입니다. CoT 프롬프팅은 S2A와 마찬가지로 추론 시 스케일링(test-time scaling) 기법 가운데 하나일 뿐입니다.

최신 추론 LLM은 여기서 한 단계 더 나아갑니다. 프롬프트 엔지니어링에 의존하는 대신 새로운 미세 조정 기법과 정교한 워크플로를 활용해 추론 시 모델이 사용하는 연산량을 본질적으로 늘립니다. 추론 모델을 최적화하려면 알고리즘과 학습 데이터를 개발하는 기술적 과제뿐만 아니라 이상적인 '사고 과정'을 설계하는 철학적 과제도 해결해야 합니다.

추론 LLM 학습의 초기 단계는 기존 LLM의 단계와 유사합니다. 표준 LLM과 마찬가지로 추론 모델은 대규모 자기 지도 사전 학습을 통해 일반적인 언어 기능과 세계 지식을 얻은 다음, 대화형 챗봇 사용과 같은 다운스트림 작업에 맞게 조정하기 위해 일정량의 지도 미세 조정(SFT)을 수행합니다. 핵심 혁신은 최종 아웃풋을 생성하기 전에 추론 시점에 중간 '추론 단계'를 생성하도록 모델에 인센티브를 제공하는 새로운 강화 학습(RL) 기술을 적용하는 것입니다.

수년간의 연구와 실험을 통해 추론 접근 방식의 종류가 기하급수적으로 늘어났지만, 이러한 접근 방식은 모두 테스트 시간의 컴퓨팅 성능 증가라는 근본적인 목표를 공유하고 있습니다. 추론 모델은 기반이 되는 기본 (또는 지침에 따라 조정된) LLM 외에도 사용하도록 학습된 특정 의사 결정 전략과 해당 행동을 장려하는 데 사용되는 특정 알고리즘에 따라 차별화됩니다.

대체로 추론 시 사용되는 컴퓨팅을 늘리는 데에는 2가지 기본 방법이 있습니다. 추론 모델을 미세 조정하는 목적은 다양한 학습 알고리즘을 통해 이러한 광범위한 접근 방식 중 하나(또는 둘 다)를 사용하도록 학습시키는 것입니다.

• 더 긴 아웃풋 생성: 이 모델은 긴 생각의 연결고리, 역추적 및 자체 개선을 포함한 전략을 통해 더 긴 아웃풋 시퀀스를 생성하는 방법을 학습합니다.
  
  
• 아웃풋 생성: 프롬프트에 대한 응답으로 단일 아웃풋을 생성하는 대신, 모델이 아웃풋을 여러 번 반복하여 생성하고 잠재적 아웃풋을 검색, 거부 및 집계하는 프로세스를 통해 최종 답변에 도달합니다.  

추론 모델을 생성하는 학습 패러다임의 특성은 일반적으로 코딩 작업이나 수학 문제와 같이 본질적으로 해결책을 검증할 수 있는 문제에 대한 학습 및 평가를 수반합니다. 따라서 추론 모델의 성능을 평가하는 데 사용되는 벤치마크 지표는 일반적으로 해당 도메인에 중점을 둡니다. 창의적 글쓰기와 같은 보다 주관적인 영역에서 추론이 미치는 영향에 대한 연구는 상당히 적습니다.

추론 LLM의 부상의 핵심은 LLM 컨텍스트에서 규칙 기반 RL과 딥 러닝 기반 RL('심층 RL')을 모두 포함하는 RL 기반 미세 조정의 발전이었습니다. 지도 학습과 자기 지도 학습에는 잘 정의된 정적 학습 작업이 필요한 반면, RL은 다단계 추론이 가장 유용한 동적이고 개방적이며 복잡한 작업에 적합합니다.

추상적인 특성을 부여하는 방식으로 LLM을 미세 조정하기 위해 RL을 사용하는 것은 추론 모델에만 국한되지 않습니다. 예를 들어, 챗봇 설정에서 사용되는 LLM의 표준 교육 파이프라인은 다음과 같습니다.

1. 지도 사전 학습으로 모델이 다운스트림 작업에 적용할 언어 패턴과 기본 지식을 학습합니다.
   
   
2. 감독된 미세 조정(SFT)으로 모델이 사용자 입력에 대한 응답의 형식을 적절하게 지정하는 방법을 학습합니다.
   
   
3. 명령 조정으로 모델이 지침을 따르고 특정 작업을 수행하는 방법을 학습시킵니다.
   
   
4. 인간 피드백을 통한 강화 학습(RLHF)으로 모델이 인간 선호도 데이터에 대해 미세 조정되어 유용성, 무해성, 진실성 및 이상적인 어조와 같은 주관적인 특성을 부여합니다.

추론 LLM은 일반적으로 동일한 학습 단계를 거치며, (어느 시점에) 생산적인 CoT 기반 추론 프로세스를 주입하는 강화 학습 단계가 추가됩니다. 이는 이 추론 프로세스의 목표, 즉 최종 아웃풋 전에 CoT 추론 추적 생성과 같이 '보상'을 받을 특정 모델 동작을 정의한 다음 보상을 극대화하는 방식으로 모델 가중치를 최적화함으로써 달성됩니다.

모든 복잡한 문제 해결에 효과적인 추론 프로세스처럼 추상적이고 복잡한 작업에 대한 명시적 보상 기능을 설계하는 것은 어렵거나 불가능하기 때문에 이 보상 신호는 학습 중에 사용되는 별도의 보상 모델에서 제공되는 경우가 많습니다. RLHF에서 이 보상 모델은 인간의 피드백을 학습하여 인간이 주어진 응답을 얼마나 선호하는지에 대한 수치 점수를 예측하는 방법을 학습합니다.

추론 모델에 대한 RL의 맥락에서 보상 신호는 결과 보상 모델(ORM), 프로세스 보상 모델(PRM), 규칙 기반 보상 시스템의 세 가지 카테고리로 나눌 수 있습니다.

결과 보상 모델(ORM)은 이름 그대로 추론 모델의 최종 출력이 정확한지 확인하고, 그 결과에 따라 모델 가중치를 최적화하는 데 사용되는 보상 신호를 제공합니다. 이는 겉으로 보기에는 지도 학습에서 손실 함수가 수행하는 역할과 비슷하지만, 실제 작동 방식은 훨씬 더 복잡한 경우가 많습니다.

손실 함수는 일반적으로 모델 아웃풋과 실측 정보 간의 토큰별 차이를 측정합니다. 반면에 효과적인 ORM은 사용 가능한 실측 정보 답과 매우 다르게 제시되는 경우(긴 CoT 아웃풋의 높은 변동성을 고려할 때 종종 발생)에도 수학 문제의 정답을 인식할 수 있어야 합니다. 마찬가지로, 대부분의 실제 코딩 문제에는 여러 가지 해결책이 있습니다. 코드 아웃풋을 전체적으로 평가하려면 일반적으로 코드 스니펫의 효율성을 효율적으로 실행하고 검증하는 데이터 파이프라인이 필요합니다. 규정된 형식이나 지침을 따르는지 여부와 같은 다른 아웃풋 품질은 표준 LLM을 검증자로 사용할 수 있습니다.

ORM은 비교적 간단하고 계산적으로 효율적인 솔루션이지만, 결함이 있는 추론 단계가 올바른 최종 정답을 도출하여 모델이 최적이 아닌 추론 프로세스를 학습하는 상황에 보상을 제공할 가능성이 있습니다.

과정 보상 모델(PRM)은 최종 답변의 정확성만 평가하는 것이 아니라 각 추론 단계를 개별적으로 평가하여 점수를 부여하고 보상하거나(또는 페널티를 부여합니다). 이를 통해 더욱 세분화된 보상 신호와 후속 모델 조정이 가능해져, 더욱 견고하고 해석하기 쉬운 추론 과정을 갖춘 모델을 만들 수 있습니다.

하지만 PRM은 학습과 구현에 더 많은 비용과 시간이 필요합니다. OpenAI의 PRM800K 데이터 세트와 같은 초기의 대표적인 PRM 접근 방식은 거의 전적으로 사람이 직접 수행하는 많은 수작업 데이터 레이블링에 의존했습니다. 이후 등장한 Math-Shepherd와 같은 많은 접근 방식은 특정 추론 단계가 얼마나 자주 올바른 답으로 이어지는지를 바탕으로 해당 단계의 타당성을 추론하여 이 과정을 자동화했습니다.

보상 모델의 비용과 복잡성을 피하기 위해 일부 RL 기반 미세 조정 접근 방식은 모델 아웃풋을 평가하는 작업을 단순화하는 방식으로 학습 작업을 설계합니다.

예를 들어 DeepSeek-R1과 R1-Zero 기법은 모델이 최종 답변을 별도의 상자 안에 작성하도록 하여, 전체 응답을 분석하는 전용 보상 모델 없이도 답변의 정확성을 검증할 수 있도록 합니다. 또 다른 규칙 기반 보상 시스템은 모델의 응답에 주기적으로 'wait'를 추가하도록 유도하는 것과 같은 특정 미세 동작에 보상을 제공하여 더 많은 탐색과 자기 교정을 유도합니다. 이러한 미세 동작은 최종 출력의 품질을 향상시키는 것으로 입증되었으며, 그와 동시에 쉽고 적은 비용으로 검증할 수 있다는 장점도 있습니다.

간단하고 설명적이며 매우 영향력 있는 강화 미세 조정 기술은 DeepSeek가 오픈 소스 R1-Zero 실험 추론 모델 학습에서 개척했습니다.

DeepSeek는 DeepSeek-V3를 기반으로 사전 학습에서 매우 간단한 규칙 기반 강화 학습 체계로 바로 전환했습니다.

• 모델 질의: 모델에게 질문합니다.
  
  은 “<think>” 토큰과 “</think>” 토큰 사이에 출력하고, 최종 답변은 “<answer>” 토큰과 “</answer>” 토큰 사이에 출력하도록 프롬프트를 작성합니다.
• 정확도 보상: 최종 답변의 품질(예: 생성된 코드가 얼마나 잘 실행되는지)에 따라 모델에 보상을 제공합니다.
  
  
• 형식 보상: 응답에서 “<think> </think> ” 및 “<answer> </answer> ” 형식을 올바르게 사용하면 모델에 보상을 제공합니다.

놀랍게도, DeepSeek-R1-Zero는 명시적인 지시 없이도 복잡한 생각의 연결고리를 생성하고 추론 전략을 사용하는 법을 배웠으며, 그 결과 수학 및 추론 과제에서 인상적인 성과를 보였습니다. 즉, 최종 답변을 출력하기 전에 '생각'하고 최종 답변의 정확도를 극대화해야 한다는 명령만 주어지면 모델은 자연스럽게 최적의 추론 패턴을 탐색하고 '발견'했습니다.

실질적으로 말하자면, 이 간소화된 접근 방식에는 중요한 결함이 있었습니다. 기술 문서에서 설명했듯이 "DeepSeek-R1-Zero는 끝없는 반복, 낮은 가독성, 언어 혼합과 같은 문제에 직면합니다." 그럼에도 불구하고, 이 순수 RL 접근 방식은 대중적으로 인기를 얻은 DeepSeek-R1 모델을 탄생시킨 더욱 정교한 방법론의 기초가 되었습니다.

대부분의 CoT 기반 RL 패러다임은 단일 모델 아웃풋의 효율성을 최적화하는 것을 목표로 하는 반면, 다른 방법은 최상의 추론 단계를 식별하고 인센티브를 제공하는 목표로 여러 개의 최종 또는 중간 아웃풋을 생성합니다.

이러한 접근 방식의 상당수는 여러 추론 경로를 생성하고 탐색하기 위해 beam search, tree-of-thoughts, Monte Carlo tree search(MCTS)와 같은 탐색 기반 최적화 알고리즘을 활용합니다. 과정 보상 모델(PRM)은 각 추론 단계의 품질과 성공 여부를 평가하며, 이후 보상은 바람직한 결과로 이어진 추론 경로를 따라 반복적으로 역전파됩니다. 기대 보상을 최대화하도록 모델 가중치를 최적화하면 모델이 가장 효과적인 추론 경로를 선택할 가능성이 높아집니다. 이러한 방식은 가능한 의사결정의 범위가 매우 넓거나 정확한 최종 답을 얻기 위해 장기적인 계획이 필요한 추론 작업에서 특히 효과적입니다.

탐색 기반 알고리즘이 본질적으로 중간 단계를 중시하는 반면, 샘플링 방식은 최종 결과를 우선시합니다. 샘플링 기반 추론 시 스케일링의 가장 기본적인 구현 방식은 단순한 best-of-N 알고리즘입니다. 동일한 입력 프롬프트를 모델에 N번 제공하고, 결과 보상 모델(ORM)로 각 결과를 평가한 뒤, 가장 높은 점수를 받은 결과를 모델의 최종 답변으로 선택합니다.

대표적인 샘플링 기반 알고리즘인 자기 일관성(다수결 방식이라고도 함)은 ORM이 필요하지 않습니다. 각 작업은 사고 사슬 프롬프팅으로 시작됩니다. 각기 다른 추론 경로를 포함하는 여러 응답을 모델의 디코더에서 샘플링합니다. 샘플링된 출력에서 가장 일관되게 나타나는 최종 답변을 최적의 답으로 선택합니다. 이 방식은 무작위성과 환각을 줄이기 위한 테스트 시 스케일링 전략으로 사용할 수도 있고, SFT 기반 기법에 활용할 고품질 추론 데이터를 생성하는 방법으로 사용할 수도 있습니다.

생각하는 모델에 적용되는 탐색 기반 및 샘플링 기반 기법의 가장 큰 단점은 응답 시간이 길어지는 지연과 추가적인 연산 비용이 발생한다는 점입니다. 하지만 Carnegie Mellon University의 연구에 따르면 탐색 기반 또는 샘플링 기반 추론 알고리즘을 사용하는 소형 모델이 기존 방식의 대형 모델보다 성능과 효율성 간의 균형 측면에서 더 뛰어난 결과를 제공할 수 있습니다.

추론을 위해 모델을 미세 조정하는 데 개념적으로 가장 간단한 방법 중 하나는 까다로운 입력 프롬프트와 해당 CoT 기반 아웃풋으로 구성된 데이터 세트에 지도 학습을 사용하는 것입니다.

사람이 직접 작성한 예시를 바탕으로 기존 방식대로 학습 데이터 세트를 수작업으로 구축하는 것은 많은 시간과 노력이 필요하지만, 추론 모델과 추론 시 스케일링 기법이 확산되면서 적절한 합성 학습 데이터를 훨씬 쉽게 생성할 수 있게 되었습니다.  Stanford University와 Allen Institute for AI의 연구에 따르면 Qwen2.5-32B-Instruct를 미세 조정한 결과, 질문과 추론 추적으로 구성된 1,000개의 엄선된 데이터 세트만으로 모델을 학습한 결과, 's1' 모델은 경시 수학 문제에서 OpenAI의 o1-preview를 능가했습니다.

지식 증류를 사용하면 더 큰 '교사' 모델이 생성한 출력으로 소형 모델을 SFT 방식으로 직접 미세 조정하여, 대형 추론 모델의 사고 과정을 모방하도록 학습시킬 수도 있습니다. DeepSeek는 DeepSeek-R1을 교사 모델로 사용하는 지식 증류 기법을 활용해 다양한 크기의 Qwen 및 Llama 모델을 추론에 맞게 조정한 버전을 개발했습니다.

다른 방법들은 모델의 '자기 개선' 과정을 통해 프롬프트와 이에 대응하는 긴 CoT 출력을 생성하여 데이터 세트를 구축하는 것을 목표로 합니다. Self-Taught Reasoner(STaR)는 효과적인 추론 추적에 대한 퓨샷 예시를 제공한 뒤, 더 많은 예시 질문에 대한 답변과 추론 근거를 생성하도록 모델에 프롬프트를 제공합니다. 그런 다음 최종적으로 올바른 답을 도출한 추론 근거를 사용해 모델을 미세 조정하고, 이 과정을 반복적으로 수행합니다. Reinforced Self-Training(ReST)는 강화 미세 조정에 사용되는 보상 신호(또는 '정책')를 미세 조정하기 위해 유사한 개념적 접근 방식을 적용합니다. 두 방법 모두 여러 파생 기법의 기반이 되었습니다.

많은 장점과 이점에도 불구하고 추론 LLM에 단점이 없는 것은 아닙니다.

추론 모델, 특히 매개변수 수가 비교적 적은 모델은 과도하게 추론하는 경향이 있습니다. Tencent의 한 연구에 따르면 추론 모델은 동일한 답에 도달하기 위해 기존 모델보다 평균 1,953% 더 많은 토큰을 사용하는 것으로 나타났습니다. 여러 대학의 연구진이 수행한 또 다른 연구[x]에서는 에이전틱 환경에서 추론 모델이 외부 툴이나 정보원과 상호작용하기보다 장시간 순환 추론을 반복하는 경향이 있는 것으로 나타났습니다.

Anthropic이 2025년 7월 발표한 연구는 이러한 과도한 추론이 단순히 효율성의 문제가 아니라고 주장했습니다. "Inverse Scaling in Test-Time Compute"에서는 추론 시간이 길어질수록 성능이 저하되고, 추론 시 연산량과 정확도 사이에 역의 관계가 나타나는 사례를 분석했습니다. 추론 시 연산량을 늘리면 모델 성능이 향상될 수 있다는 사실은 이미 실증적으로 입증되었지만, 이 연구에서는 최종 출력을 생성하기 전에 더 많은 추론 토큰을 생성할수록 모델의 약점과 정렬 문제가 오히려 증폭되는 여러 사례를 확인했습니다. 이는 '추론을 많이 할수록 모델 출력이 항상 향상된다'는 가정에 의문을 제기합니다.

이 글에서 앞서 언급한 Apple의 관련 연구에서는 일반 모델이 추론 모델보다 더 우수한 성능을 보인 저복잡도 작업과, 두 모델 모두 완전히 실패한 고복잡도 작업 사례를 제시했습니다. Apple의 연구에서는 추론 모델이 '계획 수립 작업에 필요한 일반화 가능한 문제 해결 능력을 습득하지 못하며, 일정 수준 이상의 복잡도에서는 성능이 0까지 급격히 떨어진다'고 설명했습니다.

추론 미세 조정은 일반적으로 수학이나 코딩처럼 논리적 추론이 필요한 복잡한 작업에서는 큰 성능 향상을 가져오지만, 다른 영역에서는 성능 저하를 초래할 수도 있습니다. 예를 들어 원래 모델과 비교했을 때, DeepSeek-R1을 이용한 지식 증류로 미세 조정된 Llama 3.1과 Qwen2.5는 어려운 지시를 해결하는 모델의 능력을 평가하는 대표적인 벤치마크인 ArenaHard와 Alpaca-Eval-2 모두에서 성능이 크게 저하되었습니다. 그럼에도 불구하고 IBM Granite 3.2를 미세 조정하는 데 사용된 사고 선호도 최적화(TPO)와 같이 보다 폭넓은 목적의 추론 기법은 수학이나 코딩 성능에는 큰 영향을 미치지 않으면서도 지시 사항을 따르는 능력을 크게 향상시킵니다.

모델이 '생각'하는 동안 생성되는 모든 토큰에 대해 사용자는 비용을 지불하고, 기다려야 하며, 이때 생성되는 토큰은 사용 가능한 컨텍스트 창을 차지하게 됩니다. 일부 사용 사례는 추가 시간과 컴퓨팅을 정당화하지만 리소스 낭비인 경우도 있습니다. 그러나 작업이나 프롬프트마다 '표준' 모델과 추론 모델을 번갈아 사용하는 방식은 일반적으로 비현실적입니다.

초기 추론 모델이 출시된 이후 AI 업계는 추론 또는 사고 '노력', 즉 최종 출력을 생성하기 전에 생성하는 추론 토큰의 양을 조절할 수 있는 '하이브리드 추론 모델'을 폭넓게 채택해 왔습니다.

2025년 2월 IBM Granite 3.2는 켜고 끌 수 있는 '생각 모드'를 제공한 최초의 LLM이 되었습니다. 이를 통해 사용자는 필요할 때는 추론 기능을 활용하고, 필요하지 않을 때는 효율성을 우선할 수 있습니다.16 같은 달 후반에는 Anthropic의 Claude 3.7 Sonnet도 이를 도입하여 API 사용자가 모델이 얼마 동안 '생각'할지 세밀하게 제어할 수 있도록 했습니다. 이후 Google은 Gemini 모델의 '생각 예산'을 조절하는 유사한 기능을 도입했으며, OpenAI도 곧 o1 및 o3 추론 모델의 '추론 노력' 수준을 '낮음', '보통', '높음'으로 설정할 수 있도록 했습니다. 

이후 이러한 접근 방식은 사실상 표준으로 자리 잡았습니다. 일부 주요 언어 모델 계열은 여전히 추론 모델과 비추론 모델을 별도로 출시하고 있지만, 대부분의 제공업체는 사용자가 추론 노력을 비활성화할 수 있는 추론 기능 지원 모델을 출시하고 있습니다.

표면적으로는 모델의 사고 사슬을 사용자에게 공개하면 LLM이 최종 답변에 정확히 어떻게 도달했는지를 이해하는 데 도움이 되며, 일반적인 모델보다 더 높은 해석 가능성을 제공합니다. 하지만 Anthropic의 연구에 따르면 추론 모델이 실제 추론 과정을 항상 그대로 설명하는 것은 아닙니다. 연구진은 특별히 설계한 일련의 과제를 통해 Claude 3.7 Sonnet과 DeepSeek-R1 모두 자신의 추론 과정을 충실하게 설명하지 않는다는 사실을 확인했습니다. 예를 들어 정답에 대한 힌트를 제공받았을 때도, 모델은 자신의 추론 근거를 설명하면서 해당 힌트를 거의 언급하지 않았습니다.