推論モデルとは

高度な思考の連鎖（Chain of Thought）推論やその他の多段階の意思決定戦略を用いるよう訓練された推論モデルは、特に数学やコーディング、その他の論理的推論を必要とする分野において、LLMの性能の最先端を担っています。これらの「思考モデル」は、当初は個別の専門モデルカテゴリとして導入されていましたが、徐々に普及してきました。今日では、ほとんどの最新LLMが「思考モード」または同様の名前の推論機能を提供しています。

「推論モデル」の概念は、2024年9月にOpenAIのo1-preview（およびo1-mini）で初めて導入され、その後、11月にはAlibabaの「Qwen with Questions」（QwQ-32B-preview）、12月にはGoogleのGemini 2.0 Flash Experimentが登場しました。推論型LLMの開発における大きな節目となったのが、2025年1月にオープンソース・モデルのDeepSeek-R1がリリースされたことです。従来の推論モデルのファイン・チューニングに用いられたトレーニング手法は厳重に秘匿されていましたが、DeepSeekは、他のモデル開発者にとって指針となる詳細な技術論文を公開しました。IBM Granite、Anthropic、Mistral AIなども、その後、独自の推論型LLMをリリースしています。

簡単に言うと、推論LLMは、応答する前に「考える」ことに多くの時間を費やすようにトレーニングされています。この「推論プロセス」を増やすことで、複雑な推論タスクでのLLMの性能が大幅に向上することが実証されています。この成功により、AIモデルを適用できる実世界のユースケースと領域が拡大し、生成AIとAIエージェントの継続的な開発における重要な転換点となっています。

ただし、モデルの「思考プロセス」のような擬人化された表現は、文字どおりに受け取るべきものではなく、便宜的な表現であることに留意してください。すべての機械学習モデルと同様に、推論モデルも最終的には高度なアルゴリズムを用いて、トレーニング・データから学習したパターンに基づき、「次にどの単語が続くか」といった予測を行っているにすぎません。推論型LLMは、意識やその他の汎用人工知能（AGI）の兆候を示していません。NeurIPS 2025で発表された、Appleによる広く引用されている研究論文は、現在のモデルの推論能力が真に「一般化可能な」推論へとスケールできるのかという疑問を投げかけています。

推論型LLMは、人間の思考プロセスに似た一連のトークン（単語）を生成することで、「思考の過程を示す」ように訓練されている、と考えるのがおそらく最も正確です。また、このように思考を「言語化」する行為によって、LLMが、個人が自身の思考プロセスを直接的または間接的に表現した例を含む膨大なトレーニング・データ・コーパスから暗黙的に学習した潜在的な推論能力が引き出されているように見えます。 

モデルのアウトプットに「思考プロセス」を追加すると、モデルが有害な認知の近道を回避し、トレーニング・データから学習したより関連性の高い知識を導き出すことができるため、標準的なLLM推論に固有の欠陥の多くを軽減できます。

推論型LLMの文脈では、AI研究文献で「システム1」思考と「システム2」思考という用語がよく言及されます。これは、ノーベル賞受賞者である行動経済学者ダニエル・カーネマンが著書『Thinking, Fast and Slow』で提唱した概念です。システム1思考は、高速で、無意識かつ直感的に働き、ヒューリスティックに依存するため、ほとんど、あるいはまったく認知的な負荷を伴いません。システム2思考は、時間をかけて慎重かつ論理的に行われ、意識的な努力を必要とします。これまでの研究では、自己回帰型LLMはデフォルトでシステム1思考に偏る傾向があることが一貫して示されています。

一部のタスクでは、システム1思考が効果的であり、計算効率も高くなります。しかし、多くのタスクでは、衝動的なシステム1思考だけでは十分ではありません。たとえば、Metaの研究者であるJason WestonとSainbayar Sukhbaatarによる2023年の論文では、入力プロンプトに無関係なコンテキストや主観的な情報が含まれると、LLMは容易にその影響を受けることが示されました。

2人は「System 2 Attention」（S2A）と名付けた一連の手法を提案しました。この手法では、まず無関係な文脈を排除した入力プロンプトを書き換えたバージョンを生成し、その書き換えたプロンプトに応答するようにモデルに指示するものです。実験では、S2Aはさまざまなタスクにおいて標準的な推論を上回り、精度が向上し、追従性が減少しました。

概念的に言えば、推論アプローチの暗黙の目標は、潜在的なアウトプットを探索、評価、精緻化するシステム2に似たモデル挙動を実現することと理解できます。

現代の「思考モデル」の基盤は、初期のLLM研究論文によって築かれました。2021年にGoogle Researchが執筆した論文 と、2022年に 東京大学の研究者が執筆した論文 です。両論文では、「段階的に考える」というフレーズを追加するだけで（Chain of Thought Prompting（CoTプロンプティング）と呼ばれる手法）、モデルのアウトプットが大幅に向上することが示されました。2024年にGoogle DeepMindが発表した論文では、さらに広範な主張として新たなスケーリング法則が提案されました。すなわち、テストタイム・コンピュート（出力の生成に使用される計算リソース）を増やすことは、トレーニングタイム・コンピュート（モデルのトレーニングに使用される計算リソース）を増やすのと同程度、モデルの性能向上につながるというものです。CoTプロンプティングは、S2Aと同様に、そのような推論スケーリング（テスト時スケーリングとも呼ばれる）手法の1つにすぎません。

現代の推論型LLMはさらに一歩進み、プロンプト・エンジニアリングに頼るのではなく、新しいファイン・チューニング手法や高度なワークフローを用いて、推論時にモデルが使用する計算量を本質的に増やしています。推論モデルの最適化には、アルゴリズムやトレーニング・データを開発するという技術的な課題と、理想的な「思考プロセス」を設計するという哲学的な課題の両方が伴います。

トレーニング推論LLMの初期段階は、従来のLLMの初期段階と同じです。標準的なLLMと同様に、推論モデルは大規模な自己教師あり事前トレーニングから一般的な言語能力と世界の知識を取得し、その後、それを下流のタスク（会話型チャットボットの使用など）に適応させるためにある程度の教師ありファインチューニング（SFT）を行います。中心的なイノベーションは、最終的なアウトプットを生成する前に、推論時に中間的な「推論ステップ」を生成するようモデルに動機付ける、新たな強化学習（RL）技術の応用です。

長年にわたる研究と実験の結果、推論アプローチは指数関数的に拡大してきましたが、すべてがテスト時の計算能力を向上させるという基本的な目標を共有しています。推論モデルは、基礎となる基本（または指示調整済みの）LLM以外に、採用するようにトレーニングされた特定の意思決定戦略と、その動作の奨励に使用される特定のアルゴリズムによって差別化されます。い

大まかに言うと、推論時に使用される計算能力を増やすには、主に2つの方法があります。推論モデルをファイン・チューニングする目的は、さまざまな学習アルゴリズムを通じて、これらの幅広いアプローチの1つ（または両方）を採用するようにモデルをトレーニングすることです。

• より長いアウトプットを生成する：このモデルは、長い思考連鎖、バックトラック、自己改良などの戦略を通じて、より長いアウトプットを生成することを学習します。
  
  
• 複数アウトプットを生成する：プロンプトに応答して単一のアウトプットを生成する代わりに、モデルはアウトプットの複数の反復を生成し、潜在的なアウトプットの検索、拒否、集約のプロセスを通じて最終的な答えに到達します。

推論モデルを生成する学習パラダイムの性質には通常、コーディング・タスクや数学の問題など、解決策が本質的に検証可能な問題に対するトレーニングと評価が含まれます。推論モデルの性能の評価に使用されるベンチマーク指標は、通常、それらの領域に焦点を当てます。創作的な文書作成など、より主観的な領域における推論の影響について行われた研究は、かなり少ないです。

推論LLMの台頭の中心となっているのは、LLMコンテキストにおけるルールベースのRLとディープラーニング主導型 RL（「ディープ RL」）の両方を含むRLベースのファイン・チューニングの進歩です。教師あり学習や自己教師あり学習では明確に定義された静的なトレーニング・タスクが必要ですが、RLは、多段階推論が最も役立つ、動的でオープンエンドの複雑なタスクに適しています。

RLを使用してLLMをファイン・チューニングし、抽象的な性質を与える方法は、推論モデルに特有のものではありません。たとえば、チャットボット設定で使用されるLLMの標準トレーニング・パイプラインは次のとおりです。

1. 自己教師あり事前トレーニングでは、モデルが言語パターンと基本知識を学習し、下流のタスクに適用します。
   
   
2. 教師ありファイン・チューニング（SFT）では、モデルはユーザー・インプットに対する応答を適切にフォーマットする方法を学習します。
   
   
3. 指示チューニングでは、モデルが指示に従い、特定のタスクを実行する方法を学習します。
   
   
4. 人間からのフィードバックによる強化学習（RLHF）では、人間の好みのデータに基づいてモデルがファイン・チューニングされ、有用性、無害性、誠実さ、理想的な口調などの主観的な品質が付与されます。

推論LLMは通常、これらと同じトレーニング段階を経て、生産的なCoTベースの推論プロセスを浸透させる強化学習段階（ある時点で）を追加します。これは、この推論プロセスの目標、つまり最終アウトプットの前にCoT推論トレースを生成するなど、「報酬」を受ける特定のモデルの動作を定義し、報酬を最大化する方法でモデルの重みを最適化することで実現します。

すべての複雑な問題解決に有効な推論プロセスのように抽象的で複雑なタスクに対し、明示的な報酬関数を設計することは困難、あるいは不可能であるため、この報酬信号はトレーニング中に使用される別の報酬モデルから生成されることがよくあります。RLHFでは、この報酬モデル自体が人間のフィードバックに基づいてトレーニングされ、人間が特定の回答をどの程度好むかについて数値スコアを予測するように学習します。

推論モデルのRLの文脈では、報酬信号は、結果報酬モデル（ORM）、プロセス報酬モデル（PRM）、およびルールベースの報酬システムのカテゴリーに分類できます。

結果報酬モデル（ORM）は、その名が示すとおり、推論モデルの最終アウトプットの正確性を検証し、その結果に基づいてモデルの重みを最適化するための報酬信号を提供します。これは表面的には教師あり学習における損失関数の役割と似ていますが、その仕組みはより複雑な場合が少なくありません。

損失関数は通常、アウトプットと実際の値との間のトークンごとの相違を測定しますが、効果的なORMは、利用可能な実際の回答とは非常に異なる形で提示された場合でも、数学の問題に対する正しい回答を認識できなければなりません。これは、長いCoTアウトプットの大きな変動性を考えるとよくあるケースです。同様に、実世界のコーディング問題のほとんどには複数の解決策があります。通常、コード出力を総合的に評価するには、コード・スニペットを効率的に実行し、有効性を検証するデータ・パイプラインが必要です。規定の書式設定や指示に従うかどうかなど、その他のアウトプット品質は、標準のLLMを検証ツールとして使用できます。

ORMは比較的単純で計算効率の高いソリューションですが、欠陥のある推論ステップが正しい最終回答を導き出す可能性がある、その結果、モデルが最適ではない推論プロセスを学習するかもしれません。

プロセス報酬モデル（PRM）は、最終的な回答の正確性だけに焦点を当てるのではなく、個々の推論ステップを個別に評価し、報酬（またはペナルティ）を与えます。これにより、よりきめ細かな報酬シグナルとその後のモデル調整が可能になり、より堅牢で解釈しやすい推論プロセスを備えたモデルが得られます。

ただし、PRMのトレーニングと実装にはより多くのコストと時間がかかります。OpenAIのPRM800Kデータ・セットなど、PRMの初期の代表的な手法では、ほぼ全面的に人間のアノテーターによる手間のかかるデータ・ラベリングに依存していました。Math-Shepherdなど、その後に提案された多くの代表的な手法では、正しい答えが得られる頻度に基づいて推論ステップの妥当性を推定することで、このプロセスを自動化しています。

報酬モデルのコストと複雑さを回避するために、一部のRLベースのファイン・チューニングでは、モデルアウトプットの評価作業を簡素化する方法でトレーニング・タスクを設計します。

たとえば、DeepSeek-R1手法とR1-Zero手法では、最終的な回答を別のボックス内に出力するようモデルに指示することで、応答全体を解析する必要がある専用の報酬モデルを用いなくても、その正確性を検証できるようにしています。他のルールベースの報酬システムでは、モデルの応答に定期的に「wait」を追加して、より多くの探索や自己修正を促すなど、特定のマイクロアクションを促進しています。このようなマイクロアクションの利用は最終アウトプットの改善に有効であることが実証されており、同様に重要なのは、その効果を簡単かつ低コストで検証できることです。

シンプルでわかりやすく、非常に影響力のある強化ファイン・チューニング手法は、DeepSeekがオープンソースのR1-Zero実験推論モデルのトレーニングで初めて開発されました。

DeepSeek-V3をベースとして使用することで、DeepSeekは事前トレーニングから非常にシンプルなルールベースの強化学習スキームへと直接移行しました。

• モデルへのクエリー：モデルに質問します。モデルに対して、「<think>」と「</think>」トークンの間に思考プロセスを、「<answer>」と「</answer>」トークンの間に最終回答を出力するようプロンプトを与えます。
  
  
• 精度報酬：モデルの回答の品質（生成されたコードの実行品質など）に応じて報酬を与えます。
  
  
• フォーマット報酬：レスポンスで「<think> </think>」および「<answer> </answer>」形式を正しく使用したモデルに報酬を与えます。

驚くべきことに、DeepSeek-R1-Zeroは、明示的な指示がなくても複雑な思考の連鎖を生成し、数学と推論のタスクで目覚ましい性能を発揮した戦略を採用することを学習しました。つまり、最終的な答えを出力する前に「考察する」という指示と、最終的な答えの精度を最大化するという指示だけが与えられた場合、モデルは自然に最適な推論パターンを探索し、「発見」しました。

実際には、この簡素化されたアプローチには重大な欠陥がありました。技術論文によると、「DeepSeek-R1-Zeroは、無限の反復、読みやすさの低下、言語の混合などの課題に直面」しています。それにもかかわらず、この純粋なRLアプローチは、非常に人気のあるDeepSeek-R1モデルを生み出した、より洗練された方法論の基礎となりました。

ほとんどのCoTベースのRLパラダイムは、単一のモデルのアウトプットの有効性を最適化することを目的としていますが、他の方法では、最適な推論ステップを特定し、動機付けることを目的として、複数の最終アウトプットまたは中間アウトプットを生成します。

多くの手法では、ビーム・サーチ、Tree of Thoughts、モンテカルロ木探索（MCTS）などの探索ベースの最適化アルゴリズムを用いて、複数の推論経路を生成・探索します。プロセス報酬モデル（PRM）は、個々の推論ステップの質と成功度を評価し、その後、望ましい結果につながった推論経路に沿って報酬が繰り返し逆伝播されます。期待される報酬を最大化するようにモデルの重みを最適化すると、モデルが最も生産的な推論経路を追求する可能性が高くなります。これは、取り得る選択肢が非常に多い推論タスクや、正確な最終回答に到達するために長期的な計画を必要とするタスクで特に有効です。

探索型アルゴリズムは本質的に中間段階に焦点を当てるのに対し、サンプリング手法は最終的な結果を優先します。サンプリングベースの推論スケーリングの最も基本的な実装は、Best-of-Nアルゴリズムです。つまり、同じ入力プロンプトをモデルにN回与え、結果報酬モデル（ORM）で各結果を評価し、ORMが最も高いスコアを付けた結果を最終回答として選択します。

代表的なサンプリングベースのアルゴリズムの1つであるSelf-Consistency（多数決とも呼ばれます）は、ORMを必要としません。各タスクは、Chain of Thought Promptingから始まります。それぞれに独自の推論経路を持つ複数の回答が、モデルのデコーダーからサンプリングされます。サンプリングされたアウトプットの中で最も頻繁に現れる最終回答が、最適な回答であると判断されます。これは、ランダム性やハルシネーションを抑えるためのテストタイム・スケーリング手法としても、SFTベース手法向けの高品質な推論データを生成する手段としても利用できます。

思考モデルにおける探索ベースおよびサンプリングベースの手法の主な欠点は、レイテンシー（応答時間）の増加と、それに伴う計算オーバーヘッドです。しかし、カーネギーメロン大学の研究によると、探索ベースまたはサンプリングベースの推論アルゴリズムを採用した小規模モデルは、従来の大規模モデルよりも優れた性能と効率のトレードオフを実現できる可能性があります。

モデルを推論のためにファイン・チューニングする概念的に最も簡単な方法の1つは、難しい入力プロンプトとそれに対応するCoTベースのアウトプットを含むデータセットに対して教師あり学習を使用することです。

従来の方法では、人間が作成したサンプルを用いて「手作業」でトレーニング・データセットを構築するには膨大な時間と労力を要しますが、推論モデルや推論スケーリング手法の普及により、適切な合成トレーニング・データを生成することが大幅に容易になりました。スタンフォード大学とアレンAI研究所が実施した研究によると、Qwen2.5-32B-Instructモデルを、質問と推論トレースの組み合わせ1,000組のみからなる厳選されたデータセットでファイン・チューニングした結果、「s1」モデルは競技数学の問題においてOpenAIのo1-previewを上回る性能を示しました。

知識蒸留では、より大きな「教師」モデルが生成したアウトプットに対してSFTを用いて小規模モデルを直接ファイン・チューニングすることで、小規模モデルが大規模な推論モデルの思考過程を模倣できるようにすることもできます。DeepSeekは、DeepSeek-R1を教師モデルとして知識蒸留を用い、QwenおよびLlamaモデルのさまざまなサイズの推論向けチューニング版を作成しました。

他の手法では、モデルの「自己改善」プロセスを通じて、プロンプトとそれに対応する長いCoTアウトプットからなるデータセットを段階的に構築することを目指しています。Self-Taught Reasoner（STaR）では、効果的な推論トレースの少数例（few-shot例）を提示した後、より多くのサンプル問題に対する回答とその根拠をモデルに生成させます。その後、最終的に正しい回答につながった根拠を用いてモデルをファイン・チューニングし、このプロセスを繰り返し実行します。 Reinforced Self-Training（ReST）は、同様の考え方を用いて、強化ファイン・チューニングで使用される報酬シグナル（または「ポリシー」）を最適化します。いずれの手法からも、多くの派生手法が生まれています。

多くの長所とメリットがあるにもかかわらず、推論LLMには欠点がないわけではありません。

推論モデル（特にパラメーター数が比較的少ないモデル）は、考えすぎる傾向があります。Tencentのある研究では、推論モデルは同じ答えに到達するために、従来のモデルより平均で1,953％多くのトークンを消費することが示されました。複数の大学の研究者による別の研究[x]では、エージェント型環境において、推論モデルは外部ツールや情報源とやり取りするよりも、長時間にわたる循環的な推論を続ける傾向があることが明らかになりました。

2025年7月に Anthropic が発表した研究では、このような考えすぎは単なる効率の問題ではないと指摘しています。同社の論文『Inverse Scaling in Test-Time Compute』では、「推論時間が長くなるほど性能が低下し、テスト時の計算量と精度が逆相関を示す事例」が検証されています。テスト時の計算量を増やすことでモデルの性能が向上することは経験的に示されていますが、この研究では、最終的なアウトプットを生成する前により多くの推論トークンを生成することによって、モデルの弱点やアライメントの問題が増幅される複数のケースが示されました。これは「より多くの推論が普遍的にモデルのアウトプットを向上させるという仮定」に疑問を投げかけます。

この記事の前半で紹介したAppleの関連研究では、複雑度の低い一連のタスクでは標準モデルが推論モデルを上回る性能を示し、複雑度の高いタスクでは両方のモデル・タイプが完全に失敗することが実証されました。Appleの研究では、推論モデルは「計画タスクにおいて一般化可能な問題解決能力を獲得できず、一定の複雑さのしきい値を超えると性能がゼロまで低下する」と結論付けています。

推論のファイン・チューニングは通常、数学やコーディングなどの論理領域の複雑なタスクでは大幅な改善を実現しますが、他の領域での性能の低下にもつながる可能性があります。たとえば、DeepSeek-R1を用いた知識蒸留によってファイン・チューニングされたLlama 3.1およびQwen2.5は、元のモデルと比べて、モデルが複雑な指示への対応能力を測定する代表的なベンチマークである ArenaHard と Alpaca-Eval-2 の両方で大幅な性能低下を示しました。とはいえ、IBM Granite 3.2のファイン・チューニングに用いられている思考優先最適化（TPO）のような、より汎用的な推論手法は、命令追従能力を大幅に向上させます（ただし、数学やコーディングの性能には大きな影響を与えません）。

ユーザーは、モデルが「考えている」際に生成するすべてのトークンに対して支払い（および待機）をする必要があります。そして、その「考える」ためのトークンは、利用可能なコンテキスト・ウィンドウを消費しつくします。一部のユースケースでは、その余分な時間と計算能力が正当化されますが、他のユースケースでは、それはリソースの無駄になります。ただし、タスクごと、プロンプトごとに、推論モデルから「標準」モデルに絶えず切り替えるのは通常、現実的ではありません。

初期の推論モデルが登場して以来、AI業界では、推論や思考の「推論量」、すなわち最終的なアウトプットを生成するまでに生成される推論トークン数を調整できる「ハイブリッド推論モデル」が広く採用されるようになりました。

2025年2月にリリースされたIBM Granite 3.2は、トグル可能な「思考モード」を備えた初の大規模言語モデル（LLM）となり、ユーザーが必要に応じて推論機能を活用し、不要な場合は効率性を優先できるようになりました。16同じ2月には、AnthropicのClaude 3.7 Sonnetもこれに続き、APIユーザーがモデルの「思考」の長さを細かく制御できる機能を追加しました。Googleはその後、Geminiモデルの「思考予算」を調整できる同様の機能を導入し、OpenAIも間もなく、o1およびo3推論モデルの「推論の強度」を「低」「中」「高」に設定できるようにしました。 

それ以来、このアプローチは事実上の標準となっています。 一部の主要な言語モデル・ファミリーでは、推論機能の有無によってモデルを分けて提供し続けていますが、多くのプロバイダーは、ユーザーが推論機能を無効にできる推論対応モデルを提供する方式を採用しています。

一見すると、モデルの思考連鎖をユーザーに示すことで、LLMがどのように最終的な回答へと至ったのかを正確に理解しやすくなり、標準モデルよりも高い解釈性が得られるように思われます。しかし、Anthropicの研究によれば、推論モデルは実際にどのように考えたかを必ずしもそのまま説明しているわけではないことが示唆されています。特別に設計された一連のタスクにおいて、研究者はClaude 3.7 SonnetとDeepSeek-R1のいずれも、自らの推論過程を忠実に説明していないことを明らかにしました。例えば、正しい答えにつながるヒントが与えられた場合でも、モデルは自らの推論根拠を説明する際に、そのヒントについてほとんど言及しませんでした。