貢献者Vrunda Gadesha, Eda Kavlakoglu
プロンプト・チェーニングについて考えると、これは CoT プロンプトのより基本的な形式であり、AIは特定のコンテキストまたは質問に基づいて応答を生成するように促されます。対照的に、CoTプロンプトは、単に一貫性のある適切な応答を生成するだけでなく、AIが前提や結論を含む論理的議論全体をゼロから構築することを要求します。プロンプト・チェーニングは個々の応答を洗練することに重点を置いているのに対し、CoT プロンプトは包括的かつ論理的に一貫した議論を作成することを目的としており、それによって AI の問題解決機能の限界を押し広げます。
AI に「空は何色ですか?」と尋ねた場合、AI は「空は青です」など、単純かつ直接的な回答を生成します。ただし、CoTプロンプトを使用して空が青い理由を説明するように求められた場合、AIは最初に「青」の意味(原色)を定義し、次に大気による他の色の吸収により空が青く見えると推論します。この応答は、AI が論理的な議論を構築する能力を示しています。
特にAIガバナンスやリスク管理ソリューションの欠如など、AI導入の障壁について学びましょう。
基盤モデルについてのガイドに登録する
思考連鎖を促す手法は、大規模言語モデル (LLM) を活用して一連の推論ステップを明確に表現し、新しいタスクのための類似の推論チェーンを生成するようにモデルを導きます。これは、推論プロセスを説明する模範的なプロンプトによって実現され、複雑な推論の課題に対処するためのモデルの能力が向上します。2このプロンプト技法の流れを理解するために、古典的な数学の単語問題、つまり多項式を解くことに取り組んでみましょう。
思考の連鎖(CoT)プロンプトは、大規模言語モデル(LLM)が一連の論理的なステップをたどるように導き、問題解決プロセスを分解することにより、多項式方程式の解法を大幅に支援できます。2CoT プロンプトが多項式方程式にどのように対処できるかを見てみましょう。
二次方程式を解く例を考えてみましょう。
入力プロンプト: 二次方程式を解く: x2 - 5x + 6 = 0
このプロンプトをIBM watsonx.AIチャットに伝えると、人間の質問と AI アシスタンスの応答の間で次のような会話が行われます。
ソロ・モデルとチャットして、watsonx.AIで生成AIの操作をご体験ください。
生成AIでスキルを次のレベルに引き上げましょう
思考連鎖（CoT） プロンプトは、さまざまな革新的なバリアントに進化し、それぞれが特定の課題に対処し、独自の方法でモデルの推論機能を強化するように調整されています。これらの適応は、CoTの適用性を異なるドメインに拡張するだけでなく、モデルの問題解決プロセスを洗練させます。3
ゼロショット思考連鎖バリアントは、モデル内の固有の知識を活用して、事前の具体的な例や手元のタスクの微調整なしで問題に取り組みます。このアプローチは、カスタマイズされたトレーニングデータが利用できない可能性のある新しい問題タイプや多様な問題タイプに対処する場合に特に役立ちます。4このアプローチでは、標準プロンプトとfew-shotプロンプティングの特性を活用できます。
たとえば、「フランスと国境を越え、赤と白の旗のある国の首都は何ですか?」という質問に取り組む場合、ゼロショットCoTを使用するモデルは、組み込まれた地理とフラグの知識を利用してスイスにつながるステップを導き出します。そのようなクエリについて明確にトレーニングされていないにもかかわらず、回答として使用できます。
Automatic Chain of Thought（Auto-COT）は、効果的な推論経路の生成と選択を自動化することにより、プロンプトを作成するときの手動作業を最小限に抑えることを目的としています。このバリアントは、CoTの拡張性とアクセシビリティを強化し、より広範なタスクとユーザーに対応します。5、 8
例えば、「5個のリンゴを購入して、すでに3個ある場合、合計はいくつありますか」のような数学の問題を解決するために、Auto-CoTシステムは、「3個のリンゴから始め」「 「既存の3にリンゴを5つ加え」、最終的には「リンゴの合計数=8」とまでになり、人間の介入なしに推論プロセスを合理化します。
マルチモーダル思考連鎖は、CoTフレームワークを拡張して、テキストや画像などのさまざまなモダリティからのインプットを組み込むことで、モデルが複雑な推論タスクのために多様なタイプの情報を処理および統合できるようにします。6
たとえば、混雑したビーチの写真を提示し、「このビーチは夏も人気がありそうですか」と尋ねると、マルチモーダルCoTを採用したモデルは、視覚的な手がかり（ビーチの占有率、気象状況など）と「ビーチは混雑しており、人気が高いことを示しているため、夏にはさらに増える可能性があります。」など、季節的な人気をテキストで理解して、詳細な回答を推論します。
思考連鎖を促すこれらのバリエーションは、CoTアプローチの柔軟性と適応性をshowcaseだけでなく、AIの推論と問題解決能機能における将来の発展の大きな可能性を示唆しています。
CoT プロンプトは、複雑な推論タスクにおける大規模言語モデル (LLM)のパフォーマンスを向上させる強力な手法であり、精度、透明性、マルチステップ推論能力の向上など、さまざまな領域で大きなメリットをもたらします。しかし、高品質のプロンプトの必要性、計算コストの増加、敵対的な攻撃に対する感受性、推論や理解における定性的な改善を評価する際の課題など、その限界を考慮することが不可欠です。これらの制限に対処することで、研究者や実務家は、さまざまなアプリケーションでのCoTプロンプトの責任ある効果的なデプロイメントを確保できます。10名
ユーザーは、思考プロンプトの連鎖の中で多くのメリットを得ることができます。例えば次のような課題があります。
- プロンプト出力の向上：CoTプロンプトは、複雑な推論タスクをよりシンプルで論理的なステップに分解することで、LLMのパフォーマンスを向上させる。
- 透明性と理解：中間推論ステップを生成することで、モデルがどのように結論に到達するのかが透明化され、意思決定プロセスがユーザーにとってより理解しやすくなる。
- 多段階推論：問題の各コンポーネントに体系的に取り組むことで、CoTプロンプトは、特に多段階の推論を必要とする課題において、より正確で信頼性の高い解答を導くことが多い。多ステップ推論とは、複雑な論理演算をより小さな連続ステップに分割することで実行する能力を指します。この認知スキルは、複雑な問題を解決し、意思決定を行い、因果関係を理解するために不可欠です。
- 細部へのこだわり：ステップ・バイ・ステップの説明モデルは、詳細な分解によって理解を促す教授法に似ているため、CoTプロンプトは教育的文脈で有用である。
- ダイバーシティー： CoTは、数理推論、常識的な推論、複雑な問題解決など、幅広いタスクに適用でき、その柔軟なユーティリティーを示しています。
- 品質管理：CoTプロンプトの効果は、提供されるプロンプトの質に大きく依存するため、モデルを正確に誘導するためには、注意深く作成された例が必要となる。
- 高い計算能力：複数の推論ステップを生成および処理するには、標準的なシングルステッププロンプトと比較して、より多くの計算能力と時間が必要です。したがって、この手法はどの組織でも導入するコストが高くなります。
- コンセプトのミスリード：もっともらしいが正しくない推論経路が生成され、誤解を招いたり、誤った結論に至る危険性がある。
- 費用と労力がかかる：効果的なCoTプロンプトを設計するには、問題領域とモデルの機能を深く理解する必要があり、より複雑で労力がかかる。
- モデルのオーバーフィット：プロンプトの推論のスタイルやパターンにモデルがオーバーフィットする潜在的なリスクがあり、様々なタスクに対する汎化機能が低下する可能性がある。
- 評価と検証：CoTは解釈可能性と正確性を高めることができるが、推論や理解の質的向上を測定することは困難である。これは、人間の認知に固有の複雑さと、言語表現を評価する主観的な性質によるものです。ただし、CoTプロンプトの有効性を評価するためにいくつかのアプローチを使用できます。たとえば、モデルの応答をベースライン・モデルまたは人間の専門家の応答と比較すると、相対的なパフォーマンスの向上についての洞察が得られます。さらに、LLMによって生成された中間推論ステップを分析することで、推論や理解の向上を直接測定することは難しいとしても、意思決定プロセスに関する貴重な洞察を得ることができる。
思考の連鎖 (CoT) の進化は、自然言語処理 (NLP) 、機械学習、急成長中の生成AI分野など、いくつかの領域にわたる相乗的な進歩の証です。これらの進歩は、CoTを複雑な問題解決の最前線に推進しただけではなく、さまざまなアプリケーションにおけるそのユーティリティーを強調しました。ここでは、主要な開発状況を掘り下げ、指定された用語を統合して、CoTの進歩状況の包括的な全体像を把握します。
プロンプト・エンジニアリングのイノベーションにより、モデルの理解と元のプロンプトとの相互作用が大幅に向上し、より微妙で文脈に沿った推論パスが可能になりました。この開発は、CoTの有効性を洗練する上で重要でした。2
シンボリック推論タスクと論理的推論タスクへの統合により、モデルの抽象的思考と推論の能力が向上し、CoTによるロジックベースの課題への取り組みに大きな飛躍をもたらしました。7名
例えば、記号推論は、2 + 3 = 5などの数式を解くことです。 この場合、問題は構成要素（追加と数値）に分解され、モデルは学習した知識と推論ルールに基づいて正しい答えを導き出します。一方、論理的推論は、「すべての鳥は飛ぶことができるので、ペンギンは鳥である」など、前提や仮定から結論を導き出すことです。次にモデルは、提供された情報に基づいてペンギンが飛ぶことができるかどうかを判断します。CoTプロンプトを象徴的推論タスクと論理的推論タスクに統合することで、LLMは抽象的思考と推論機能の向上を実証できるようになり、より複雑で多様な問題に取り組むことができるようになりました。
生成AIとTransformerアーキテクチャーのアプリケーションにより CoT に革命が起こり、創造性と深みを示す洗練された推論パスの生成が可能になりました。この相乗効果により、CoTの適用可能性が広がり、教育機関向けの領域と実践領域の両方に影響を与えています。9
進歩により、より小さなモデルがCoT推論に効果的に関与できるようになり、高度な推論機能に民主的にアクセスできるようになりました。CoT内の自己一貫性に重点を置くことで、生成されたパスの論理的な健全性を確保し、モデルによって導き出される結論の信頼性を高めます。11名
このような進歩は、総じて、CoTの能力が飛躍的に伸びたこととチャットボットとCoTモデルの統合が重要であることを意味します。また、AI主導の意思決定と問題解決プロセスに革命をもたらす可能性が浮き彫りになっています。チャットボットの対話機能とCoTモデルの高度な推論機能を組み合わせることで、より幅広いタスクやアプリケーションを処理できる、より高性能で効果的なAIシステムを構築できるのです。
さらに、さまざまな用途とCoTモデルとの統合によって、AIシステムがユーザーのニーズや好みをよりよく理解し、それに対応できるようになり、全体的なユーザー体験を向上させることができます。自然言語処理（NLP）の手法をCoTモデルに統合すると、チャットボットがユーザー・インプットをより人間のように理解して応答できるようになり、より引き込まれる、直感的かつ効果的な対話体験を生み出せるようになります。
思考の連鎖（CoT）の方法論は、複雑な問題を理解しやすい推論ステップに分解することができるため、幅広い分野に適用されています。これらのユースケースは、CoTの汎用性だけでなく、システムが問題解決や意思決定タスクをどのように処理するかを変革する可能性も示しています。ここでは、CoTが効果的に適用されている主なユースケースをご紹介します。
高度なチャットボットはCoTを活用して、顧客の問い合わせをよりよく理解し、対応しています。顧客の問題を処理しやすい単位に細かく分解することで、チャットボットはより正確で有益な応答を提供できるようになり、顧客満足度が向上し、人間の介入の必要性が減ります。
研究者はCoTを利用して、複雑な科学的問題を解決する際の思考プロセスを構造化し、イノベーションを促進しています。このような構造化されたアプローチにより、探索のプロセスが推進され、新しい仮説の立案が可能になります。
コンテンツ作成において、CoTは思考や情報を論理的に整理することにより、構造化された概要や要約を生成し、コンテンツの一貫性と品質を高めます。
CoTは教育テクノロジー・プラットフォームで活用され、複雑な問題に対してステップバイステップの説明を生成するのに役立っています。プロセスを理解することが最終的な答えと同じくらい重要である数学や科学などの科目では、特に価値があります。CoTベースのシステムは、問題解決の手順に沿って学習者をガイドし、理解と知識の定着が向上します。
CoTは、特に倫理的な配慮が必要なシナリオにおいて、AI主導の意思決定の背後にある推論を明らかにするために重要です。透明性の高い推論パスを提供することによって、CoTにより倫理基準や社会規範に沿ったAI主導の意思決定を行うことができます。
これらのユースケースでは、さまざまな分野におけるCoTによる変革の可能性が明らかに示されています。また、問題解決と意思決定のプロセスを再定義するCoTの能力を垣間見ることができます。CoTが進化を続けるにつれて、用途が拡大し、この方法論が技術と社会の進歩を構成するものとしてさらに組み込まれることが予想されます。
CoTプロンプトは、人間の認知プロセスを模倣して複雑な推論タスクを実行するAIの能力が、飛躍的に進歩したことを示しています。推論の中間ステップを明確にすることで、CoTはLLMの問題解決能力を強化するだけでなく、透明性と解釈可能性も高めます。本質的な制限事項があるにもかかわらず、AIモデルの推論能力を拡張するために、CoTのバリエーションと用途の検討は今も続いています。これは、AIの認知機能が今後も強化されることを示しています。
Graniteは、デコーダーのみのTransformer（トランスフォーマー）アーキテクチャーに基づくIBMのLLM基盤モデルの主力シリーズです。Graniteの言語モデルは、インターネット、教育機関、各種規定、法律、金融にまたがり信頼性の高いエンタープライズ・データでトレーニングされています。
アプリケーション、分析、生成AIのために適切なデータベースを活用する方法について説明します。
組織があらゆるデータをAIワークロードに拡張する方法をご確認ください。
脚注
1 Boshi Wang, S. M. (2022). Towards Understanding Chain-of-Thought Prompting: An Empirical Study of What Matters. 2717-2739, https://doi.org/10.48550/arXiv.2212.10001.
2Jason Wei, X. W. (2022). Chain of Thought Prompting Elicits Reasoning in Large Language Models. 36th Conference on Neural Information Processing Systems (NeurIPS 2022).
3Zheng Chu, J. C. (2023). A Survey of Chain of Thought Reasoning: Advances, Frontiers and Future. ArXiv, abs/2309.15402.
4Omar Shaikh, H. Z. (2022, December). On Second Thought, Let’s Not Think Step by Step! Bias and Toxicity in Zero-Shot Reasoning. ArXiv, abs/2212.08061. https://doi.org/10.48550/arXiv.2212.08061.
5Zhuosheng Zhang, A. Z. (2022). Automatic Chain of Thought Prompting in Large Language Models. ArXiv, abs/2210.03493. https://doi.org/10.48550/arXiv.2210.03493.
6Zhuosheng Zhang, A. Z. (2023). Multimodal Chain-of-Thought Reasoning in Language Models. ArXiv, abs/2302.00923. https://doi.org/10.48550/arXiv.2302.00923.
7Yao, Z. L. (2023). Beyond Chain-of-Thought, Effective Graph-of-Thought Reasoning in Large Language Models. ArXiv, abs/2305.16582. https://doi.org/10.48550/arXiv.2305.16582.
8Kashun Shum, S. D. (2023). Automatic Prompt Augmentation and Selection with Chain-of-Thought from Labeled Data. ArXiv, abs/2302.12822. https://doi.org/10.48550/arXiv.2302.12822.
9A Vaswani, N. S. (2017). Attention is all you need. Advances in neural information processing systems.
10Zhengyan Zhang, Y. G. (2021). CPM-2: Large-scale Cost-effective Pre-trained Language Models. AI Open, 2, 216--224.
11L Zheng, N. G. (2021). When does pretraining help? assessing self-supervised learning for law and the casehold dataset of 53,000+ legal holdings. In Proceedings of the eighteenth international conference on artificial intelligence and law , 159-168.
12S Roller, E. D. (2020). Recipes for building an open-domain chatbot. arXiv preprint arXiv:2004.13637 .