【論文解説】Chain-of-Thought: LLMの推論能力を覚醒させたプロンプト技法

2022年1月、Google Brainのオフィス。

26歳の研究者Jason Weiは、ディスプレイに表示された数字を何度も見つめ直していた。

GSM8K（小学生レベルの算数問題）
GPT-3（175Bパラメータ）: 17.9%
PaLM（540Bパラメータ）: 17.9%

「3倍のパラメータで、精度は変わらない？」

当時のAI業界は「スケール戦争」の真っ只中だった。大きいモデルに勝つには、もっと大きいモデルが必要——誰もがそう信じていた。しかし、数千億円を投じた巨大モデルが、小学生レベルの算数で17.9%しか正解できない。

Weiは、ある仮説を試してみることにした。

「AIに『考える過程』を見せたら、どうなるだろう？」

8個の例題を作成し、それぞれに「途中の計算過程」を書き加えた。そして、PaLMに同じ問題を解かせた。

GSM8K精度
標準プロンプト: 17.9%
Chain-of-Thought: 58.1%

+40.2ポイント。約3倍の性能向上。

この瞬間、AI開発の「常識」が逆転した。大きいモデルを作るために数千億円を投じるのではなく、「プロンプトを変えるだけで勝てる」——そんな時代の始まりだった。

本記事では、2022年にGoogleが発表したChain-of-Thought（CoT）プロンプティングの論文を解説します。なぜ「段階的に考えさせる」だけでAIの性能が3倍に向上するのか、その秘密に迫ります。

この記事でわかること

1. CoTの基本原理: 「ステップバイステップで考えさせる」だけでLLMの推論能力が飛躍的に向上する仕組み
2. 実験結果: GSM8Kで17.9%→58.1%（+40%以上）の精度向上を達成した具体的なデータ
3. 2026年の進化: o3/o4-mini・DeepSeek-R1など推論モデルへのCoT内蔵化と忠実性論争
4. 実践方法: 今日から使えるCoTプロンプトの書き方とReActとの関係

基本情報

Chain-of-Thoughtの仕組みを図解で理解

CoTの核心は非常にシンプルです。「答えを出す前に、考える過程を出力させる」というだけです。しかし、このシンプルなアイデアがLLMの推論能力を大きく引き出しました。

Chain-of-Thoughtの概念図

従来のプロンプト（Standard Prompting）

Q: カフェでコーヒーを3杯とケーキを2個買いました。
   コーヒーは1杯400円、ケーキは1個500円です。合計はいくらですか？

A: 2200円

LLMはいきなり答えを出そうとします。単純な問題なら正解できますが、複雑になると間違いやすくなります。

Chain-of-Thoughtプロンプト

Q: カフェでコーヒーを3杯とケーキを2個買いました。
   コーヒーは1杯400円、ケーキは1個500円です。合計はいくらですか？

A: まず、コーヒーの合計を計算します。
   コーヒー3杯 × 400円 = 1200円

   次に、ケーキの合計を計算します。
   ケーキ2個 × 500円 = 1000円

   最後に、全体の合計を計算します。
   1200円 + 1000円 = 2200円

   答え: 2200円

途中の計算過程を明示的に出力させることで、LLMは各ステップを正確に実行できるようになります。

Standard PromptingとChain-of-Thoughtの比較

2つのCoTアプローチ

1. Few-shot CoT（元論文のアプローチ）

Few-shot CoTは、推論過程を含む例を数個提示してからタスクを与える方法です。

[例1]
Q: ロジャーはテニスボールを5個持っています。
   テニスボールが3缶入ったパックを2つ買いました。
   各缶には3個のボールが入っています。彼は今何個のボールを持っていますか？

A: ロジャーは最初に5個のボールを持っていました。
   各缶には3個のボールが入っていて、2缶買ったので、
   3 × 2 = 6個のボールを追加で手に入れました。
   5 + 6 = 11個
   答え: 11個

[例2]
Q: （別の例題と推論過程）

[本題]
Q: あなたが解きたい問題...

2. Zero-shot CoT（後続研究）

「Let's think step by step」と一言添えるだけで、Few-shotの例なしでもCoTが発動する発見です（Kojima et al., 2022）。

Q: カフェでコーヒーを3杯とケーキを2個買いました。
   コーヒーは1杯400円、ケーキは1個500円です。合計はいくらですか？

Let's think step by step.

これだけでLLMは自動的に段階的な推論を始めます。

Few-shot vs Zero-shot

実験結果：どれくらい性能が上がるのか

論文では、複数の算術・推論ベンチマークで検証が行われました。

GSM8K（小学校レベルの算数文章題）

MultiArith（複数ステップの算術問題）

SVAMP（代数文章題）

モデルサイズの影響——「魔法の閾値」100B

興味深いことに、CoTの効果はモデルサイズが大きいほど顕著になります。

小さなモデルではCoTの効果は限定的です。しかし、100B以上のモデルで劇的な効果が現れます。これは創発的能力（Emergent Ability）と呼ばれる現象の一例です。

PaLM 540B vs GPT-3 175B——パラメータ3倍の真価

CoT論文が発表された2022年当時、OpenAIのGPT-3（175B）が最強のLLMとして君臨していました。しかし、Googleが2022年4月に発表したPaLM（540B）は、パラメータ数で3倍の規模を誇ります。

しかし、標準プロンプトでは差がつかなかった。

つまり、「大きいモデル」だけでは性能は上がらなかった。

しかし、CoTを組み合わせることで、PaLMは初めてその真価を発揮した。この事実は、AI開発の方向性に大きな問いを投げかけた。

「パラメータ数を3倍にするために数千億円を投じるより、プロンプトを工夫する方が効率的なのでは？」

この問いが、後の「プロンプトエンジニアリング」ブームの引き金となった。

モデルサイズとCoT効果の関係

なぜChain-of-Thoughtは効果があるのか

1. 作業メモリの外部化

人間が複雑な計算をするとき、紙に途中式を書きます。CoTはこれと同じ原理です。

• 従来: 全ての計算を「頭の中」（モデル内部）で処理 → 情報が失われる
• CoT: 途中結果を「紙」（出力テキスト）に書き出す → 情報が保持される

LLMは生成したテキストを次のトークン予測に使えます。そのため、途中結果を「外部メモリ」として活用できます。

2. 問題の分解

複雑な問題を小さなステップに分解すると、各ステップは単純な処理になります。

Chain-of-Thought推論プロセス

複雑な問題: 「3杯 × 400円 + 2個 × 500円」

↓ 分解

ステップ1: 「3 × 400 = ?」 → 1200
ステップ2: 「2 × 500 = ?」 → 1000
ステップ3: 「1200 + 1000 = ?」 → 2200

3. エラー検出と修正

途中経過が可視化されることで、モデル自身がエラーを発見・修正しやすくなります。

ステップ1: 3 × 400 = 1200 OK
ステップ2: 2 × 500 = 100 ...あれ、計算が間違っている
          2 × 500 = 1000 OK

4. 学習データとの整合性

LLMの学習データには、教科書や解説サイトなど「段階的な説明」が多く含まれています。CoTプロンプトは、そうした学習データのパターンを引き出していると考えられます。

ReActとの関係

CoTは「推論」に特化したテクニックです。これを行動（Action）と組み合わせたのがReActです。

CoT vs ReAct

ReActにおけるCoTの役割

ReActの「Thought」部分は、まさにCoTの推論プロセスです。

[Thought] ユーザーは東京の明日の天気を知りたがっている。
         天気APIを使って情報を取得する必要がある。

[Action] weather_api(location="Tokyo", date="tomorrow")

[Observation] 明日の東京: 晴れ、最高気温15度、最低気温8度

CoTが「考える力」を与え、ReActがそれを「行動する力」と結合したと言えます。

実践：CoTを今すぐ使う方法

シンプルな実装例

やっていること: OpenAI APIに「ステップバイステップで考えて」という指示を追加するだけ

import openai

def cot_prompt(question):
    prompt = f'''
質問: {question}

この問題をステップバイステップで考えてください。
各ステップで何を計算しているか説明し、最後に答えを出してください。
'''

    response = openai.chat.completions.create(
        model="gpt-4o",
        messages=[{"role": "user", "content": prompt}],
        temperature=0
    )

    return response.choices[0].message.content

# 使用例
question = "ある店で、りんご5個とみかん8個を買いました。りんごは1個120円、みかんは1個80円です。1000円札で払うとお釣りはいくらですか？"
answer = cot_prompt(question)
print(answer)

出力例

ステップ1: りんごの合計金額を計算します。
りんご5個 × 120円 = 600円

ステップ2: みかんの合計金額を計算します。
みかん8個 × 80円 = 640円

ステップ3: 購入金額の合計を計算します。
600円 + 640円 = 1240円

ステップ4: お釣りを計算します。
1000円では足りないため、お釣りは出ません。
むしろ240円不足しています。

答え: 1000円札では240円不足するため、お釣りは出ません。

CoTを使うことで、「1000円では足りない」という重要な気づきも得られています。

NeurIPS 2022での反響——「最優秀賞」は取れなかった

CoT論文は2022年1月にarXivで公開され、同年12月のNeurIPS 2022で発表された。

学会の評価

NeurIPS 2022では、13本のOutstanding Paper（最優秀論文賞）が選出された。しかし、CoT論文は含まれなかった。

なぜか？当時の学会には、以下のような懐疑的な見方があったと考えられる。

1. 忠実性（Faithfulness）の問題

CoTの推論過程が、実際のモデルの内部計算を反映していない可能性が指摘された。

• LLMがCoTで誤った推論を示しても、最終的には正しい答えを出すケースが多数
• CoTは「本当の思考過程」ではなく、「それらしい説明」を生成している可能性
• 後に「Chain-of-Thought Is Not Explainability」という論文も発表される（2025年）

2. モデルサイズ依存

100億パラメータ以下のモデルでは逆効果になることが明らかだった。

• 小さなモデルでは「それらしい推論」を生成するが、実際には間違っており、標準プロンプトより性能が悪化
• 当時、多くの企業・研究機関は100B未満のモデルを使用していたため、実用性に疑問

3. 分布シフトへの脆弱性

訓練データと異なるタスクでは急激に性能が低下することが懸念された。

• 「表面的なパターン複製」に過ぎないという指摘
• 後続研究「Chain of Thoughtlessness」（2025年）では、4ブロックの積み上げ例を学習しても、20ブロック問題ではほぼ失敗することが示される

しかし、業界への影響は絶大だった

学会の評価とは裏腹に、CoT論文はAI業界に革命を起こした。

引用数の爆発的増加:

• 2026年3月時点で14,000件超の引用（Semantic Scholar）
• Google Scholar、Semantic Scholarで「Highly Influential Citations」として認定
• NLP/AI分野で2022年以降に発表された論文の中で最も引用された論文の一つ

後続研究の連鎖:

• 2022年3月: "Self-Consistency Improves Chain of Thought Reasoning"（GSM8Kで74%達成）
• 2022年3月: "STaR: Self-Taught Reasoner Bootstrapping Reasoning With Reasoning"
• 2022年5月: "Large Language Models are Zero-Shot Reasoners"（Kojima et al.）
• GitHubリポジトリ「Chain-of-ThoughtsPapers」が作成され、関連研究のトレンドが形成

2026年現在の評価:

• 最新の推論モデル（OpenAI o3/o4-mini、DeepSeek-R1など）は、CoTを「プロンプト」ではなく「強化学習による訓練」で実装
• Wharton Generative AI Labsのレポート（2025年）では「The Decreasing Value of Chain of Thought in Prompting」と指摘されるも、CoTの概念自体は推論AIの基盤として定着

2026年のCoT：プロンプトから推論スケーリングへ

CoTの概念は2022年の論文発表から4年で大きく進化した。「プロンプト技法」として始まったCoTは、いまや推論モデルのアーキテクチャそのものに組み込まれている。

推論モデルの台頭——CoTの「内蔵化」

特筆すべきはDeepSeek-R1のアプローチだ。671Bパラメータ（推論時37Bアクティベート）のMoEモデルに、人間のラベルなしで強化学習を適用。モデルが自発的にCoT的推論パターン（自己検証・反省・戦略切り替え）を獲得した。これはCoTが「教える」ものではなく、十分な学習環境があれば「自然発生する」能力であることを示唆している。

推論時間スケーリング（Inference-Time Scaling）

従来のスケーリングは「訓練時の計算量を増やす」ことだった。o3やDeepSeek-R1は、推論時に「考える時間」を増やすことで性能を向上させる。

従来のスケーリング: より大きいモデルを訓練 → 性能向上
推論時間スケーリング: 同じモデルで「より長く考える」 → 性能向上

OpenAIは「o3に長く考えさせると、性能が上がり続ける」と報告。これはCoTの原理——途中過程を明示的に生成させることで推論能力が向上する——を極限まで押し進めた結果である。

忠実性論争——CoTの「思考」は本物か？

2025〜2026年、CoTの忠実性（Faithfulness）に関する研究が活発化した。

批判的な研究:

• 「Chain-of-Thought Is Not Explainability」（Oxford, 2025年）: CoTの推論過程は手続き的健全性・因果的関連性・完全性のいずれも保証されないと指摘
• 「Chain-of-Thought Reasoning In The Wild Is Not Always Faithful」（2026年3月）: 本番環境でGPT-4o-miniは13%、Haiku 3.5は7%の確率で「事後合理化（post-hoc rationalization）」を行っていると報告
• OpenAI安全性研究（2026年3月）: 全フロンティアモデルのCoT制御可能性スコアは0.1%〜15.4%に留まり、推論時間が長いほど自己検閲が困難になると報告

反論する研究:

• 「Is Chain-of-Thought Really Not Explainability?」（2025年12月）: 不忠実性の主張は「不完全性」との混同であり、推論トークン予算を増やすとヒント言語化率が90%に達するケースもあると反論

この論争は現在進行中だが、一つの合意が形成されつつある：CoTは「モデルの本当の思考過程」ではなく、「推論性能を向上させるための計算パターン」として捉えるべきだということだ。

CoTの進化：プロンプトから推論モデルへ

【驚きの事実】研究者Jason Weiのその後

CoT論文の主著者Jason Weiのキャリアは、AI研究の激動を象徴している。

5年で3大企業を経験——AI業界の最前線を駆け抜けた軌跡

2020年: Dartmouth College卒業

• コンピュータサイエンス専攻、卒業論文は「Label Noise Reduction Without Assumptions」
• Stanford大学院への進学を選ばず、Google AI Residentに応募
• 当時、AI研究者の王道は「有名大学院→博士号取得→企業研究所」だったが、Weiは異なる道を選んだ

2020-2023年: Google Brain研究員

• AI Residentとして採用され、わずか2年でCoT論文を発表
• 同僚のHyung Won Chungと共に、PaLMモデルの推論能力を研究
• Chungは、JAXベースの大規模訓練システム（T5X）の構築者で、PaLMモデルの訓練、Instruction Fine-tuning（Flan-PaLM、Flan-T5）を主導
• CoT以外にも、「Instruction Tuning」「Emergent Abilities（創発的能力）」の研究で注目を集める

2023-2025年: OpenAI研究員

• ChungとともにGoogle BrainからOpenAIに移籍
• o1モデルの共同開発者として名を連ねる。さらにo3やDeep Researchの開発にも貢献
• 2024年9月、Xでこう述べている:

“

"Don't do chain of thought purely via prompting, train models to do better chain of thought using RL." （プロンプトだけでCoTをやるな。強化学習でモデルに「より良いCoT」を訓練しろ）

CoTを「プロンプトの技」から「モデルの内蔵能力」へ進化させる——それがo1で実現された。自ら発見した技術を、自ら次のステージへ昇華させたのだ。

2025年-現在: Meta Superintelligence Labs研究員

• 2025年7月、Chungとともに再びOpenAIから移籍
• Meta Superintelligence Labsで次世代推論AIの研究に従事
• 10年以上のパートナーとして、Google→OpenAI→Metaを共に渡り歩く
• AI業界の「3大企業」を全て経験した希有な研究者

スケール戦争からプロンプト戦争へ——常識の逆転

CoT論文が発表された2022年は、AI業界が「スケール戦争」の頂点にあった時期だ。

PaLMは、780億トークンで訓練され、6,144個のTPUチップを使用した当時最大規模のモデルだった。計算資源だけで数十億円規模の投資である。

しかし、Weiの発見は衝撃的だった。

「たった8個の例題を追加するだけで、540Bパラメータモデルの性能が3倍になる」

つまり、数千億円の計算資源を追加投入するより、プロンプトを工夫する方が効率的だったのだ。

この発見は、AI開発の方向性を大きく変えた。「大きいモデルを作る」から「既存のモデルを賢く使う」へ——プロンプトエンジニアリングの時代の幕開けである。

リベラルアーツ教育の影響——「理系×文系」の融合

Weiは名門Dartmouth College出身。リベラルアーツ教育を重視し、コンピュータサイエンス専攻でありながら、中東史など専攻外の授業も多数受講したという。

また、学部時代には医療画像解析の研究にも携わっており、「AIをどう人間に理解させるか」という問題意識を早くから持っていた。

「AIに考え方を教える」という発想は、こうした「理系×文系」の融合から生まれた可能性がある。技術だけでなく、「人間がどう学ぶか」という教育学的な視点がCoTのアイデアにつながったのかもしれない。

FAQ

Q1. CoTは全てのタスクで効果がある？

いいえ。CoTが効果的なのは主に以下のタスクです。

• 複数ステップの算術問題
• 論理的推論が必要なタスク
• 常識推論
• 記号操作

単純な事実の検索や創作タスクでは効果が限定的です。

Q2. 日本語でもCoTは効果がある？

はい、効果があります。「ステップバイステップで考えてください」「順番に説明してください」などのフレーズで同様の効果が得られます。

Q3. CoTを使うとコストは増える？

はい。出力トークン数が増えるため、APIコストは増加します。ただし、精度向上による再試行の減少を考えると、総合的には効率的な場合が多いです。

Q4. どのモデルで使うべき？

非推論モデル（GPT-4o、Claude 3.5 Sonnetなど）では、CoTプロンプトは依然として有効です。一方、推論モデル（o3、o4-mini、DeepSeek-R1など）ではCoTが内蔵されているため、追加のCoTプロンプトは不要です。小さなモデル（100B未満）では効果が限定的です。

Q5. CoTと他のプロンプト技法は併用できる？

はい、併用できます。Few-shot例の提示、ロールプレイ（「あなたは数学の専門家です」）、出力フォーマット指定などと組み合わせることで、さらに精度を高められます。

Q6. 2026年現在でもCoTプロンプトは有効？

モデルの種類による。 Wharton Generative AI Labsのレポート（2025年）では、推論モデルでのCoTプロンプトの価値低下が指摘されている。

理由:

• o3/o4-mini、DeepSeek-R1のような推論モデルは、強化学習でCoTを内部的に訓練済み
• プロンプトで追加のCoTを指示しても、応答時間が35〜600%増加する一方、精度向上は最小限
• 推論モデルは自律的にツール活用・Web検索・画像推論まで行うため、プロンプト設計の重要性自体が低下

2026年3月時点の推奨:

つまり、CoTの概念は「プロンプト技法」から「モデルの内蔵能力」へ進化しており、使い方が根本的に変わっている。

まとめ

Chain-of-Thought（CoT）は、LLMに「考えるプロセスを出力させる」というシンプルなアイデアで、推論能力を飛躍的に向上させた画期的な手法です。

主要ポイント

1. 精度向上: GSM8Kで17.9%→58.1%（+40%以上）の改善を達成
2. シンプルな実装: 「ステップバイステップで考えて」と指示するだけ
3. モデルサイズ依存: 100B以上のモデルで効果が顕著に現れる
4. 2026年の進化: o3/DeepSeek-R1でCoTが「内蔵能力」へ。引用14,000件超

人に話したくなるポイント

• 「Let's think step by step」の一言だけで性能3倍 — たった8個の例題追加で、数千億円の計算資源を上回る性能向上
• 論文引用14,000件超（2026年3月） — NLP/AI分野で2022年以降に発表された最も影響力のある論文の一つ
• 主著者のJason Weiは5年でGoogle→OpenAI→Metaを経験 — o1・o3・Deep Researchの開発に貢献し、同僚のChungと共に渡り歩く
• DeepSeek-R1が「CoTは教えるものではなく、自然発生する」ことを実証 — 人間のラベルなし、純粋な強化学習だけでCoT的推論パターンが出現
• CoTの「考える過程」は本当の思考ではないかもしれない — 2025〜2026年の忠実性論争でGPT-4o-miniが13%の確率で「事後合理化」と判明
• 推論モデルではCoTプロンプトが逆効果に — Whartonの研究で応答時間35〜600%増加、精度向上は最小限と報告
• Weiは自ら発見したCoTを、o3で「推論時間スケーリング」へ進化 — プロンプトから強化学習へ、次のパラダイムを自ら切り開く
• Stanford大学院を蹴ってGoogle AI Residentに — 王道の博士課程ではなく、実践の場を選んだ26歳の決断

次のステップ

• 今すぐ試す: ChatGPTやClaudeで「Let's think step by step」を追加する
• ReAct論文を読む: CoTを行動と組み合わせたエージェント技術を理解する
• 自社タスクで検証: 複雑な推論が必要な業務でCoTの効果を測定する

関連記事

参考リソース

• arXiv論文: Chain-of-Thought Prompting
• Google AI Blog
• Zero-shot CoT論文
• OpenAI Cookbook: CoT
• DeepSeek-R1論文
• OpenAI o3/o4-mini発表
• Wharton: The Decreasing Value of CoT in Prompting
• Chain-of-Thought Is Not Explainability（Oxford）
• OpenAI: Evaluating CoT Monitorability

本記事はネクサフローのAI研究シリーズの一部です。