「LLMは次のトークンを予測しているだけ」は正しいのか？ — Transformer内部計算とMechanistic Interpretabilityから見る実像

要旨

大規模言語モデル（LLM）は、「次のトークン（単語やサブワード）を予測しているだけ」と説明されることが多い。この説明は学習目標という意味では正しい。しかし、それだけではLLMが実際にどのような情報処理を行っているのかを適切に表現できない。本稿では、Transformerの計算過程と、Anthropicらが2025年前後に成果を出したMechanistic Interpretability（機械論的な解釈可能性）の研究をもとに、「次のトークン予測」という目的と、「内部で行われる推論」の違いを整理する。

1. 「次のトークン予測」は学習目標である

GPT（Generative Pre-trained Transformer）は、大量の文章から「次に現れるトークンは何か」を予測するように学習される。たとえば「富士山は日本で一番高い＿＿」という入力に対し、「山」というトークンの確率を最大化するように学習する。

この意味では、「LLMは次のトークンを予測しているだけ」という説明は正しい。しかし、これは何を学習しているかを表しているのであり、どのように計算しているかを説明しているわけではない。

2. 実際の計算は予測よりはるかに複雑である

Transformerでは、入力された文章はEmbeddingによって高次元ベクトルへ変換される。その後、Attention、Residual Stream、MLP（Feed Forward Network）を何十層も繰り返しながら、文章全体の意味を更新していく。最終段階になって初めて「次に最も確率が高いトークン」が計算される。

つまり、

入力文章
　↓
意味表現（Embedding）
　↓
情報の収集（Attention）
　↓
概念の更新（MLP）
　↓
繰り返し推論
　↓
次トークンの確率
　↓
出力

という流れであり、「予測」は最後の出力に過ぎない。

3. 最新研究が示していること

2025年以降、Mechanistic Interpretabilityの研究は急速に進展している。AnthropicはCircuit Tracingと呼ばれる解析技術を開発し、LLM内部で情報がどのような経路（Circuit）を通って最終的な出力に至るのかを可視化することに成功した。

その結果、次の 3 点が報告されている。

モデルは言語を超えた概念表現（Language-independent concepts）を形成している可能性がある。
詩を生成する際には、韻を踏む単語を数語先まで計画してから文章を書き始める場合がある。
推論の途中には、人間が理解可能な「概念」や「回路」が存在する。

これらは、「LLMは一語ずつしか考えていない」という単純な理解では説明できない現象である。

4. 「予測しているだけ」という表現の限界

「LLMは次のトークンを予測しているだけ」という説明は、将棋棋士に対して「将棋とは次の一手を決めるゲーム」と言うことに似ている。確かに出力されるのは「次の一手」だけである。しかし実際には、局面評価、数十手先の探索、相手の戦略予測など膨大な計算が行われている。LLMも同様であり、最終的な出力は一つのトークンであっても、その背後では多段階の情報処理が実行されている。

結論

「LLMは次のトークンを予測しているだけ」という説明は、学習目標としては正しい。しかし、それだけではTransformer内部で行われる情報統合、概念形成、計画、推論を説明することはできない。

近年の解釈可能性研究は、LLM内部には人間が理解可能な特徴（Features）や計算回路（Circuits）が存在することを示し始めている。したがって現在では、

「LLMは次のトークンを出力するモデルである」

よりも、

「次のトークンを出力するために、多段階の概念表現と情報処理を内部で構築するモデルである」

と説明する方が、実態に近いと言える。

参考文献

Vaswani, A., et al. (2017). Attention Is All You Need. NeurIPS.
Brown, T., et al. (2020). Language Models are Few-Shot Learners. NeurIPS.
Anthropic (2025). Tracing the Thoughts of a Large Language Model.
Anthropic (2025). Open-sourcing Circuit Tracing Tools.
Zhang, L., Hu, L., & Wang, D. (2025). Mechanistic Unveiling of Transformer Circuits: Self-Influence as a Key to Model Reasoning. Findings of NAACL 2025.
Hsu, A., et al. (2025). Efficient Automated Circuit Discovery in Transformers using Contextual Decomposition. ICLR 2025.
Cho, A., et al. (2025). TRANSFORMER EXPLAINER: Interactive Learning of Text-Generative Models. AAAI 2025.