東京大学、自己回帰生成モデルの熱力学を構築し言語モデルを解析

ニュース紹介

「自己回帰生成モデルの熱力学を構築～大規模言語モデルに内在する「世界モデル」の定量的理解に向けて～」

東京大学大学院工学系研究科物理工学専攻の沙川貴大教授は、過去の出力の履歴に基づいて次の出力を生成する「自己回帰生成モデル」（Autoregressive Generative Model）の熱力学理論を構築しました。大規模言語モデル（Large Language Model、LLM）の基盤であるトランスフォーマー（Transformer）から、信号処理に用いられるカルマンフィルターまでを統一的に扱い、生成過程の不可逆性を表す「エントロピー生成」を効率的に推定する方法を示しました。さらに、情報理論的な観点から、エントロピー生成を各時刻に対応するゼロ以上の寄与の和として表せることを示しました。大規模言語モデルを用いた実験では、文章に表れた出来事の順序関係がモデルに反映されていることを示唆する結果が得られました。

本成果は、生成AIの内部に形成されると考えられる現実世界の表現、いわゆる「世界モデル」（World model）の定量的な理解につながることが期待されます。

出典：科学技術振興機構（JST） 2026年11月6日共同発表／掲載誌：PRX Intelligence／DOI：10.1103/tv38-b23y
https://www.jst.go.jp/pr/announce/20261106-3/index.html

FrontJournalの解説

自己回帰生成モデルとエントロピー生成

今回の研究は、生成AIの仕組みを「熱力学」の考え方で解析する理論です。対象の「自己回帰生成モデル」は、これまでの出力の履歴を基に次の出力を逐次的に生成するモデルです。大規模言語モデルの基盤であるトランスフォーマーから、信号処理に使うカルマンフィルター（雑音を含む観測信号から真の状態を逐次推定する手法）までを含みます。

熱力学では、時間の向きを逆にした状況の起こりにくさ（不可逆性）を「エントロピー生成」で表します。こうしたモデルの出力は直前だけでなく過去の履歴にも依存する「非マルコフ過程」で、その熱力学には未解明な点が多く残されていました。

①過去の履歴を列挙せずに不可逆性を推定

「東京大学」の沙川貴大教授は、自己回帰生成モデルに共通する構造に着目しました。その結果、考えられる過去の履歴全てを列挙しなくても、エントロピー生成を効率的に推定できることを示しました。さらに、エントロピー生成を各時刻に対応するゼロ以上の寄与の和として表せることも明らかにしています。

②文の順序を逆にした文章で言語モデルを検証

言語モデルでは単語の順序を全て反転すると文法が崩れるため、文の順序だけを反転する「文単位」のエントロピー生成を導入しました。実験にはオープンモデルの「GPT-2」と「Qwen3-4B-Base」を用いています。その結果、出来事が順に進む文章の方が、独立した事実を並べた文章よりもエントロピー生成が大きくなる傾向が見られました。

本研究は「科学技術振興機構（JST）」の戦略的創造研究推進事業 ERATOの支援を受けています。発表資料によると、評価に用いた文章群は商用の生成AIへの指示で作成されており、今後さらなる検証が望まれています。成果は、生成AIの内部に形成されると考えられる「世界モデル」の定量的な理解につながると期待されています。