複数未来状態の同時最適化に向けた中間ゴールによる勾配場再形成：
凍結世界モデルにおける長地平計画の実現

1. 背景と課題

凍結世界モデル上の計画は、学習済み表現・遷移モデル F を固定したまま行動系列のみを最適化する。GRASP [1] は全時刻の仮想状態 s̄_1:T と行動 a_0:T−1 を並列に勾配緩和する選点型（collocation型）の解法で、CEM を長地平で上回る。しかしそのエネルギー（同論文 Eq.10）は

と、最終ゴール g を全時刻に引く密なゴール項（dense goal項）を持つ。状態側入力に stop-gradient（勾配切断）が入るため、このゴール項の勾配は全時刻の行動のみに流れる——すなわち各行動は常に「ゴールへ向かえ」という場の中で更新される。迂回を要するタスクでは、この場は実行可能な改善方向と衝突するはずである。GRASP はこの貪欲性を認識しつつ（同論文 Fig.1）、処方は Langevin ノイズと周期同期による脱出であり、(i) ゴール項を終端のみに置く・時間重みを変える等の 要素検証は存在せず、(ii) γ の値・感度も非開示である。実測でも成功率は H=40→80 で 59.0%→10.4% と崩壊し、ノイズ除去の影響は軽微（59.0→54.8）だが同期除去で 1.6% まで崩れる——律速はノイズ脱出ではなく場の構造にあることを示唆する。

2. 着想と中心仮説

着想の出発点は、初期状態から世界モデルを一歩ずつ逐次 rollout する標準的な計画では、地平の伸長とともにモデル誤差と探索分岐が累積し、長期計画に限界が生じること、そして人間の計画も単一の未来を一手ずつ内的に再生するだけではない、という直感である。STA 理論 [6] は、関連する前頭前野の系列表現を手掛かりに、異なる未来時点の状態を担う部分空間が同時に活動し、隣接時点間の結合が環境の遷移構造を表し、目標・報酬入力によって全時点の表現が整合した軌道へ緩和するという機構を提示した。

そこで、世界モデルでも未来の各時点を同時に保持し、ダイナミクス制約の下で目標から軌道全体を推論できないかと考えた。この発想に最も近い工学的枠組みが、全時刻の仮想状態を並列に緩和する GRASP であった。しかし GRASP を検討すると、最終ゴールを全時刻の行動へ直接引く dense goal 項が、迂回区間でも常にゴール方向を要求し、長地平でかえって軌道形成を妨げる可能性がある。以上から本研究は、固定した緩和機構の上で goal 信号の時間配線 τ(t) を変えれば、長地平の失敗を改善できるという仮説を立てる。STA は着想上の対応であり、神経機構の再現は主張しない。中間目標を再帰的に用いる階層化（深さ2）も展望（S3）に留める。

時間依存の ターゲット場（target field） τ(t) を導入して式(1)を一般化する：

τ(t) ≡ g が GRASP 原型（フラット）、τ(t) = m (t < t_m), g (t ≥ t_m) が 2区間ターゲット場である。

中心仮説：有効な m による場の再形成は、迂回区間を準単調な短地平問題へ変え、同一ソルバー・同一計算量でオープンループ・シミュレータの成功率を上げる。フラット設定のゴール項勾配と実行可能方向の衝突は、この効果を説明する機構予測として補足的に検証する。

補足的な機構診断として、決定論的シミュレータで実行した行動列 a の終端ゴール距離を J_env(a)=d(s_T(a),g) とする。時刻 t に方向 u_j の小摂動を加えた分岐リプレイから、実行可能改善方向を次式で推定する：

ここで e_tu_j は時刻 t の行動だけに u_j を加える演算であり、δa_t^* は終端距離を局所的に減らす方向である。

これとターゲット場の更新方向との整合性を

で測る。分岐リプレイを多数要するため C_t は配置アルゴリズムには用いず、事前に定めた少数エピソードの迂回区間でのみ事後計測する。成功率を中心仮説の主判定とし、C_t の上昇は「場の再形成が勾配衝突を減らした」という機構解釈を補強する副次判定とする。

3. 提案手法：場の再形成と、アトラクターをどこから得るか

研究は独立した二つの問いに分解される。なお本計画では中間ゴールを1個（2区間）に固定する。これは機構識別のための意図的な単純化であり、本来サブゴールの個数と時刻はタスクの構造（迂回の数）に応じて選ばれるべき量である——個数の拡張は S3（4区間）と §7 の展望で扱う。

中間状態には到達可能性と経路上性が必要である。それを知り得る情報源として、潜在幾何（geo）／凍結ダイナミクス自身（dyn）／エピソード記憶（mem）／データから蒸留した時間計量（met）の4つを比較する。

各条件の配置則は次のとおり（境界時刻は t_m = T/2 に固定し、m の与え方だけを変える。総F-call数は全条件で一致させる）。

P0 geo：m_geo = (z₀ + g)/2。潜在空間の線分中点で、GRASPの線形補間初期化が暗黙に置く「中間」。参照する知識は潜在幾何だけであり、生の潜在距離は計画に対して誤誘導的だというTRM [2] の発見の配置版検証として「効かない」と予測する負の対照。

P1 dyn：フラット緩和を k₀ 反復だけ実行し、その時点でモデル自身が形成した中間信念 s̄_{t_m} を読み出して新しいターゲット m に据え、残り計算量で2区間解を解き直す（図4）。学習部品もデモも不要で、「凍結 F の知識だけで配置に足りるか」を問う。主設定 P1-f は t* = T/2 とし勾配診断を要しない。追加設定 P1-a は、k₀ 終端で2種の行動勾配の衝突

を一度だけ算出し（追加 backward 1回）、その最小点——ゴール項と力学項が最も食い違う時刻、すなわち迂回の頂点——へ境界時刻 t* を自己選択する。式(4)の C_t がシミュレータ分岐リプレイを要する診断専用量であるのに対し、ĉ_t はソルバー内部量のみで計算でき手法側に使える。

P2 mem：成功デモの集合（経験バンク）から (z₀, g) の類似度で上位 K 本を検索し、各デモの時刻比 t_m/T にあたる実在状態を候補 m^(1..K) とする。各候補で2区間解を解き（候補あたり計算量を 1/K に配分して総量を一致）、最終エネルギー E_TF が最小の解を採用する。実在状態ゆえ到達可能性が構造的に担保され、複数の迂回方向（多峰性）も候補集合として扱える。

P3 met（条件付き）：バンクから時間計量ヘッド m_φ(z_i, z_j) ≈ |t_i − t_j|（2状態間の所要ステップ数の回帰、TRM [2] 準拠）を学習し、バンク内の実在状態 z_b を

このスコアは「z₀ から t_m ステップで到達でき、そこから g へ残り T−t_m ステップで到達できる」ことの学習時計による近似であり、上位 K を候補とする。P2 が類似デモの実在に依存するのに対し、計量が記憶を超えて一般化するかを、類似デモを除いた縮退バンクで検査する。ヘッドの勾配で自由な潜在変数を降下させることはしない（ヘッドを欺く多様体外解を避けるため）。

上限参照（ceiling）：評価元エピソードの実中間状態 z_{t_m}（特権情報）。主要実験条件には含めず、配置手法に残る改善余地の物差しとする。

4. 実験計画

主環境は PushT（LeWM 系スタックに統一。GRASP へは公式アダプターを用い、ターゲット場改造はソルバーの3注入点への20–40行）。評価は二層プロトコルを別々の推定対象として扱う：識別層はGRASPと同一のオープンループ単発計画（機構の識別に交絡が少ない）、展開層はクローズドループのゴールオフセット（実用価値の確認）。ゴールオフセット距離 d∈{50, 75}、計画器シード 5、エピソード内ペア化、同等性主張は TOST（許容差 ±0.05 事前登録）、多重比較は Holm。条件間は診断用 backward を含む F-call 数を一致させ、実測GPU時間を全条件報告する。

主要判定（事前登録）

H-main（再形成）：d=75で 2区間（Global）+Langevin 対 フラット+Langevin の成功率差の片側95%下限>0。
H-split：Global ≥ 区間独立分割（効果が場の再形成であり問題分割でないこと）。
H-fill：同一サブゴールのCEM充填を上回ること。
H-place：P1・P2の少なくとも一方がP0を上回り、上限参照（実現済みデモ中点）との残差が小さいこと。
H-mech（補足）：診断サブセットの迂回区間で C_t が上昇すること。H-mainの必須条件とはせず、機構解釈の強度を決める。
補助パネル：地平スケーリング（d∈{25, 40, 50, 60, 75} の5点。事前登録予測は「差は最短の d=25 で同等、d とともに単調増加」で、傾向検定にかける。短地平で差が出ないことは機構物語の反証統制を兼ねる）、フラット公平性（ベースライン側に同等以上のチューニング予算、γ 感度掃引全報告）。

5. 実装・資源・スケジュール

実装基盤：LeWM チェックポイントのロード・エンコード経路・決定論的リプレイ（接触中も厳密、採用環境で bit 一致再検証済み）・マニフェスト／Wisteria バッチ運用から end-to-end 配管まで検証済み。ソルバー改造は単一ファイルの3注入点に限定し、部分注入を禁止。全ハイパーパラメータはキャリブレーションデータ分割で校正後ロックし、計画書・設定ファイル・解析スクリプトを SHA 固定して事前登録する。

計算資源と週次計画：合計約190–280ノード時間（上限300以内；Week 1 実測で再見積もり）。週次：W1-2 = S0診断＋理論、W3-4 = S1識別＋地平パネル、W5-6 = S2配置源＋展開層、W7 = S3 拡張＋報告書。

6. 期待される貢献

7. 限界と今後の展望

本計画は機構識別を優先して三つの単純化を置いており、それぞれが展望に対応する。①中間ゴールの個数：本計画は1個（2区間）に固定するが、本来は迂回の数に応じて動的に決まるべき量である。衝突プロファイル ĉ_t の多峰性はその原理的な個数選択器の候補であり——峰が2つならば境界も2つ——S3 の4区間はその最初の一歩、将来は「峰の数だけ境界を置く」動的分割へ拡張する。②境界の与え方：本計画の境界は τ を通じた目標配線のみで状態を拘束しない。状態拘束型の境界（s_{t_m} の固定・anchor化）との機構分離、さらには緩和機構そのもの（前向き結合＋周期同期）の双方向化は、軌道最適化の古典と接続する将来課題である。③配置知識の範囲：本計画の配置源はすべて学習不要（training-free）に限る。これらが実行可能性の誤順位で失敗する場合に限り学習配置（feasibility factor）の導入価値が生じ、この復活条件は打ち切り基準に事前登録してある。最後に、階層化の主張は深さ2の実測まで行わないが、STA の階層構造——上位が推論した境界状態を下位への reward 入力として渡す [6]——との対応は、τ(t) 経由の境界注入を多層に積む自然な拡張を示唆しており、本計画の2区間はその最小単位の検証に位置づけられる。

参考文献