깊이가 합성에서 살아남는 시점은 언제인가? 잠재 월드 모델의 연산-품질 체제
Adaptive Compute in Latent World Models: When Depth Helps, Hurts, or Doesn't Matter
적응적 연산 월드 모델 -- 단계별로 가변적인 깊이를 소비하는 early-exit 또는 mixture-of-depths 예측기 -- 은 깊이가 더 나은 예측을 제공하며 적응적으로 라우팅될 수 있다고 가정한다. 자기회귀적 롤아웃에서 첫 번째 가정은 깊이의 단계별 정밀도가 합성에서 살아남을 것을 요구한다. 우리는 사전 등록된 지표인 얕은 패널티 $ρ=\mathrm{err}(\text{shallowest-exit rollout})/\mathrm{err}(\text{full-depth rollout})$를 이용하여, 단일 단계($K=1$) 및 다중 단계($K=4$) 학습 조건을 맞추어 아홉 가지 DeepMind Control 태스크에 대해 각 세 개의 시드로 이를 검증한다. 우리는 세 가지 체제를 발견한다: 6/9 태스크에서 깊이가 롤아웃에 도움이 되고(내재적, $ρ$ 최대 $4.7\times$), 2/9에서는 얕은 출구가 전체 스택을 능가하며(역전, $ρ$ 최소 $0.85\times$), 하나는 평탄하다. 강건한 역전(cheetah)은 역학의 속성이 아니라 학습에 의해 생성된다: 첫 번째 롤아웃 단계에서만 early exit를 감독하는 ablation이 이를 제거하며($ρ: 0.87\to1.18$, $n=8$, $Δ=+0.31$), 내재적 트레이드오프 태스크는 영향을 받지 않는다 -- 우리가 라우팅 가능성 캐치-22라고 부르는 이중 해리로, 출구를 라우팅 가능하게 만드는 감독이 바로 전체 스택보다 더 잘 롤아웃하도록 학습시키는 것이기 때문이다. 이 체제는 부분적으로 사전에 예측 가능하다: 관측/행동 차원과 단일 단계 모델 오류가 $ρ$와 $|\text{Spearman}|\approx0.75$ ($n=9$)의 상관관계를 보인다. CEM 플래너 내에서 $ρ$의 부호는 계획이 깊이로부터 혜택을 받는지를 예측하며, 역전 태스크에서 가장 뚜렷하게 나타나고, 이 경우 얕은 계획이 깊은 계획을 능가한다. 마지막으로, 세 가지 주의사항: 태스크의 체제는 메트릭 공간, 롤아웃 지평선, 인코더에 따라 달라진다. 모든 임계값과 게이트는 연산 실험 전에 고정되었으며, 연구를 촉발한 가설에 대한 사전 등록된 부정적 결과를 포함한다.