arXiv:2610.26979v2 cs.LG

잠재 계획을 위한 잠재 투영

Latent Projection for Latent Planning

Yoo Sung Jang, Michael Ryoo

제출 2026-11-17

한국어 초록

잠재 세계 모델은 에이전트가 잠재 공간에서 계획을 수립할 수 있게 한다. 플래너는 비용을 최소화하는 행동 시퀀스를 탐색하며, 이 비용은 흔히 예측된 최종 잠재 변수와 목표 잠재 변수 사이의 $\ell_2$ 거리로 정의된다. 그러나 잠재 변수에는 일부 잡음이 포함되어 있다. 세계 모델 학습 중 붕괴를 방지하는 정규화 항이 신호를 담지 않는 방향에서도 분산을 증가시키기 때문이다. 본 논문은 동일한 정규화 항이 잠재 공간의 잡음을 제거하는 데 필요한 구조도 제공함을 보인다. SIGReg는 매 단계에서 잠재 변수의 주변분포를 표준 가우시안으로 유도하며, 잠재 시퀀스가 가우스-마르코프 과정이라고 추가로 가정하면 전이는 선형이고 그 공분산은 사상 자체에 의해 결정되어 $z' \mid z \sim N(Az,\, I - AA^\top)$가 된다. 따라서 상태 동역학 $A$를 적합하면 추가 비용 없이 공분산을 얻을 수 있으며, 그 고유기저에서 각 잠재 방향은 고유한 불확실성을 지닌다. 나아가 $A$를 정규 행렬로 제약하면 시간 단계에 관계없이 기저가 고정되므로, 하나의 고유기저로 임의의 단계 수에 걸친 불확실성을 측정할 수 있고 계획 비용을 계산하기 위한 안정적인 기저로도 쓸 수 있다. 이후 $\ell_2$ 비용을 상태 동역학이 가장 낮은 불확실성으로 전달하는 $k$차원 부분공간으로 제한한다. 이 보정은 사후 방식이다. 인코더, 예측기, 롤아웃, 플래너는 모두 그대로 두고 제약된 행렬 $A$ 하나만 적합한다. 여섯 개 환경에서 평가한 결과 2D 내비게이션 과제인 TwoRoom과 PointMaze에서 큰 성능 향상을 보였으며, 더 어려운 계획 설정에서 일반 $\ell_2$ 비용 대비 성공률을 최대 $+54.7$포인트 높였다. 코드는 https://github.com/yjang43/lp2 에서 공개되어 있다.

원문 초록

Latent world models let an agent plan in latent space. The planner searches for an action sequence that minimizes a cost, and that cost is often the $\ell_2$ distance between the predicted terminal latent and the goal latent. The latent, however, is partly noise: the regularizer that prevents collapse during world model training promotes variance in the directions carrying no signal. We show that the same regularizer also supplies the structure to prune that noise in the latent. SIGReg drives the latent marginal to a standard Gaussian at every step, and assuming further that the latent sequence is a Gauss-Markov process, the transition is linear with its covariance pinned by the map itself, $z' \mid z \sim N(Az,\, I - AA^\top)$. Fitting the state dynamics $A$ therefore yields the covariance at no additional cost, and in its eigenbasis each latent direction carries its own uncertainty. Furthermore, constraining $A$ to be a normal matrix fixes that basis across timesteps, so one eigenbasis measures the uncertainty over an arbitrary number of steps and serves as a stable basis to compute the planning cost on. We then restrict the $\ell_2$ cost to the $k$-dimensional subspace the state dynamics carry forward with the least uncertainty. The correction is post hoc: the encoder, the predictor, the rollout, and the planner are all left untouched, and only a single constrained matrix, $A$, is fit. We evaluate across six environments and show large gains on the 2D navigation tasks, TwoRoom and PointMaze, raising success rate over the plain $\ell_2$ cost by up to $+54.7$ points under a harder planning setting. Code is available at https://github.com/yjang43/lp2.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.26979v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.