arXiv:2611.18761v1 cs.CV

프레임을 먼저 정하고 한 번에 디코딩하기: System-1 세계 모델을 위한 객체 중심 좌표와 단일 패스 디코딩

Frame First, Decode Once: Object-Centric Coordinates and Single-Pass Decoding for System-1 World Models

Abu Anas Ibn Samad

제출 2026-11-17

한국어 초록

LocateAnything과 VFlash와 같은 단일 패스 프리미티브 디코더는 기하학적 프리미티브의 양자화된 좌표 토큰을 모두 한 번의 순전파로 예측하여 빠른 System-1 시각 계획을 가능하게 한다. 본 연구는 이러한 디코더를 System-1 세계 모델, 즉 후보 푸시 동작을 예측된 결과에 따라 순위 매기는 빠른 행동 조건부 예측기로 사용할 때 무엇이 중요한지를 연구한다. ManiSkill3 PushT-v1(512개의 홀드아웃 테스트 패밀리, 8,192회 롤아웃)과 lerobot/pusht의 인간 시연(2,384개의 테스트 윈도)에서, 대응되는 체크포인트, 계층적 부트스트랩 신뢰구간, Holm 보정을 사용하여 디코더, 학습 손실, 강체 투영, 좌표 프레임을 비교한다. 비슷한 크기의 두 요인이 결과를 좌우한다. 첫째, 입력과 출력을 객체 초기 자세의 SE(2) 프레임으로 표현하면 다섯 가지 디코더 모두에서 의사결정 후회(decision regret)가 1.9~2.2배 감소하며, 128개 패밀리로 학습한 객체 프레임 모델은 512개 패밀리로 학습한 월드 프레임 모델과 동등한 성능을 보인다. 둘째, 단일 패스 디코딩이 반복적 디코딩보다 우수하다. 객체 프레임에서 단일 패스 헤드는 결정당 1.6~1.8 ms에서 0.020~0.021의 후회를 달성한 반면, 10단계 DDIM 확산은 10.3 ms에서 0.046, KV 캐시를 사용한 자기회귀는 12.9 ms에서 0.059를 기록했다. 단일 패스 헤드 간의 선택은 후회에 측정 가능한 영향을 주지 않으며, 프레임 효과가 디코더 간 편차를 능가한다는 사전 등록 가설은 지지되지 않는다. 종단 간 2D Kabsch 투영을 결합한 소프트 토큰 기댓값 방식은 가장 낮은 궤적 오차(ManiSkill3에서 11.35 px, lerobot/pusht에서 3.78 px)와 정확한 강체 일관성을 달성하며, 4단계부터 50단계까지 모든 DDIM 단계 예산에서 확산보다 낮은 후회를 3~29배 낮은 지연 시간으로 달성한다.

원문 초록

Single-pass primitive decoders such as LocateAnything and VFlash predict all quantized coordinate tokens of a geometric primitive in one forward pass, enabling fast, System-1 visual planning. We study what matters when such a decoder serves as a System-1 world model: a fast action-conditioned predictor that ranks candidate pushes by their predicted outcome. On ManiSkill3 PushT-v1 (512 held-out test families, 8,192 rollouts) and on human demonstrations from lerobot/pusht (2,384 test windows), we compare decoders, training losses, rigid-body projections and coordinate frames, using matched checkpoints, hierarchical bootstrap confidence intervals and Holm correction. Two factors of similar size dominate. First, expressing inputs and outputs in the SE(2) frame of the object's initial pose lowers decision regret by 1.9-2.2x for each of five decoders, and the object-frame model trained on 128 families matches the world-frame model trained on 512. Second, single-pass decoding outperforms iterative decoding: in the object frame, single-pass heads reach 0.020-0.021 regret at 1.6-1.8 ms per decision, against 0.046 for 10-step DDIM diffusion and 0.059 for KV-cached autoregression at 10.3 and 12.9 ms. The choice among single-pass heads has no measurable effect on regret, and our registered hypothesis that the frame effect exceeds the decoder spread is not supported. Soft-token expectation with an end-to-end 2D Kabsch projection gives the lowest trajectory error (11.35 px on ManiSkill3, 3.78 px on lerobot/pusht), exact rigid-body consistency, and lower regret than diffusion at every budget from 4 to 50 DDIM steps, at 3-29x lower latency.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.18761v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.