AR-WAM: 자율주행을 위한 효율적인 스트리밍 월드-액션 모델링
AR-WAM: efficient streaming world-action modeling for autonomous driving
한국어 초록
자율주행은 교통 상황이 어떻게 전개될지 예측하면서 새로운 관측에 신속히 대응할 것을 요구한다. 비디오 파운데이션 모델은 첫 번째 능력을 제공하지만, 반복적인 이력 인코딩과 반복적인 비디오 생성 때문에 주행에 사용하기에는 비용이 크다. 우리는 자기회귀 시간 모델링과 단일 패스 미래 조건화를 결합한 효율적인 스트리밍 월드-액션 모델 AR-WAM을 제안한다. 비디오 백본이 인과적이므로 AR-WAM은 과거 계산을 재사용하고 관측된 움직임에 기반해 미래 예측을 조건화하면서 시각적 문맥을 점진적으로 갱신한다. 또한 최근 관측으로부터 계산된 미래 특징이 반복적인 비디오 생성 없이도 동적 교통 상황에서의 일반화를 향상시킬 수 있다고 가정한다. 따라서 AR-WAM은 이러한 특징을 한 번의 순전파로 얻어 궤적 생성을 조건화하는 데 사용하며, 이후 강화학습이 주행 보상의 직접 최적화를 통해 정책을 개선한다. 단일 전방 카메라만으로 AR-WAM은 NAVSIM-v1에서 지도 학습 후 91.5 PDMS, 강화학습 후 94.0을 달성하여 비교 대상인 강력한 종단 간 월드-액션 모델들을 능가한다. 연속 주행의 동적 설정에서도 지도 학습된 AR-WAM은 의사결정 간에 시각적 이력을 유지하며 강력한 월드-액션 기준선들을 능가한다.
원문 초록
Autonomous driving requires anticipating how traffic will evolve while responding quickly to new observations. Video foundation models offer the first ability, but repeated history encoding and iterative video generation make them costly to use for driving. We present AR-WAM, an efficient streaming world-action model that combines autoregressive temporal modeling with single-pass future conditioning. Because its video backbone is causal, AR-WAM updates its visual context incrementally, reusing past computation and conditioning future prediction on observed motion. We further hypothesize that future features computed from recent observations can improve generalization in dynamic traffic without iterative video generation. AR-WAM therefore obtains these features in one forward pass and uses them to condition trajectory generation, and reinforcement learning then improves the policy through direct optimization of driving rewards. With a single front camera, AR-WAM achieves 91.5 PDMS after supervised training and 94.0 after reinforcement learning on NAVSIM-v1, outperforming the compared strong end-to-end world-action models. In a dynamic setting of continuous driving, supervised AR-WAM keeps its visual history across decisions and outperforms strong world-action baselines.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.21851v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.