SimVTA: 주행 월드 액션 모델을 위한 시뮬레이션 기반 비디오-경로 정렬
SimVTA: Simulation-Grounded Video-Trajectory Alignment for Driving World Action Models
한국어 초록
주행 월드 액션 모델(WAM)은 짝지어진 경로와 미래 관측값으로부터 학습(training)합니다. 강화학습(reinforcement learning)을 통한 사후 학습(post-training)을 활용하면 정책이 대안 경로를 탐색하고 주행 보상(reward)을 사용하여 플래닝을 개선할 수 있습니다. 그러나 주행 로그에는 기록된 경로에 대한 미래 비디오만 포함되어 있어, 이러한 대안 경로에는 상응하는 시각적 감독이 결여됩니다. 이에 따라 본 논문에서는 경로 최적화와 비디오 감독을 결합한 시뮬레이션 기반 사후 학습 프레임워크인 SimVTA를 제안합니다. 먼저, 각 관측값에 대해 후보 경로를 샘플링하고 실제 세계 시뮬레이터(예: World Engine)를 사용하여 3D 가우시안 스플래팅(3DGS)으로 재구성된 실제 환경에서 높은 보상을 얻은 후보의 미래 비디오를 렌더링합니다. 이는 모델(model) 자체의 예측과 독립적인 경로 맞춤형 감독을 제공합니다. 제한된 렌더링 예산 하에서, 렌더링된 후보 중 오차가 더 큰 미래에 대해 비디오 감독의 우선순위를 부여합니다. 마지막으로, GRPO(Group Relative Policy Optimization)를 통해 경로 플래닝을 최적화하고 일치된 비디오에 대한 플로우 매칭(flow-matching) 손실(loss)을 적용하여 공유 표현을 업데이트합니다. 추론(inference) 시점에 모델은 시뮬레이터 호출 없이 직접 경로를 예측합니다. NAVSIM v1에서 WAM 초기화(initialization)에 SimVTA를 적용했을 때 PDMS가 86.2에서 91.3으로 향상되었습니다(+5.1). 또한 NAVSIM v2에서 88.2 EPDMS를 달성하고 HUGSIM의 폐루프(closed-loop) 평가에서 평균 38.8의 HD-Score를 기록했습니다. 절제 연구(ablation study)에 따르면 비디오 감독으로 공유 표현을 업데이트하는 것이 플래닝 성능을 향상시키며, 높은 보상을 받는 경로 중 오차가 큰 미래를 우선시함으로써 성능이 더욱 향상됨을 보여줍니다.
원문 초록
Driving world action models (WAMs) learn from paired trajectories and future observations. Post-training with reinforcement learning allows the policy to explore alternative trajectories and improve planning using driving rewards. However, driving logs contain future videos only for the recorded trajectories, leaving these alternatives without corresponding visual supervision. Thus, we introduce SimVTA, a simulation-grounded post-training framework that combines trajectory optimization with video supervision. First, we sample candidate trajectories for each observation and use a real-world simulator (e.g., World Engine) to render future videos for high-reward candidates in real-world scenes reconstructed with 3D Gaussian Splatting (3DGS). This provides trajectory-matched supervision independent of the model's own predictions. Under a limited rendering budget, we prioritize video supervision for higher-error futures among these rendered candidates. Finally, we optimize trajectory planning with Group Relative Policy Optimization (GRPO) and use a flow-matching loss on the matched videos to update shared representations. At inference time, the model predicts trajectories directly, without simulator calls. On NAVSIM v1, applying SimVTA to a WAM initialization improves PDMS from 86.2 to 91.3 (+5.1). It achieves 88.2 EPDMS on NAVSIM v2 and an average HD-Score of 38.8 in closed-loop evaluation on HUGSIM. Ablations show that updating shared representations with video supervision improves planning, while prioritizing higher-error futures among high-reward trajectories further improves performance.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
고�급 거리 수준 영상을 활용한 시각적 위치 추정의 정확도 잠재력
Accuracy potential of visual localization exploiting high-end street-level imagery
SplatQ: 2차 선택을 통한 3D 가우시안 스플래팅의 상호작용 인지 가지치기
SplatQ: Interaction-Aware Pruning of 3D Gaussian Splatting via Quadratic Selection
기존의 3D 가우시안 스플래팅(3DGS) 가지치기(pruning) 방법들은 주로 독립적인 중요도 점수에 기반한 전역 Top-K 선택에 의존하여, 영역별 예산 제어가 부족하고 공동 삭제 효과를 무시합니다. 결과적으로 전체 장면에 걸쳐 균형 잡힌 재구성 품질을 보장하지 못합니다. 본 논문에서는 고정된 예산 하에서 영역별 예산 할당과 공동 가우시안 선택을 조율하는 조합 가지치기 알고리즘인 SplatQ를 제안합니다. SplatQ는 공간적 근접성과 외형 유사성을 기준으로 가우시안을 크기가 제한된 블록으로 분할하여, 전역 선택 문제를 특정 크기의 하위 문제들로 분해합니다. 그런 다음 중요도 기반의 블록 유지 할당량을 평활화하여 과도한 예산 집중을 방지합니다. 마지막으로 가우시안 불투명도 변화에 대한 대표 픽셀 색상의 반응을 활용하여 공동 삭제 효과의 2차 근사를 구성합니다. 개별 반응, 쌍별 상호작용 및 할당량 페널티는 2차 비제약 이진 최적화(QUBO) 목적 함수에 통합되며, 모의 담금질(SA) 또는 코히런트 이징 머신(CIM)을 사용하여 이를 해결함으로써 가우시안을 공동으로 선택합니다. 5개 벤치마크에 대한 실험을 통해 SplatQ가 종합적인 재구성 품질, 공간적 품질 균형, 렌더링 속도 측면에서 최신 가지치기 방법들보다 우수한 성능을 보임을 입증합니다. 절제 연구(ablation)를 통해 예산 평활화가 국소적인 세부 표현 재구성을 향상시키는 한편, 상호작용 모델링이 고정된 예산 하에서 가우시안 선택 품질을 향상시킴을 확인합니다.
3DGS를 위한 효율적인 신뢰도 인지 밀집화
Efficient Confidence-Aware Densification for 3DGS
3DGS-MCMC는 3D 가우시안 스플래팅(3D Gaussian Splatting)의 그래디언트 기반 밀도 제어를 불투명도(opacity) 기반 샘플링 및 재배치로 대체하며, 고정된 프리미티브(primitive) 예산 하에서 사전 정보 없는(prior-free) 밀집화의 사실상 표준이 되었습니다. 이미 장면이 잘 재구성된 영역에서 불투명도가 높게 유지되기 때문에, 이러한 샘플링은 대부분의 새로운 프리미티브를 전경으로 보내고 배경은 불충분하게 재구성된 상태로 남겨둡니다. 낮은 예산에서는 ConeGS 및 EDGS와 같은 사전 정보 기반 방법이 사전학습된 래디언스 필드(radiance field)나 조밀한 이미지 매칭, 그리고 별도의 초기화 단계를 희생하면서 이를 능가하는 성능을 보입니다. 본 논문에서는 고정 예산 MCMC 프레임워크 내에서 오차 기반(error-driven) 밀집화의 부활을 주장합니다. 제안하는 신뢰도 인지 밀집화(confidence-aware densification)는 3DGS-MCMC의 고정된 예산과 점진적 증가 방식을 유지하면서도, 불투명도 대신 이미지 오차를 기준으로 프리미티브를 배치합니다. 새로운 프리미티브는 주로 스크린 공간 그래디언트가 큰 위치에서 추출됩니다. 또한 재구성이 여전히 불완전하게 설명하는 영역을 나타내는 학습된 낮은 신뢰도를 가진 프리미티브를 선호하며, 렌더링된 이미지에 가장 적게 기여하는 프리미티브를 이러한 위치로 재배치합니다. 24개 장면에 대한 평균 결과, 본 연구의 방법은 10만 개부터 200만 개 프리미티브에 이르는 모든 예산 범위에서 PSNR, SSIM, LPIPS 전반에 걸쳐 3DGS-MCMC를 능가합니다. 10만 개 예산에서는 사전 정보나 초기화 단계 없이도 ConeGS가 3DGS-MCMC 대비 앞서는 1.05dB PSNR 중 0.84dB를 회복하며, 50만 개 이후부터는 ConeGS와 EDGS를 포함해 비교된 모든 고정 예산 방법 중 가장 높은 PSNR과 SSIM을 달성합니다. 본 밀집화 기법은 본질적으로 사전 정보가 필요 없지만 사전 정보를 활용할 수도 있어, ConeGS 또는 EDGS 초기화로부터 시작할 경우 10만 개에서 ConeGS와 대등한 PSNR 및 SSIM을 기록하고 50만 개에서는 세 가지 지표 모두에서 최고 성능을 달성합니다.
Make It Flow: 3D 가우시안 스플래팅(Gaussian Splatting) 장면에서 물 애니메이션하기
Make It Flow: Animating Water in 3D Gaussian Splatting Scenes
3D 가우시안 스플래팅(3D Gaussian Splatting, 3DGS)과 같은 명시적(explicit) 3D 장면 표현은 최근 고품질의 실시간 새로운 시점 합성(novel view synthesis)을 가능하게 했다. 그러나 이러한 방법들은 정적인 장면을 가정하기 때문에, 실제 환경에서 흔히 나타나는 동적 현상이 존재할 경우 사실감이 제한된다. 사람이나 차량과 같은 일관된 움직임은 캡처 및 재구성이 가능하지만, 흐르는 물과 같은 고주파(high-frequency) 효과는 조밀한 다중 시점(multi-view)과 고속 촬영이 불가능한 일반적인 캡처 조건에서는 다루기 어렵다. 본 논문에서는 동적 캡처나 물리 시뮬레이션 없이도 시각적으로 그럴듯한 움직임을 가능하게 하는, 정적 3DGS 장면 내 물 애니메이션 기법을 제시한다. 우리의 접근법은 참조 이미지 또는 모델 렌더링으로부터 2D 광학 흐름(optical flow)을 추정하고, 이를 일관된 3D 오일러(Eulerian) 운동장(motion field)으로 끌어올린다. 우리는 이 운동장을 가우시안 프리미티브(primitive)에 적용하여 변형시킴으로써 시간적으로 매끄럽게 반복되는(looping) 애니메이션을 생성하는, 시네마그래프(cinemagraph)에서 영감을 받은 알고리즘을 제안한다. 그 결과로 얻어지는 표현은 실시간 렌더링 성능을 유지하면서 지각적 사실감을 크게 향상시키고, 장면 내 자유 시점 탐색(free-viewpoint navigation)을 보존한다. 우리는 새롭게 촬영한 실제 환경(in-the-wild) 폭포 장면 데이터셋에서 본 방법을 평가하였으며, 동적 가우시안 스플래팅 및 3D 시네마그래프 생성 분야의 기존 연구와 비교하여 시각적 품질과 계산 효율성 모두에서 명확한 개선을 보여준다.
Splat2Act: 캡처된 장면에서 개인화된 VLA 조작으로
Splat2Act: From Captured Scenes to Personalized VLA Manipulation
범용 조작 정책(manipulation policy)을 가정이나 사무실에 도입하는 사용자는 로봇이 선반, 조리대, 테이블에서 자신의 물체를 집어 올리기를 원합니다. 그러나 $π_{0.5}$와 같은 강력한 범용 정책조차도 적응(adaptation) 없이는 우리가 캡처한 배포 장면에서 0%의 집기 성공률을 보이며, 모든 사용자의 환경에서 실제 시연(demonstration) 데이터를 수집하는 것은 비용이 지나치게 많이 듭니다. 본 논문에서는 휴대폰 스캔과 사용자의 물체 이미지만을 활용하여 사전학습된 비전-언어-행동(VLA, Vision-Language-Action) 정책을 특정 장면 및 물체 세트에 맞게 개인화하는 자동화된 real-to-sim-to-real 파이프라인인 Splat2Act를 제안합니다. 개별 테이블탑만 재구성하던 기존 real-to-sim 연구와 달리, Splat2Act는 건물 규모의 실내 환경에서 작동합니다. 즉, 3D 가우시안 스플래팅(3D Gaussian Splatting)과 충돌 기하학을 통해 사실적인 디지털 트윈을 구축하고, 테이블탑 및 비-테이블탑 수납 공간(receptacle)을 자동으로 감지하며, 실행 가능한 집기 작업을 생성하고, 특권 시뮬레이션 오라클(privileged simulation oracle)을 통해 성공적인 시연 데이터를 생성하므로 사람에게는 장면 및 물체 캡처 작업만 요구됩니다. 이동 가능한 중앙 면적이 104.87 m$^2$이고 7개의 수납 공간을 가진 101개의 스캔된 캠퍼스 환경에 적용했을 때, 이 파이프라인은 852개의 수납 공간과 68,000개 이상의 집기 시연 데이터를 생성했습니다. 우리는 $π_{0.5}$를 두 단계로 파인튜닝합니다. 1단계는 배포 장면 단독 또는 101개 전체 장면에서 가져온 수백 개의 공개 물체 에셋에 적응하고, 2단계는 배포 장면의 수납 공간에 놓인 사용자 고유의 물체에 맞춰 개인화합니다. 가장 강력한 개인화 정책은 목표 장면에서 62.5%의 종합 집기 성공률을 달성했습니다. 실제 Stretch 3에 배포했을 때, 동일한 정책은 12개 작업 하위 집합에서 63.9%의 성공률을 달성하여 해당 작업의 시뮬레이션 성공률인 66.7%를 근접하게 따랐습니다. 이러한 결과는 자동화된 real-to-sim-to-real 학습이 시뮬레이션 오라클 데이터만을 사용하여 VLA 조작 정책을 개인화할 수 있음을 시사합니다.
때로는 걷기 전에 뛰어야 한다: VLM 자율주행을 위한 Run-then-Walk 스케줄링 전략
Sometimes You Gotta Run Before You Can Walk: Run-then-Walk Scheduling Strategy for VLM Autonomous Driving
최근 비전-언어 모델(VLM) 기반 자율주행 플래너는 주행 성능을 최적화하기 위해 GRPO 방식의 강화학습(RL)을 도입하고 있습니다. 그러나 기존 GRPO 방식은 주행 효율성만을 최적화하여 주행 진행은 추구하되 안전하지 않은 동작을 유발하거나, 초기에 안전 제약을 강제하여 지나치게 보수적인 동작으로 이어지며, 두 방식 모두 긴 학습 시간을 필요로 합니다. 이러한 문제를 해결하기 위해, 본 논문은 먼저 두 가지 뚜렷한 강화학습 체제를 밝혀냅니다. 즉, 높은 주행 진행을 적극적으로 탐색하는 진행 체제(Run-GRPO)와 안정적인 진행 상황에서 안전성을 회복하는 안전 체제(Walk-GRPO)입니다. 이러한 발견을 바탕으로, 더 우수한 성능과 더 빠른 수렴을 모두 달성하는 단순하면서도 효과적인 2단계 GRPO 보상 스케줄링 전략인 Run-then-Walk를 제안합니다. 단일 학습 단계 내에서 진행, 안전, 또는 둘의 혼합에 집중할 수 있는 1단계 강화학습과 달리, 이 스케줄은 진행 탐색과 안전성 복구를 명시적으로 분리합니다. Run 단계에서는 진행에 집중하여 정책(policy)이 보수적 바이어스에서 벗어나 높은 진행 모드를 발견할 수 있도록 합니다. 이어지는 Walk 단계에서는 종점 및 안전 전략을 도입하여 Run 단계에서 발생한 불안전한 동작을 복구합니다. 이러한 역순 스케줄은 Walk 우선 방식의 보수성과 공동 최적화 방식의 불안전한 진행 추구 문제를 극복합니다. 본 연구는 NAVSIMv1, NAVSIMv2, Navhard, nuScenes 등 다양한 벤치마크에서 여러 VLM 기반 플래너를 통해 이를 검증합니다. 광범위한 실험을 통해 베이스라인 대비 40~50% 적은 강화학습 학습 에포크(epoch)만을 요구하면서도 향상된 주행 성능을 입증합니다. 코드는 https://github.com/haha-yuki-haha/AutoDrive-P3_with_Run-then-walk 에서 제공됩니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
Project page: https://opendrivelab.com/SimVTA/