arXiv:2406.01349

Unleashing Generalization of End-to-End Autonomous Driving with Controllable Long Video Generation

Enhui Ma, Lijun Zhou, Tao Tang, Zhan Zhang, Dong Han, Junpeng Jiang, Kun Zhan, Peng Jia, Xianpeng Lang, Haiyang Sun, Di Lin, Kaicheng Yu

제출 2024-06-03

원문 초록

Using generative models to synthesize new data has become a de-facto standard in autonomous driving to address the data scarcity issue. Though existing approaches are able to boost perception models, we discover that these approaches fail to improve the performance of planning of end-to-end autonomous driving models as the generated videos are usually less than 8 frames and the spatial and temporal inconsistencies are not negligible. To this end, we propose Delphi, a novel diffusion-based long video generation method with a shared noise modeling mechanism across the multi-views to increase spatial consistency, and a feature-aligned module to achieves both precise controllability and temporal consistency. Our method can generate up to 40 frames of video without loss of consistency which is about 5 times longer compared with state-of-the-art methods. Instead of randomly generating new data, we further design a sampling policy to let Delphi generate new data that are similar to those failure cases to improve the sample efficiency. This is achieved by building a failure-case driven framework with the help of pre-trained visual language models. Our extensive experiment demonstrates that our Delphi generates a higher quality of long videos surpassing previous state-of-the-art methods. Consequentially, with only generating 4% of the training dataset size, our framework is able to go beyond perception and prediction tasks, for the first time to the best of our knowledge, boost the planning performance of the end-to-end autonomous driving model by a margin of 25%.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13781v1cs.CV공통 태그 Autonomous Driving, Video Generation

SimVTA: 주행 월드 액션 모델을 위한 시뮬레이션 기반 비디오-경로 정렬

SimVTA: Simulation-Grounded Video-Trajectory Alignment for Driving World Action Models

주행 월드 액션 모델(WAM)은 짝지어진 경로와 미래 관측값으로부터 학습(training)합니다. 강화학습(reinforcement learning)을 통한 사후 학습(post-training)을 활용하면 정책이 대안 경로를 탐색하고 주행 보상(reward)을 사용하여 플래닝을 개선할 수 있습니다. 그러나 주행 로그에는 기록된 경로에 대한 미래 비디오만 포함되어 있어, 이러한 대안 경로에는 상응하는 시각적 감독이 결여됩니다. 이에 따라 본 논문에서는 경로 최적화와 비디오 감독을 결합한 시뮬레이션 기반 사후 학습 프레임워크인 SimVTA를 제안합니다. 먼저, 각 관측값에 대해 후보 경로를 샘플링하고 실제 세계 시뮬레이터(예: World Engine)를 사용하여 3D 가우시안 스플래팅(3DGS)으로 재구성된 실제 환경에서 높은 보상을 얻은 후보의 미래 비디오를 렌더링합니다. 이는 모델(model) 자체의 예측과 독립적인 경로 맞춤형 감독을 제공합니다. 제한된 렌더링 예산 하에서, 렌더링된 후보 중 오차가 더 큰 미래에 대해 비디오 감독의 우선순위를 부여합니다. 마지막으로, GRPO(Group Relative Policy Optimization)를 통해 경로 플래닝을 최적화하고 일치된 비디오에 대한 플로우 매칭(flow-matching) 손실(loss)을 적용하여 공유 표현을 업데이트합니다. 추론(inference) 시점에 모델은 시뮬레이터 호출 없이 직접 경로를 예측합니다. NAVSIM v1에서 WAM 초기화(initialization)에 SimVTA를 적용했을 때 PDMS가 86.2에서 91.3으로 향상되었습니다(+5.1). 또한 NAVSIM v2에서 88.2 EPDMS를 달성하고 HUGSIM의 폐루프(closed-loop) 평가에서 평균 38.8의 HD-Score를 기록했습니다. 절제 연구(ablation study)에 따르면 비디오 감독으로 공유 표현을 업데이트하는 것이 플래닝 성능을 향상시키며, 높은 보상을 받는 경로 중 오차가 큰 미래를 우선시함으로써 성능이 더욱 향상됨을 보여줍니다.

arXiv:2610.02726v1cs.CV공통 태그 Autonomous Driving, Video Generation

SymRegFlow: 비디오 월드 모델을 위한 대칭 정규화 플로우 매칭

SymRegFlow: Symmetry-Regularized Flow Matching for Video World Models

플로우 매칭(flow matching) 기반 다중 시점 월드 모델은 사실적인 비디오를 생성하지만, 일반적으로 고정된 카메라 리그(rig)로 제한됩니다. 이를 연속적으로 변화하는 카메라 포즈로 확장하려면 포즈 범위가 조밀한 쌍을 이룬 포즈-비디오 관측 데이터가 필요하며, 이는 획득 비용이 큽니다. 본 연구에서는 정답 신규 시점 RGB 지도 없이도 연속적인 시점 전반에서 다중 시점 일관성을 갖춘 비디오를 생성하는 대칭 정규화 플로우 매칭 프레임워크인 SymRegFlow를 소개합니다. SymRegFlow는 각 대상 포즈에 대해 소스 시점을 기하학적으로 워핑하여 노이즈가 포함된 앵커(anchor)로 변환하고, 마스킹된 듀얼 앵커 지도와 앵커 간 디노이징 출력 일관성을 결합하여 앵커 고유의 오차를 완화합니다. 아핀 가우시안 대리 모델 하에서, 적절한 일관성 정규화(regularization)가 고정된 노이즈 수준에서 깨끗한 참조 최적값을 복원하여 단일 및 병합 앵커 기준선(baseline)을 확실히 능가함을 증명합니다. Cosmos-Drive-Dreams 및 nuScenes에 대한 실험은 고품질의 다중 시점 일관성을 지닌 자율주행 비디오 생성을 입증합니다. nuScenes에서 SymRegFlow는 평가된 기준선 중 가장 낮은 FVD 및 FVMD를 달성하여 최고 기준선 대비 FVD를 31% 이상 줄였으며, 소스 조건부 추론(inference)에서도 최고의 FID 및 인스턴스 보존 성능을 달성했습니다.

arXiv:2610.00859v1cs.CV공통 태그 Autonomous Driving, Video Generation

CtrlWAM: 의도와 예측이 정렬된 제어 가능한 월드 액션 모델(World Action Model)

CtrlWAM: Controllable World Action Models with Aligned Intent and Foresight

월드 액션 모델(World Action Model, WAM)은 행동(의도)과 시각적 미래(예측, foresight)를 동시에 예측한다. 표준적인 학습 방식은 기록된 행동과 비디오에 동시에 노이즈를 추가하지만, 이러한 학습 방식은 불일치(mismatch)를 유발한다: 교란된 행동은 반사실적(counterfactual) 미래 시각 정보를 암시하지만, 노이즈가 추가된 비디오는 여전히 실제 기록(GT recording)에 묶여 있다. 저노이즈(low-noise) 구간에서는 노이즈가 추가되었음에도 장면 기하 구조(scene geometry)와 동적 행동(dynamic behavior)까지도 노이즈가 섞인 미래 프레임에서 명확하게 보인다. 우리는 시뮬레이터에서 교란된 행동을 실행하고 이를 해당 행동에 따른 노이즈가 섞인 시각적 결과와 짝지어 WAM을 공동 학습시키는 CtrlWAM을 제시한다. 비디오와 행동이 서로 다른 디노이징(denoising) 요구사항을 갖는다는 점을 수용하기 위해, 우리는 행동 예측이 진행됨에 따라 시각적 레이아웃이 이에 반응하도록 유지하는 것을 목표로 하는 왜곡된(warped) 비디오-행동 노이즈 스케줄을 도입한다. 또한 우리는 행동 인터페이스를 자기 차량(ego) 전용 제어에서 가변 개수의 에이전트(agent) 스트림으로 확장하여, 단일 통합 모델이 여러 에이전트에 대한 예측되거나 명령된 미래를 표현할 수 있도록 한다. 주행(driving) 실험에서는 더 정확한 행동 예측, 생성된 비디오와 행동 간의 더 긴밀한 일치, 그리고 주어진 명령을 더 잘 따르는 결과를 보였으며, 로보틱스(robotics) 실험에서는 더 강한 동작 충실도(motion fidelity)와 제어 가능성(controllability)을 보였다. 매칭된 대조 실험(matched controls)은 명령 추종(command following)과 조작 충실도(manipulation fidelity) 측면에서 경로 이탈(off-path) 렌더링의 이점을 지지한다. 이러한 결과들은 종합적으로 더 제어 가능한 월드 액션 모델에 기여한다. 프로젝트 페이지: https://ctrl-wam.github.io/

arXiv:2610.01052v1cs.CV공통 태그 Autonomous Driving, Video Generation

비디오 생성에서 동적 피사체 집합에 대한 피사체 일관성을 향하여

Towards Subject Consistency over Dynamic Subject Sets in Video Generation

본 논문에서는 비디오 생성이 더 긴 시간으로 확장됨에 따라, 피사체 일관성(subject consistency)을 동적 피사체 집합(dynamic subject sets) 상에서 평가해야 한다고 주장합니다. 이에 따라 적격한 피사체들의 가시적 수명 동안 이들을 동적으로 추적하고, 불일치 이벤트를 명시적으로 감지하며 상호 보완적인 6개의 객체 수준 지표를 사용하여 국소적 연속성과 전역적 정체성 보존을 측정하는 평가 프레임워크인 DynSC-Eval을 소개합니다. 유효성을 검증하기 위해 불일치 이벤트를 능동적으로 주입하는 합성 실험을 설계하여, DynSC-Eval의 민감도와 기존 지표들의 한계를 모두 입증합니다. 5초, 15초, 60초 비디오 생성에 대해 다양한 모델을 평가한 결과, 기존 지표로는 가려졌던 상당한 피사체 일관성 차이가 더욱 명확히 드러났습니다. 평가를 넘어, DynSC-Eval로부터 보상을 구축하고 자율주행 테스트베드에서 DiffusionNFT 사후 학습(post-training)을 적용합니다. 5초 생성에서 본 접근 방식은 6개의 불일치 지표를 Wan-2.1-1.3B의 경우 평균 13.82%, SANA-2B의 경우 5.66% 감소시켰으며, I2V 모델인 ReSim에서도 개선이 관찰되었습니다. 정성적 비교를 통해서도 제안 방법의 효과를 추가로 입증합니다. 이후 커리큘럼 학습(curriculum learning)을 통해 생성을 10초 및 30초로 확장하고, 다른 기능들을 대체로 보존하면서도 일관성 최적화가 여전히 유효함을 보여줍니다.

arXiv:2609.22762v1cs.CV공통 태그 Autonomous Driving, Video Generation

DriveReferee: 주행 월드-액션 모델에서 기하학적 안전 판정은 굳이 학습될 필요가 없다

DriveReferee: Geometric Safety Verdicts Need Not Be Learned for Driving World-Action Models

생성형 월드-액션 모델(world-action model, WAM)은 미래 비디오와 차량 액션을 공동으로 생성하지만, 액션 브랜치는 여전히 주로 전문가 모방(expert imitation)을 통해 최적화된다. 그러나 모방은 생성된 궤적에 대해 명시적인 폐루프(closed-loop) 기하학적 판정을 제공하지 않으므로, 학습(training)과 배포 모두에서 검증이 중요해진다. 폐루프 평가기(evaluator)는 충돌 및 주행 가능 영역 위반을 확인할 수 있지만, 배포 시에는 사용할 수 없는 특권적 씬 상태(privileged scene state)를 필요로 한다. 기존 접근 방식은 센서 특징으로부터 검증기(verifier)를 학습하여 이러한 간극을 좁히는 경우가 많다. 이러한 기하학적 검사의 경우 규칙 자체는 명시적이다. 예를 들어, 충돌은 전개된 자차 풋프린트(footprint)가 점유된 차량 공간과 겹치는지 여부로 결정된다. 배포 시 사용할 수 없는 것은 해당 규칙을 적용하는 데 필요한 씬 상태이다. 본 논문에서는 학습된 기하학 판독(geometry readout)을 사용하여 카메라 관측으로부터 씬 표현을 예측하고, 기하학적 안전 규칙을 학습하는 대신 직접 실행하는 DriveReferee를 소개한다. 이를 통해 생성된 해석적 심판(analytic referee)은 씬 상태와 후보 궤적으로부터 충돌 및 주행 가능 영역 안전성을 평가한다. 학습 중에는 참값(ground-truth) 상태에서 자체 샘플링된 궤적의 점수를 매기고 그 결과로 얻은 선호도를 WAM 정책에 증류(distill)한다. 배포 시에는 동일한 심판이 이 예측된 상태를 바탕으로 생성된 궤적을 평가하고 필요할 때 더 안전한 대안을 선택한다. 해석적 심판은 판정 관련 전용 학습을 필요로 하지 않으며, 그 결정은 명시적인 기하학적 규칙을 따른다. 동일한 후보군과 추론(inference) 예산 하에서, 본 방식은 모든 학습 기반 검증기 및 휴리스틱 베이스라인과 대등하거나 이를 능가한다. 동일한 예측 상태와 궤적이 주어졌을 때, 판정 자체를 학습하는 것은 평가기 라벨이 부착된 수만 개의 학습 예제가 필요함에도 불구하고 측정 가능한 다운스트림 이득을 제공하지 못한다. 전체 NAVSIM navtest에서 DriveReferee는 단일 카메라 시각 입력만으로 외부 학습 데이터 없이 92.02 PDMS를 달성한다.

arXiv:2607.20988v1cs.CV공통 태그 Autonomous Driving, Video Generation

HyWorldVLA: 자율주행을 위한 하이브리드 월드 모델링 비전-언어-행동(VLA) 모델

HyWorldVLA: A Vision-Language-Action Model with Hybrid World Modeling for Autonomous Driving

월드 모델링으로 보강된 비전-언어-행동(VLA) 모델은 종단간(end-to-end) 자율주행을 위한 유망한 패러다임을 나타낸다. 픽셀 수준의 미래 예측은 세밀한 시공간 추론을 가능하게 하지만, 노이즈가 많은 주행 시나리오에서 견고성을 희생한다. 반대로, 잠재(latent) 기반 월드 모델은 이러한 민감도를 완화하지만, 픽셀 수준 그라운딩(grounding)이 부재하여 해석 가능성이 제한되고 표현이 저하되는 경우가 많다. 이 트레이드오프를 조화시키기 위해, 우리는 픽셀 수준 감독과 잠재 표현 학습을 통합하는 하이브리드 world-VLA 프레임워크인 HyWorldVLA를 제안한다. 사전학습 단계에서 HyWorldVLA는 사전학습된 video VAE로 인코딩된 비디오 잠재(latent)를 예측하면서, 동시에 비디오 프레임을 재구성하여 정밀한 픽셀 수준 그라운딩을 제공한다. 이후 공동 미세조정(co-fine-tuning) 단계에서는 모델이 잠재 특징만을 예측하고, 이를 action expert에 입력하여 궤적을 생성한다. NAVSIM v1 및 v2 벤치마크에 대한 광범위한 실험 결과, HyWorldVLA가 픽셀 기반 및 잠재 기반 월드 모델 베이스라인을 모두 크게 능가함을 보여준다. 특히, 우리는 자율주행에서 월드 모델의 노이즈 견고성에 대한 최초의 포괄적인 정성 및 정량 분석을 제시하며, 향후 아키텍처 평가를 위한 새로운 벤치마크를 마련한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.