arXiv:2410.00337

SyntheOcc: Synthesize Geometric-Controlled Street View Images through 3D Semantic MPIs

Leheng Li, Weichao Qiu, Yingjie Cai, Xu Yan, Qing Lian, Bingbing Liu, Ying-Cong Chen

제출 2024-10-01

원문 초록

The advancement of autonomous driving is increasingly reliant on high-quality annotated datasets, especially in the task of 3D occupancy prediction, where the occupancy labels require dense 3D annotation with significant human effort. In this paper, we propose SyntheOcc, which denotes a diffusion model that Synthesize photorealistic and geometric-controlled images by conditioning Occupancy labels in driving scenarios. This yields an unlimited amount of diverse, annotated, and controllable datasets for applications like training perception models and simulation. SyntheOcc addresses the critical challenge of how to efficiently encode 3D geometric information as conditional input to a 2D diffusion model. Our approach innovatively incorporates 3D semantic multi-plane images (MPIs) to provide comprehensive and spatially aligned 3D scene descriptions for conditioning. As a result, SyntheOcc can generate photorealistic multi-view images and videos that faithfully align with the given geometric labels (semantics in 3D voxel space). Extensive qualitative and quantitative evaluations of SyntheOcc on the nuScenes dataset prove its effectiveness in generating controllable occupancy datasets that serve as an effective data augmentation to perception models.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.24193v1cs.CV공통 태그 Data Augmentation, Autonomous Driving

안전한 보행자-차량 상호작용을 위한 경량 보행자 머리 방향 인식 네트워크

Lightweight Pedestrian Head-Orientation Recognition Network for Safe Pedestrian-Vehicle Interaction

보행자 머리 방향 인식은 보행자의 주의를 파악하고 잠재적인 횡단 행동을 예측하는 데 유용한 단서를 제공함으로써 자율주행에서 중요한 역할을 한다. 그러나 실제 교통 상황에서 보행자의 머리 영역이 저해상도로 촬영되는 경우가 많아 신뢰할 수 있는 인식은 여전히 어려운 과제로 남아 있다. 이러한 문제를 해결하기 위해, 우리는 보행자 머리 방향 인식을 위한 경량의 저해상도 머리 방향 합성곱 신경망(Low-Resolution Head Orientation Convolutional Neural Network, LRHO-CNN)을 제안한다. 우리는 여러 공개 데이터셋에서 보행자 머리 이미지를 추출하고 이를 8개의 방향 범주로 수동으로 주석 처리하여 새로운 데이터셋을 구축한다. 수집된 이미지는 데이터 다양성을 높이고 조명 및 이미지 품질의 변화를 더 잘 반영하기 위해 체계적으로 전처리 및 증강된다. 실험 분석에서는 LRHO-CNN을 세 가지 파인튜닝된 기준선 모델인 ResNet-18, ResNet-34, VGG-16과 비교한다. 그 결과 LRHO-CNN이 평가된 모델 중 가장 높은 분류 정확도를 달성함을 보여준다. LRHO-CNN은 JAAD 및 PIE 데이터셋에서 추가로 평가되어 실제 교통 상황에서 보행자 머리 방향을 인식하는 데 효과적임을 입증하며, 후속 보행자 행동 및 의도 예측을 지원할 수 있는 유용한 머리 방향 단서를 제공한다.

arXiv:2607.19701v1cs.CV공통 태그 Data Augmentation, Autonomous Driving

SafeGen: VLM 기반 자율주행을 위한 안전 임계 시나리오의 목표 조건 비디오 확산

SafeGen: Goal-Conditioned Video Diffusion of Safety-Critical Scenarios for VLM-Based Autonomous Driving

VLM은 자율주행(AD) 시스템에 점점 더 배포되고 있어, 드물지만 안전 임계적인 시나리오에서 엄격한 안전성 평가가 시급해졌다. 이 중 취약 도로 이용자와의 상호작용은 실제 세계 실패의 주요 원인이다. 그러나 기존 안전 임계 시나리오 생성 방법은 대부분 시뮬레이터 기반 파이프라인에 의존하며, 이는 상당한 sim-to-real 격차를 겪고 현실적이고 다양하며 예견하지 못한 인간-차량 상호작용 역학을 포착하는 데 자주 실패한다. 우리는 VLM 기반 자율주행(VLMAD)에서 안전 임계 시나리오 생성을 위한 목표 조건 확산 프레임워크인 SafeGen을 제안한다. 핵심 통찰은 시나리오 생성을 목표 조건 확산 과정으로 공식화하는 것으로, 사전 정의된 치명적 종료 상태가 강한 지도 신호로 작용하여 안전 임계 결과를 향해 자연스럽게 진화하는 시간적으로 일관된 비디오 궤적 생성을 유도한다. 이 공식화를 바탕으로, 우리는 컨텍스트 그라운딩 종료 상태 추론(Context Grounded End State Reasoning)을 도입한다. 이는 VLM을 활용해 양호한 주행 컨텍스트를 분석하고 인간-차량 상호작용의 잠재적 취약점을 추론하여 고위험 시나리오를 유도하는 구조화된 종료 상태 명세를 생성한다. 이러한 목표에 조건화하여, 우리는 종료 상태 조건 비디오 진화(End State Conditioned Video Evolution)를 추가로 제안한다. 이는 의미적 위협을 물리적으로 타당한 시각적 역학으로 그라운딩한다. 구체적으로, 깊이 인식 기하학적 투영을 통해 장면 내 고위험 에이전트를 인스턴스화하고, 이어 경계 조건 확산으로 일관된 운동 패턴과 시간적 일관성을 갖는 중간 프레임을 생성한다. 3개 VLMAD에 걸친 광범위한 실험은 SafeGen이 VLM 판사를 사용해 VLMAD의 이해와 의사결정을 평가하는 지표인 Judge Overall Score를 SoTA 베이스라인 대비 평균 24.25% 향상시킴을 보여준다. 또한 VLMAD 미세조정은 실제 주행 장면에서 성능을 평균 15.9% 향상시킨다.

arXiv:2607.13927v1cs.CV공통 태그 Data Augmentation, Autonomous Driving

Cyclone: 비짝 주행 데이터 기반 순환 일관적 날씨 편집 확산 모델

Cyclone: Diffusion Model for Cycle-Consistent Weather Editing from Unpaired Driving Data

다양한 기상 조건에서의 신뢰 가능한 지각(perception)은 자율주행 시스템의 주요 난제로 남아 있다. 견고성(robustness)을 개선하기 위한 일반적인 전략은 지각 모델 학습을 위해 악천후 조건을 합성하거나, 깨끗한 입력을 복원하기 위해 날씨 제거 기법을 적용하는 것이다. 그러나 기존 접근법은 대개 합성 데이터 증강 또는 짝(pair) 학습 데이터가 필요한 물리 기반·과제 특화 모델에 의존하며, 사실적인 기상 효과를 생성하거나 도메인 외(out-of-domain) 시나리오에 견고하게 일반화하는 데 자주 어려움을 겪는다. 이 문제에 대해, 우리는 잠재 확산(latent diffusion)에 기반한 날씨 편집 통합 프레임워크 Cyclone을 제안하며, 순환 일관성(cycle-consistent) 제약과 이미지-텍스트 모델의 지식을 갖추었다. Cyclone은 짝 데이터가 필요 없이 다양한 장면에서 여러 기상 조건을 생성할 수 있다. 실험 결과, 본 접근법은 기존 베이스라인보다 더 사실적이고 구조를 보존하는 출력을 생성하며, 여러 하류(downstream) 주행 지각 과제에서 일관된 성능 향상을 보인다. 더 나아가, Cyclone을 시간적으로 일관된(temporally consistent) 날씨 편집을 위한 비디오 확산 모델로 지식 증류(distillation)할 수 있음을 보여준다.

arXiv:2607.14005v1cs.CV공통 태그 Data Augmentation, Autonomous Driving

M$^\text{4}$World: 상호작용형 객체 조작 및 분 단위 스트리밍을 위한 멀티뷰 멀티모달 주행 월드 모델

M$^\text{4}$World: A Multi-view Multimodal Driving World Model for Interactive Object Manipulation and Minute-long Streaming

주행 월드 생성은 확장 가능한 자율주행 시뮬레이션의 핵심 역량으로 부상했지만, 기존 방법들은 객체 수준의 제어 가능성과 장기 안정성에서 여전히 제한적이다. 우리는 M$^\text{4}$World를 제안한다. 이는 미래의 surround-view 영상 스트림과 동기화된 LiDAR 스캔을 합성하면서 상호작용형 객체 조작과 안정적인 분 단위 스트리밍을 지원하는 멀티뷰·멀티모달 생성형 주행 월드 모델이다. 세밀한 객체 조작은 개별 객체의 공간적 배치와 시각적 외관 모두에 대한 명시적 제어를 지원하는 유연한 conditioning 인터페이스를 통해 구현된다. 한편 안정적인 분 단위 스트리밍은 확장된 rollout 동안 일관된 월드 역학을 유지하면서 단 4개의 denoising 단계만으로 온라인 인과(causal) 생성을 가능하게 하는 다단계 학습 프레임워크를 통해 달성된다. 이러한 구성 요소를 바탕으로, 우리는 효율적인 few-clip 사후 학습과 시각적 참조 조건화 생성 모델 모음을 도입하여, 일반 생성 능력을 유지하면서 장꼬리(long-tail) 제어 가능성을 위한 희귀 사례 맞춤화를 가능하게 한다. 제어 가능성을 사실성(realism)을 넘어 평가하기 위해, 우리는 장면 수준의 조건 준수, 시점별 객체 제어 가능성, 시점 간 객체 일관성을 평가하는 VLM 기반 자동 판별 파이프라인을 추가로 도입한다. 포괄적인 실험 결과, M$^\text{4}$World는 높은 생성 품질, 정밀한 제어 가능성, 안정적인 분 단위 스트리밍을 일관되게 제공함을 보여준다. 하위 장꼬리 증강과 장면 편집과 함께, 이러한 결과는 제어 가능하고 확장 가능한 주행 시뮬레이션을 위한 M$^\text{4}$World의 잠재력을 입증한다.

arXiv:2607.09655v1cs.CV공통 태그 Data Augmentation, Autonomous Driving

OpenLongTail: 롱테일 주행 데이터의 생성적 스케일링

OpenLongTail: Generative Scaling of Long-Tail Driving Data

강건한 주행 정책의 스케일링은 근본적으로 정제된 데이터셋 내 엣지 케이스의 희소성에 의해 병목을 겪고 있다. 실세계는 이러한 중요한 이벤트를 지속적으로 포착하지만, 이러한 롱테일 이벤트들은 이종 소스로부터 수집될 때 충분히 활용되지 못하고 있다. 구체적으로, 다양하지만 가치 있는 야생(in-the-wild) 롱테일 영상들은 정책 모델 학습에 필요한 완전한 시야 커버리지가 부족하며, 멀티뷰 포즈가 없거나 단안 블랙박스 카메라에서만 수집되는 경우가 많다. 이러한 모달리티 격차로 인해 어디서나 관측 가능한 데이터를 롱테일 일반화를 위한 확장 가능한 학습 데이터로 변환하지 못하고 있다. 우리는 롱테일 이벤트 하에서 자율주행 정책의 스케일링을 위한 오픈소스 생성 데이터 엔진인 OpenLongTail을 소개한다. 이종 데이터 소스를 정책 학습에 유용한 뷰 정렬(view-aligned)되고 시간적으로 일관된 멀티뷰 자산으로 변환하기 위해, 누락된 뷰를 생성하는 포즈 기반 외삽적 뷰 합성(extrapolative view synthesis) 파이프라인을 개발했다. 또한 확장 가능한 생성 엔진에 Plücker 광선 기하학을 주입함으로써 새롭게 생성된 뷰의 크로스뷰 일관성과 시간적 정렬을 강화했다. 이종 롱테일 데이터를 합성함으로써, 롱테일 이벤트 처리에 있어 폐루프(closed-loop) 주행 강건성이 현저히 향상됨을 관찰했다. 외삽적 뷰 합성 및 포즈 메트릭을 측정함으로써, 시각적 충실도, 크로스뷰 일관성, 자아 궤적 복원 측면에서 OpenLongTail의 효과성을 검증했다.

arXiv:2607.14203v2cs.GR공통 태그 Autonomous Driving

Instant NuRec: 주행 장면 시뮬레이션을 위한 피드포워드 3D Gaussian 재구성

Instant NuRec: Feed-Forward 3D Gaussian Reconstruction for Driving Scene Simulation

3D 시뮬레이션 플랫폼은 end-to-end 정책 평가(evaluation)를 가능하게 하여 개발 비용을 줄이고 안전성을 향상시키기 때문에 자율주행에 핵심적이다. 최근 몇 년간 신경 시뮬레이션이 주류가 되었고, NuRec와 같은 방법이 중심적인 역할을 하고 있다. 그러나 이러한 방법들은 여전히 상대적으로 느리고, 일반적으로 장면별 튜닝이 필요하다. 본 연구에서는 단일 순전파(forward pass)로 짧은 다시점(multi-view) 주행 로그를 완전히 시뮬레이션 가능한 3D Gaussian Splatting(3DGS) 세계로 변환하는 피드포워드 신경 재구성 모델인 Instant NuRec를 제안한다. 이 모델은 보정된 카메라 리그의 다시점 입력을 받아 정적 및 동적 3DGS 레이어, 스카이 큐브맵(sky cubemap), 카메라별 ISP 보정으로 구성된 계층적 출력을 생성하며, 3DGUT를 통해 비 핀홀(non-pinhole) 카메라 모델에 대한 네이티브 지원을 제공한다. 이 모델은 10–20초 길이의 다중 카메라 장면을 약 1.5초 만에 재구성하며, Waymo Open 데이터셋에서 평가된 가장 강력한 기준선보다 PSNR이 2.01 dB 높은 성능을 달성한다. Instant NuRec는 NuRec에 깊이 통합되어 있으며, 폐루프(closed-loop) 시뮬레이션을 위해 AlpaSim과 호환된다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.