arXiv:2406.18360

XLD: A Cross-Lane Dataset for Benchmarking Novel Driving View Synthesis

Hao Li, Chenming Wu, Ming Yuan, Yan Zhang, Chen Zhao, Chunyu Song, Haocheng Feng, Errui Ding, Dingwen Zhang, Jingdong Wang

제출 2024-06-26

원문 초록

Comprehensive testing of autonomous systems through simulation is essential to ensure the safety of autonomous driving vehicles. This requires the generation of safety-critical scenarios that extend beyond the limitations of real-world data collection, as many of these scenarios are rare or rarely encountered on public roads. However, evaluating most existing novel view synthesis (NVS) methods relies on sporadic sampling of image frames from the training data, comparing the rendered images with ground-truth images. Unfortunately, this evaluation protocol falls short of meeting the actual requirements in closed-loop simulations. Specifically, the true application demands the capability to render novel views that extend beyond the original trajectory (such as cross-lane views), which are challenging to capture in the real world. To address this, this paper presents a synthetic dataset for novel driving view synthesis evaluation, which is specifically designed for autonomous driving simulations. This unique dataset includes testing images captured by deviating from the training trajectory by $1-4$ meters. It comprises six sequences that cover various times and weather conditions. Each sequence contains $450$ training images, $120$ testing images, and their corresponding camera poses and intrinsic parameters. Leveraging this novel dataset, we establish the first realistic benchmark for evaluating existing NVS approaches under front-only and multicamera settings. The experimental findings underscore the significant gap in current approaches, revealing their inadequate ability to fulfill the demanding prerequisites of cross-lane or closed-loop simulation.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13891v1cs.CV공통 태그 Autonomous Driving, Benchmarking

눈송이를 넘어서: LiDAR 객체 검출에서 날씨 영향과 교란 메타 요인의 분리

Beyond the Snowflakes: Disentangling Weather Effects from Confounding Meta-Factors in LiDAR Object Detection

라이다(LiDAR, Light Detection and Ranging)는 자율 인지(autonomous perception)에 필수적이지만, 악천후에서 성능이 저하되는 것으로 알려져 있다. 기존 문헌은 눈을 성능을 저하시키는 대기 잡음(atmospheric noise)으로 모델링하지만, WADS-3D 및 CADC 데이터셋(dataset)에 대한 우리의 세밀한 평가는 반직관적인 현상을 드러낸다: 눈의 강도가 증가할수록 검출 정확도가 지속적으로 향상된다. 어블레이션 연구(ablation study)와 메타 정보 분석을 통해, 우리는 내리는 눈이 잡음으로 작용하는 것은 맞지만 그 부정적 영향이 동시에 발생하는 더 지배적인 요인, 즉 객체 포인트 수(object point count)의 상당한 증가에 의해 상쇄된다는 것을 확인하여 이를 설명한다. 우리는 이러한 객체 포인트 수 증가가 기하학적 향상(geometric enhancement)으로 작용한다고 가정하며, 이는 눈 축적이 차량 표면적을 증가시키고 정반사(specular reflectance)에서 난반사(diffuse reflectance)로의 전환을 유발하기 때문이라고 본다. 우리의 연구 결과는 상관된 객체 수준 데이터를 고려하지 않고 넓은 날씨 심각도 구간(weather-severity bin)을 사용하여 인지 시스템을 평가하면 검출기의 견고성(robustness)에 대해 오해를 불러일으키는 결론으로 이어질 수 있음을 보여준다. 우리는 정확한 평가를 위해서는 대기 잡음과 표면 축적 효과를 분리해야 한다고 결론짓고, 이러한 물리적 모델을 검증하기 위한 향후 연구 방향을 제시한다. WADS-3D 데이터셋은 다음에서 확인할 수 있다: https://digitalcommons.mtu.edu/wads-3d/.

arXiv:2610.10554v1cs.GR공통 태그 Benchmarking, Novel View Synthesis

GaussianBench: 가우시안 장면 표현을 위한 물리 충실도 평가

GaussianBench: Physics-Fidelity Evaluation for Gaussian Scene Representations

3D 가우시안 스플래팅(3D Gaussian Splatting)은 정적 재구성을 넘어 상호작용에 따라 장면이 어떻게 변화하는지 예측하기 위한 물리 통합형 표현으로 발전해 왔습니다. 이로 인해 평가 문제가 발생합니다. 즉, 롤아웃이 부정확한 내부 역학에 의존하면서도 그럴듯하게 보일 수 있으며, 관찰된 움직임과의 시각적 일치가 새로운 외력, 재질 편집, 접촉 또는 열적 개입에 대한 올바른 반응을 입증하지는 못합니다. 본 논문에서는 물리 통합형 가우시안 장면 표현을 위한 물리 충실도(physics-fidelity) 평가 스위트인 GaussianBench를 소개합니다. 이는 고정된 파일 기반 장면, 시뮬레이터 독립적인 채점기, 그리고 해석적(analytical) 또는 실측된 기준값을 사용합니다. 이 벤치마크는 보존 법칙, 연속체 반응, 이종 재질 간 결합, 가우시안 공분산 수송 및 렌더링, 열적 상변화, 반사실적 반응을 테스트합니다. 각 기준값은 유효 영역을 명시하며, 결과는 PASS, FAIL, NA, INVALID로 구분하여 물리적 실패를 미지원 기능 및 유효하지 않은 비교와 분리합니다. 또한 지속적인 3D 가우시안이 렌더링 프리미티브이자 연속체 재질 점으로 동시에 기능하는 열기계적(thermomechanical) 레퍼런스 모델인 GaussianFlesh를 제공하며, 이는 입자별 구성 방정식 디스패치 및 지속적 열·상태를 갖춘 공유 격자 MPM 솔버로 전진합니다. 본 논문은 공개된 6개의 외부 시스템인 PhysGaussian, GaussianFluent, OmniPhysGS, PhysDreamer, Physics3D, GASP를 평가합니다. 모든 시스템을 동일한 방식으로 테스트한 결과, 기존 자체 평가에서는 놓쳤던 실패 사례들이 드러났습니다. 특정 시스템은 단일 재질은 정확하게 시뮬레이션하지만 두 재질이 만나는 지점에서는 실패하거나, 실제로 생성하지도 않은 변형에 대해 가우시안을 올바르게 업데이트하기도 했습니다. 부합하는 결함 분석과 공차 감사를 통해 이러한 차이가 의도된 테스트에서 기인함을 확인했습니다. 따라서 물리 통합형 가우시안 시스템은 롤아웃이 그럴듯하게 보이는지뿐만 아니라 내부 물리 상태에 대해서도 반드시 검증되어야 합니다.

arXiv:2610.02726v1cs.CV공통 태그 Autonomous Driving, Novel View Synthesis

SymRegFlow: 비디오 월드 모델을 위한 대칭 정규화 플로우 매칭

SymRegFlow: Symmetry-Regularized Flow Matching for Video World Models

플로우 매칭(flow matching) 기반 다중 시점 월드 모델은 사실적인 비디오를 생성하지만, 일반적으로 고정된 카메라 리그(rig)로 제한됩니다. 이를 연속적으로 변화하는 카메라 포즈로 확장하려면 포즈 범위가 조밀한 쌍을 이룬 포즈-비디오 관측 데이터가 필요하며, 이는 획득 비용이 큽니다. 본 연구에서는 정답 신규 시점 RGB 지도 없이도 연속적인 시점 전반에서 다중 시점 일관성을 갖춘 비디오를 생성하는 대칭 정규화 플로우 매칭 프레임워크인 SymRegFlow를 소개합니다. SymRegFlow는 각 대상 포즈에 대해 소스 시점을 기하학적으로 워핑하여 노이즈가 포함된 앵커(anchor)로 변환하고, 마스킹된 듀얼 앵커 지도와 앵커 간 디노이징 출력 일관성을 결합하여 앵커 고유의 오차를 완화합니다. 아핀 가우시안 대리 모델 하에서, 적절한 일관성 정규화(regularization)가 고정된 노이즈 수준에서 깨끗한 참조 최적값을 복원하여 단일 및 병합 앵커 기준선(baseline)을 확실히 능가함을 증명합니다. Cosmos-Drive-Dreams 및 nuScenes에 대한 실험은 고품질의 다중 시점 일관성을 지닌 자율주행 비디오 생성을 입증합니다. nuScenes에서 SymRegFlow는 평가된 기준선 중 가장 낮은 FVD 및 FVMD를 달성하여 최고 기준선 대비 FVD를 31% 이상 줄였으며, 소스 조건부 추론(inference)에서도 최고의 FID 및 인스턴스 보존 성능을 달성했습니다.

arXiv:2610.01052v1cs.CV공통 태그 Autonomous Driving, Benchmarking

비디오 생성에서 동적 피사체 집합에 대한 피사체 일관성을 향하여

Towards Subject Consistency over Dynamic Subject Sets in Video Generation

본 논문에서는 비디오 생성이 더 긴 시간으로 확장됨에 따라, 피사체 일관성(subject consistency)을 동적 피사체 집합(dynamic subject sets) 상에서 평가해야 한다고 주장합니다. 이에 따라 적격한 피사체들의 가시적 수명 동안 이들을 동적으로 추적하고, 불일치 이벤트를 명시적으로 감지하며 상호 보완적인 6개의 객체 수준 지표를 사용하여 국소적 연속성과 전역적 정체성 보존을 측정하는 평가 프레임워크인 DynSC-Eval을 소개합니다. 유효성을 검증하기 위해 불일치 이벤트를 능동적으로 주입하는 합성 실험을 설계하여, DynSC-Eval의 민감도와 기존 지표들의 한계를 모두 입증합니다. 5초, 15초, 60초 비디오 생성에 대해 다양한 모델을 평가한 결과, 기존 지표로는 가려졌던 상당한 피사체 일관성 차이가 더욱 명확히 드러났습니다. 평가를 넘어, DynSC-Eval로부터 보상을 구축하고 자율주행 테스트베드에서 DiffusionNFT 사후 학습(post-training)을 적용합니다. 5초 생성에서 본 접근 방식은 6개의 불일치 지표를 Wan-2.1-1.3B의 경우 평균 13.82%, SANA-2B의 경우 5.66% 감소시켰으며, I2V 모델인 ReSim에서도 개선이 관찰되었습니다. 정성적 비교를 통해서도 제안 방법의 효과를 추가로 입증합니다. 이후 커리큘럼 학습(curriculum learning)을 통해 생성을 10초 및 30초로 확장하고, 다른 기능들을 대체로 보존하면서도 일관성 최적화가 여전히 유효함을 보여줍니다.

arXiv:2610.02363v2cs.LG공통 태그 Benchmarking

ArrivalBench: 에이전트가 생성한 데이터 파이프라인은 단 한 번만 올바르고 시간에 따라 틀린다

ArrivalBench: Agent-Generated Data Pipelines Are Correct Once and Wrong Under Time

에이전트가 생성한 데이터 작업을 평가하는 기존 벤치마크는 고정된 스냅샷에 대해 파이프라인을 한 번 실행하여 채점합니다. 이와 달리 ArrivalBench는 적대적이지만 재현 가능한 전달 스케줄(지연, 중복, 순서 뒤바뀜, 재시도된 레코드) 하에서 에이전트가 남긴 파이프라인을 재실행하며, 최종 상태가 전체 로그에 대한 배치 재계산 결과와 동일할 것을 요구합니다. 오라클이 분류하는 대신 재계산하기 때문에, 잘못된 테이블과 비정상 종료(crash)는 명확히 구분된 판정으로 취급됩니다. 즉, 비정상 종료는 팀이 이미 운영 중인 모니터링을 통해 감지할 수 있지만 잘못된 테이블은 감지되지 않습니다. 저자들이 구축한 40개 작업에서 단일 실행 채점을 재구현한 결과 11개 모델이 생성한 파이프라인의 86~100%가 통과 판정을 받았으나, 동일한 산출물을 재실행하자 통과된 것 중 7.0~79.2%가 조용히 틀린 결과를 내는 것으로 나타났습니다. 이러한 격차는 복구 루프 때문에 발생하는 것이 아닙니다. 동일한 모델과 작업 내에서 스냅샷 테스트를 거쳐 수정된 파이프라인은 처음에 통과한 파이프라인과 거의 비슷한 빈도로 재실행에 실패합니다. 모든 모델에서 멱등성 위험(idempotency hazard)이 순서 관련 위험보다 더 자주 실패를 유발했습니다. 오답과 비정상 종료를 분리하는 것은 개입(intervention)의 해석 방식도 바꿉니다. 한 모델의 경우 위험 경고를 통해 무음 실패(silent failure)를 48.2%에서 10.5%로 줄였지만 비정상 종료율은 9.0%에서 37.0%로 증가하여 전체 실패율은 51.0%에서 44.0%로 소폭 이동하는 데 그쳤습니다. 11개 실험군 모두 독립적으로 재실행되었으며, 실패율 변동은 최대 5.9%포인트에 불과했습니다.

arXiv:2610.13503v2cs.CV공통 태그 Novel View Synthesis

SplatQ: 2차 선택을 통한 3D 가우시안 스플래팅의 상호작용 인지 가지치기

SplatQ: Interaction-Aware Pruning of 3D Gaussian Splatting via Quadratic Selection

기존의 3D 가우시안 스플래팅(3DGS) 가지치기(pruning) 방법들은 주로 독립적인 중요도 점수에 기반한 전역 Top-K 선택에 의존하여, 영역별 예산 제어가 부족하고 공동 삭제 효과를 무시합니다. 결과적으로 전체 장면에 걸쳐 균형 잡힌 재구성 품질을 보장하지 못합니다. 본 논문에서는 고정된 예산 하에서 영역별 예산 할당과 공동 가우시안 선택을 조율하는 조합 가지치기 알고리즘인 SplatQ를 제안합니다. SplatQ는 공간적 근접성과 외형 유사성을 기준으로 가우시안을 크기가 제한된 블록으로 분할하여, 전역 선택 문제를 특정 크기의 하위 문제들로 분해합니다. 그런 다음 중요도 기반의 블록 유지 할당량을 평활화하여 과도한 예산 집중을 방지합니다. 마지막으로 가우시안 불투명도 변화에 대한 대표 픽셀 색상의 반응을 활용하여 공동 삭제 효과의 2차 근사를 구성합니다. 개별 반응, 쌍별 상호작용 및 할당량 페널티는 2차 비제약 이진 최적화(QUBO) 목적 함수에 통합되며, 모의 담금질(SA) 또는 코히런트 이징 머신(CIM)을 사용하여 이를 해결함으로써 가우시안을 공동으로 선택합니다. 5개 벤치마크에 대한 실험을 통해 SplatQ가 종합적인 재구성 품질, 공간적 품질 균형, 렌더링 속도 측면에서 최신 가지치기 방법들보다 우수한 성능을 보임을 입증합니다. 절제 연구(ablation)를 통해 예산 평활화가 국소적인 세부 표현 재구성을 향상시키는 한편, 상호작용 모델링이 고정된 예산 하에서 가우시안 선택 품질을 향상시킴을 확인합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.