Dash2Sim: 실제 환경 대시캠 영상을 이용한 폐루프 주행 시뮬레이션
Dash2Sim: Closed-Loop Driving Simulation from in-the-wild Dashcam Videos
자율 주행 시뮬레이션은 일반적으로 소수의 도시에서 수집된 데이터나 수동으로 작성된 합성 시나리오에 의존합니다. 대시캠 영상은 드물거나 롱테일(long-tailed) 시나리오를 포함하여 훨씬 더 다양한 위치와 상황을 포괄합니다. 단안(monocular) 실제 환경 영상에서 정확한 4D 장면을 복원하기 어렵기 때문에 시뮬레이션에 활용하기 어려운 것으로 간주되어 왔습니다. 공사 구역(work zone)은 대시캠이 포착하는 롱테일 상황 중 하나입니다. 본 논문에서는 Dash2Sim이라는 프레임워크를 제안합니다. Dash2Sim은 실제 환경의 단안 대시캠 영상을 기존 시뮬레이터와 호환되는 메트릭(metric), 지리 참조(geo-referenced) 4D 주행 로그로 변환하며, 별도의 주석 없이 독립적으로 관리되는 지도를 통해 각 로그를 검증합니다. 우리는 Dash2Sim을 대규모 비디오 말뭉치에 적용하여 ROADWork4D 벤치마크 데이터셋을 구축했으며, 이 데이터셋은 17개 도시에 걸쳐 4,244개의 장면과 270만 개의 3D 객체를 포함합니다. 검증된 부분 집합인 ROADWork4D-CL(2,201개 장면)에서 특권(privileged) 정보를 사용하는 폐루프 경로 계획기(planner)를 연구한 결과, 공사 구역 시나리오가 매우 어렵다는 것을 발견했습니다. 규칙 기반(rule-based) 및 하이브리드 플래너가 학습 기반(learning-based) 플래너보다 더 잘 일반화되지만, 모두 임시 공사 구역 차로에서 요구되는 차선 변경에 실패하는 등 성능이 미흡했습니다. 경로 계획 외에도, Dash2Sim이 복원한 밀도 깊이(dense depth)는 지각적(perceptual) 메트릭에서 새로운 시점 합성(novel-view synthesis) 품질을 최대 19%까지 향상시켰습니다. 이는 단안 영상으로부터 폐루프 센서 시뮬레이션을 위한 풍부한 조건(conditioning) 정보를 제공할 잠재력을 시사합니다.