arXiv:2610.08339v1 cs.CV

디지털 트윈 기반 Real2Sim2Real: 쌍을 이룬 주행 장면 재구성을 통한 시뮬레이터 조건부 생성

Digital Twin-Driven Real2Sim2Real: Simulator-Conditioned Generation via Paired Driving-Scene Reconstruction

Hojun Lim, Hyeongseok Jeon, Donghyun Kim, Soonyoung Jung, Heecheol Yoo

제출 2026-10-06

저자 비고

arXiv Comments

8 pages, 6 figures

한국어 초록

자율주행을 위한 카메라 기반 3D 인지는 대규모 주석 데이터셋에 크게 의존하며, 이러한 시스템을 새로운 목표 지역에 배포하려면 일반적으로 데이터 수집과 주석 작업이 필요합니다. 이러한 비용을 줄이기 위해 생성형 증강(generative augmentation)이 제안되었으나, 기존 접근 방식들은 근본적인 트레이드오프에 직면해 있습니다. 라벨 조건부 방식은 대체하고자 하는 주석 자체를 소모하는 반면, 시뮬레이터 조건부 방식은 무료 주석을 제공하지만 특정 실제 환경에 대한 시각적 그라운딩(grounding)이 부족합니다. 본 연구는 디지털 트윈 기반 Real2Sim2Real 파이프라인(DT-R2S2R)이 목표 지역의 실제 데이터를 어느 정도까지 대체할 수 있는지 조사합니다. 지리 참조된 디지털 트윈 내에서 녹화된 주행 클립을 재구성함으로써(DT-R2S), 기하학적으로 정렬된 시뮬레이터 렌더링을 조건으로 디퓨전 모델(diffusion model)을 적용하여 디지털 트윈에 기반한 Sim2Real 모델(DT-S2R)을 구축합니다. 그 결과, DT-S2R은 디지털 트윈 적용 범위 내에서 재구성된 장면과 새로운 시뮬레이터 장면 모두에 대해 비용이 저렴하면서도 지리 참조된 시뮬레이터 데이터가 주어졌을 때 사실적인 주행 이미지를 합성합니다. 생성된 데이터의 효용성은 다양한 3D 검출기에서 검증되었습니다. 특히 DETR3D는 검출기 학습(training)에 목표 이미지를 사용하지 않고도 목표 지역 실제 데이터 오라클이 달성한 mAP의 93.18%를 기록했습니다. 나아가, 기존 목표 외 실제 데이터와의 단순한 공동 학습만으로도 오라클 성능을 능가합니다. 따라서 DT-R2S2R은 디지털 트윈을 활용할 수 있는 지역에서 수작업 현장 데이터 수집 및 주석 비용을 크게 절감할 수 있으며, 3D 인지 스케일링을 위한 실용적인 기반을 제공합니다.

원문 초록

Camera-based 3D perception for autonomous driving relies heavily on large annotated datasets, and deploying such a system to a new target region typically requires data collection and annotation. Generative augmentation has been proposed to reduce this cost, but existing approaches face a fundamental trade-off: label-conditioned methods consume the very annotations they aim to replace, while simulator-conditioned methods offer free annotations but lack visual grounding to specific real environments. This work investigates the extent to which a digital-twin-driven Real2Sim2Real pipeline (DT-R2S2R) can substitute for target-region real data. By reconstructing recorded driving clips inside a georeferenced digital twin (DT-R2S), we condition a diffusion model on geometrically aligned simulator renderings, establishing a digital twin-grounded Sim2Real model (DT-S2R). As a result, DT-S2R synthesizes photorealistic driving images given low-cost yet georeferenced simulator data across both reconstructed and novel simulator scenes within digital-twin coverage. The efficacy of generated data is verified on diverse 3D detectors. DETR3D, especially, reports 93.18% of mAP obtained by a target-region real-data oracle, without employing target images for detector training. Furthermore, simple co-training with existing out-of-target real data outperforms the oracle. Thus, DT-R2S2R can substantially reduce the cost of manual on-site data collection and annotation in digital twin-available districts, providing a practical foundation for scaling 3D perception.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.08339v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.