morai.ai

이 이메일 도메인이 관측된 논문 1건

arXiv:2610.08339v1cs.CV

디지털 트윈 기반 Real2Sim2Real: 쌍을 이룬 주행 장면 재구성을 통한 시뮬레이터 조건부 생성

Digital Twin-Driven Real2Sim2Real: Simulator-Conditioned Generation via Paired Driving-Scene Reconstruction

자율주행을 위한 카메라 기반 3D 인지는 대규모 주석 데이터셋에 크게 의존하며, 이러한 시스템을 새로운 목표 지역에 배포하려면 일반적으로 데이터 수집과 주석 작업이 필요합니다. 이러한 비용을 줄이기 위해 생성형 증강(generative augmentation)이 제안되었으나, 기존 접근 방식들은 근본적인 트레이드오프에 직면해 있습니다. 라벨 조건부 방식은 대체하고자 하는 주석 자체를 소모하는 반면, 시뮬레이터 조건부 방식은 무료 주석을 제공하지만 특정 실제 환경에 대한 시각적 그라운딩(grounding)이 부족합니다. 본 연구는 디지털 트윈 기반 Real2Sim2Real 파이프라인(DT-R2S2R)이 목표 지역의 실제 데이터를 어느 정도까지 대체할 수 있는지 조사합니다. 지리 참조된 디지털 트윈 내에서 녹화된 주행 클립을 재구성함으로써(DT-R2S), 기하학적으로 정렬된 시뮬레이터 렌더링을 조건으로 디퓨전 모델(diffusion model)을 적용하여 디지털 트윈에 기반한 Sim2Real 모델(DT-S2R)을 구축합니다. 그 결과, DT-S2R은 디지털 트윈 적용 범위 내에서 재구성된 장면과 새로운 시뮬레이터 장면 모두에 대해 비용이 저렴하면서도 지리 참조된 시뮬레이터 데이터가 주어졌을 때 사실적인 주행 이미지를 합성합니다. 생성된 데이터의 효용성은 다양한 3D 검출기에서 검증되었습니다. 특히 DETR3D는 검출기 학습(training)에 목표 이미지를 사용하지 않고도 목표 지역 실제 데이터 오라클이 달성한 mAP의 93.18%를 기록했습니다. 나아가, 기존 목표 외 실제 데이터와의 단순한 공동 학습만으로도 오라클 성능을 능가합니다. 따라서 DT-R2S2R은 디지털 트윈을 활용할 수 있는 지역에서 수작업 현장 데이터 수집 및 주석 비용을 크게 절감할 수 있으며, 3D 인지 스케일링을 위한 실용적인 기반을 제공합니다.