DyRAD: 동적 주행 장면을 위한 레이더 신규 시점 합성
DyRAD: Radar Novel View Synthesis for Dynamic Driving Scenes
한국어 초록
기록된 센서 데이터로부터 동적 주행 장면을 재구성하는 기술은 기존 주행 궤적을 벗어난 관측값을 합성함으로써 자율주행 시스템의 폐루프(closed-loop) 평가를 지원합니다. 카메라 및 라이다(LiDAR)와 달리, 레이더는 도플러(Doppler) 효과를 통해 시선 방향 속도(radial velocity)를 직접 측정합니다. 그러나 기존 레이더 신규 시점 합성(novel-view synthesis) 방식들은 이러한 역량을 제대로 활용하지 못하고 있습니다. 동적 장면을 다루는 방법들은 거리-방위각(range-azimuth) 텐서만을 재구성하는 반면, 도플러를 렌더링하는 방법들은 정적 장면만을 가정합니다. 더욱이 레이더 신호 처리 특성상 각 반사 신호가 여러 빈(bin)에 걸쳐 퍼지기 때문에, 기존 표현 방식들은 이러한 번짐 효과를 장면 기하 구조에 흡수하여 시점이 이동할 때 왜곡된 렌더링을 유발합니다. 본 논문에서는 정적 배경 반사체와 움직임이 추적되는 동적 점 반사체를 활용해 동적 주행 장면을 모델링하고 완전한 거리-방위각-도플러(RAD) 텐서를 렌더링하는 DyRAD를 제안합니다. 반사체의 속도는 객체 추적 궤적으로부터 유도되어 시선 방향으로 투영되므로, 도플러는 렌더링된 출력이자 해당 추적을 위한 감독(supervision) 신호로 동시에 기능합니다. 결정적으로, 레이더의 신호 처리 체인에서 유도된 고정된 해석적 점 확산 함수(PSF)를 통해 반사체를 렌더링함으로써 센서로 인한 번짐이 장면 표현에 영구적으로 반영되는 것을 방지합니다. 이러한 분리는 장면 재구성 성능을 향상시킬 뿐만 아니라 제로샷(zero-shot) 센서 구성 전이를 가능하게 하여, 재적합(refitting) 과정 없이도 동일하게 재구성된 장면을 서로 다른 레이더 사양 하에서 렌더링할 수 있도록 지원합니다. 저자들은 선행 연구에서 검증되지 않은 경로 상 포즈 및 위치가 이동된 시점 모두를 아우르며 RADIal, Boreas 및 합성 벤치마크에서 DyRAD를 평가(evaluation)합니다. RADIal 데이터셋에서 DyRAD는 가장 강력한 기준선(baseline)의 26.9% 대비 90.7%의 기준 감지 객체에서 레이더 검출을 복원해 냅니다.
원문 초록
Reconstructing dynamic driving scenes from recorded sensor data supports closed-loop evaluation of autonomous driving systems by synthesizing observations beyond the original trajectory. Unlike cameras and LiDAR, radar measures radial velocity directly through Doppler. Yet existing radar novel-view synthesis fails to exploit this capability: methods addressing dynamic scenes reconstruct only range-azimuth tensors, while methods that render Doppler assume static scenes. Moreover, because radar processing spreads each reflection across multiple bins, existing representations absorb this spread into scene geometry, causing it to render incorrectly when the viewpoint moves. We present DyRAD, which models dynamic driving scenes using static background reflectors and motion-tracked dynamic point reflectors to render complete range-azimuth-Doppler (RAD) tensors. Reflector velocities are derived from object tracks and projected onto the line of sight, making Doppler both a rendered output and supervision for those tracks. Crucially, we render reflectors through a fixed analytic point-spread function (PSF) derived from the radar's signal-processing chain, preventing sensor-induced spread from being baked into the scene representation. Beyond improving scene reconstruction, this separation also enables zero-shot sensor-configuration transfer, allowing the same reconstructed scene to be rendered under different radar specifications without refitting. We evaluate DyRAD on RADIal, Boreas, and a synthetic benchmark across both on-path poses and displaced viewpoints untested by prior work. On RADIal, DyRAD recovers radar detections in 90.7% of reference-detected objects, compared with 26.9% for the strongest baseline.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
VDGS: 항공 장면 재구성을 위한 가시성 기반 대규모 3D 가우시안 스플래팅
VDGS: Visibility-Driven Large-Scale 3D Gaussian Splatting for Aerial Scene Reconstruction
대규모 장면 재구성은 3D 매핑, 자율주행과 같은 로봇 자율 시스템에서 핵심적인 기반 기술이다. 최근 3D 가우시안 스플래팅(3D Gaussian Splatting, 3DGS)은 시각적 품질과 연산 효율성 모두에서 뛰어난 장점을 보이며, 대규모 장면 재구성을 위한 유망한 표현 방식으로 자리 잡았다. 그러나 대규모 장면에서는 과도한 메모리 소비와 UAV(무인 항공기) 촬영으로 인한 불균일한 시점 커버리지 등의 문제가 여전히 남아 있어 실제 응용을 제한하고 있다. 이를 해결하기 위해, 우리는 카메라 분포를 장면 모델링에 통합한 새로운 3DGS 프레임워크인 VDGS를 제안한다. VDGS는 감독(supervision) 강도를 정량화하기 위해 장면 앵커(anchor)에 대한 가시성 기반 통계를 도입한다. 이 통계는 장면 분할과 최적화가 부족한 영역에 대한 그래디언트 보정에 추가로 활용되어, 서로 다른 영역 간 균형 잡힌 최적화를 촉진한다. 여러 대규모 항공 장면 데이터셋에 대한 광범위한 실험을 통해, VDGS는 불균형한 시점 분포 상황에서 기존 방법들을 일관되게 능가하면서도, 시점 분포가 더 균일한 시나리오에서도 경쟁력 있는 성능을 유지함을 입증하였다.
CoaG: 그리드 위의 원기둥: 비디오 생성을 위한 대략적인 3D 레이아웃 제어
CoaG: Cylinders on a Grid: Coarse 3D Layout Control for Video Generation
우리는 생성된 비디오에서 사람이 서 있는 위치와 카메라가 움직이는 경로를 모두 제어하기 위해 사용자가 얼마나 적은 기하학적 요소(geometry)를 그려야 하는지 질문을 던집니다. 우리의 답은 지면(ground plane)과 사람당 하나의 원기둥(cylinder)입니다. 사용자가 지면에 그리드를 그리고, 각 사람이 서 있어야 할 위치에 원기둥을 하나씩 배치한 뒤, 81프레임에 걸쳐 원기둥과 카메라를 이동시키면, 모델은 사람들이 원기둥의 위치를 차지하고 원기둥이 움직이는 대로 이동하며 그려진 카메라 시점에서 바라본 사실적인 비디오를 렌더링합니다. 외형(appearance)은 텍스트 프롬프트와 배경 참조 이미지에서 비롯되며, 레이아웃과 움직임은 기하학적 형상에서 비롯됩니다. 이러한 신호와 비디오를 쌍으로 묶은 데이터셋이 없기 때문에, 우리는 이 쌍을 직접 구축합니다. 자동화 엔진이 조합형 시드(combinatorial seed)로부터 2,000개의 캡션을 작성하고, 텍스트-비디오(text-to-video) 모델로 각각에 대한 클립을 생성한 다음, 실제 영상이나 수작업 라벨 없이 사람 추적(tracking), 배경 인페인팅(inpainting), 에이전트 기반 지면 마스크 루프, 피드포워드 다중 시점 재구성(feed-forward multi-view reconstruction) 및 평면 피팅을 통해 모든 클립을 기하학적 형상으로 다시 복원(lift)합니다. 이러한 1,935개의 튜플로 학습된 Wan2.2-Fun-Control 기반의 LoRA는 홀드아웃 클립에서 그려진 레이아웃과 카메라 경로를 잘 따릅니다. 즉, 생성된 인물들은 원기둥의 개수, 순서, 위치 및 높이와 일치하며, 텍스트는 인물이 누구인지를 바꾸고, 참조 이미지는 그들이 어디에 있는지를 변경하며, 돌리-인(dolly-in), 오빗(orbit), 팬(pan), 크레인(crane) 경로는 따르지만 돌리-아웃(dolly-out)은 약하게만 따릅니다.
RoadVGGT: 도로 구조 인식 피드포워드 도로 표면 재구성
RoadVGGT: Road-Structure-Aware Feed-Forward Road Surface Reconstruction
대규모 도로 표면 재구성은 고해상도 매핑, 자율주행 인식, 어노테이션, 시뮬레이션을 지원한다. 기존 도로 특화 최적화 방법은 고품질 도로 표현을 생성할 수 있지만, 일반적으로 장면별 학습과 주행 궤적 주변의 장면 의존적 커버리지 설계가 필요하여, 새로 수집된 도로에 대한 확장 가능한 재구성을 제한한다. 이러한 한계를 해결하기 위해, 테스트 시점 장면별 최적화 없이 간결한 가우시안 도로 표면을 재구성하는 도로 구조 인식 피드포워드 프레임워크인 RoadVGGT를 제안한다. RoadVGGT는 기하학적 파운데이션 모델을 사용하여 다중 뷰 이미지와 제공된 포즈 및 깊이 관측을 함께 활용하고, 학습된 가우시안 헤드를 통해 밀집한 픽셀 정렬 가우시안 속성을 예측한다. 이러한 밀집 예측을 대규모 도로 표면에 활용 가능하게 하기 위해, 일관된 미터법 세계 좌표계로 정렬하고 도로 정렬 XY 평면에서 신뢰도 가중 그리드 융합을 통해 중복 가우시안을 융합한다. 카테고리 인식 그룹화와 도로-보도 접합부 보호는 취약한 도로 구조 주변의 융합을 추가로 제어한다. 결과 표현은 RGB 및 의미론적 조감도(bird's-eye-view) 맵, 고도 추정, 새로운 시점 합성을 지원한다. RoadVGGT는 기존 방법의 장면별 최적화 필요성을 제거하고, 간결한 가우시안 표현으로 완전한 도로 표면을 재구성하며, 이미지 품질, 의미론적 매핑, 고도 정확도를 향상시킨다. 광범위한 실험은 확장 가능한 피드포워드 도로 표면 재구성을 위한 기하학적 파운데이션 모델의 잠재력을 입증한다.
동적 명시적 머리카락을 갖춘 헤드 아바타
Head Avatars with Dynamic Explicit Hair
DynHair를 제안한다. 이는 인간 헤드 아바타의 동적 머리카락을 추적하고 모델링하기 위한 새로운 방법이다. 비디오 입력으로부터 structured 3D Gaussian Splatting을 사용하여 명시적 가닥(strand) 기반 머리카락 표현을 갖춘 동적 헤드 아바타를 재구성한다. 표현력 있는 3D 헤드 모델에 대해 부착되거나 생성된 3D Gaussian으로 모델링할 수 있는 인간 헤드 아바타의 얼굴 영역과 달리, 머리카락은 동적 움직임 효과를 보이기 때문에 특히 어렵다. 따라서 머리카락 가닥의 동적 변형을 머리의 각속도(angular velocity)와 가속도, 그리고 상대적 중력(relative gravity)에 조건화된 시간적 네트워크로 모델링하는 새로운 방법을 제안한다. 구체적으로, LSTM이 운동 이력을 인코딩하고 FiLM conditioning을 통해 점별(per-point) 가닥 특징을 변조하며, 이는 MLP에서 canonical hairstyle에 대한 물리적으로 타당한 변위(displacement)를 생성하는 데 사용된다. 광도(photometric), 기하(geometric), 물리 기반(physics-based) supervision을 갖춘 미분 가능(differentiable) Gaussian splatting을 통해, 얼굴 영역의 3DGS 기반 표현과 함께 머리카락의 이 운동 및 외형 표현을 공동 최적화한다. 이 방법의 결과로, 학습 비디오 데이터에 대한 머리카락 추적과 제어 가능한 머리카락 역학(dynamics)을 갖춘 애니메이션 가능(animatable)한 헤드 아바타를 얻는다. 실험에서 머리카락 역학, 시간적 일관성(temporal consistency), 피험자 간 일반화(generalization) 측면에서 최신(state-of-the-art) 성능을 보여준다.
고�급 거리 수준 영상을 활용한 시각적 위치 추정의 정확도 잠재력
Accuracy potential of visual localization exploiting high-end street-level imagery
Totem: 월드 일관적 비디오 생성을 위한 객체 중심 3D 메모리
Totem: Object-Centric 3D Memory for World-Consistent Video Generation
통합된 기저 세계에 그라운딩(grounding)된 일관성 있는 비디오를 생성하는 것은 여전히 주요한 과제이며, 특히 시점 변화가 큰 상황에서 기존 방식들은 개별 객체의 안정적인 표현을 유지하는 데 어려움을 겪는 경우가 많습니다. 이를 위해 본 연구에서는 월드 일관적(world-consistent) 비디오 생성을 위한 객체 중심 3D 메모리 프레임워크인 Totem을 소개합니다. Totem은 먼저 선택된 각 객체를 공유된 월드 좌표계에 정렬된 영속적(persistent) 3D 메모리로 표현하고 전용 상태를 할당합니다. 이러한 메모리를 기반으로, 타깃 뷰 합성을 위해 객체 메모리와 씬 지오메트리를 결합하는 듀얼 스트림 3D 컨디셔닝 아키텍처를 설계합니다. 나아가 이러한 객체 메모리는 3D 구조 정보로 모델(model)의 어텐션(attention)을 제약함으로써, 객체 표면과 상대적인 공간 배치를 보존합니다. 월드 생성 및 객체 중심 벤치마크(benchmark)에 대한 광범위한 실험을 통해, Totem이 까다로운 카메라 궤적 하에서도 더욱 객체 일관적인 3D 월드를 묘사하는 비디오를 생성하는 동시에 다양한 응용 분야를 지원함을 입증합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
Project page: https://dyrad-nvs.github.io/. Code: https://github.com/Dyrad-NVS/DyRAD