arXiv:2607.12214v2 cs.CV

완벽한 사전 지식을 넘어서: 실환경 4D 주행 재구성을 위한 적응형 가우시안 그래프

Robust 4D Driving Scene Reconstruction from Imperfect Visual Priors

Xiaoyun Dong, Qian Xu, Yun Wang, Yang Lu, Jen-Ming Wu, Jianping Wang

제출 2026-07-07

한국어 초록

실환경(in-the-wild)에서 4D 주행 장면을 재구성하는 것(예: 인터넷 및 AI 생성 비디오)은 다양한 자율주행 시뮬레이션에 필수적이다. 최근 가우시안 씬 그래프(GSG) 방법들은 인상적인 시각적 품질을 달성하지만, 정확한 카메라 포즈, LiDAR 깊이, 또는 수동 어노테이션과 같은 정밀한 사전 지식(priors)에 크게 의존한다. 실환경 비디오에서 추정된 노이즈가 있는 사전 지식으로 초기화하면, 기존 GSG 방법들은 최적화 모호성(예: 카메라와 에이전트 포즈의 얽힘)과 위상학적 실패(예: 객체 누락)로 인해 심각한 렌더링 아티팩트가 발생한다. 견고한 실환경 재구성을 가능하게 하기 위해, 자기 교정(self-correcting) 4D 프레임워크인 적응형 가우시안 그래프(AGG)를 제안한다. 의미론적 가이드 Tick-Tock 전략은 2D 파운데이션 특징을 활용하여 정적 배경 및 카메라 포즈 업데이트를 동적 에이전트 학습과 명시적으로 분리한다. 동시에, 적응형 위상 진화(Adaptive Topology Evolution) 모듈은 누락된 에이전트를 생성하고, 잘못 분류된 가우시안을 재할당하며, 거짓 양성을 가지치기하여 그래프 구조를 능동적으로 교정한다. 이 실환경 설정을 엄밀하게 평가하기 위해, 인터넷 및 생성형 비디오로 구성된 도전적인 벤치마크 Wild-30을 도입한다. KITTI와 Wild-30에 대한 광범위한 실험을 통해, AGG가 노이즈가 있는 사전 지식 하에서 시각적 충실도와 견고함 측면에서 최신(state-of-the-art) 방법들을 일관되게 능가함을 검증한다.

원문 초록

Reconstructing 4D driving scenes in the wild (e.g., internet and AI-generated videos) is critical for diverse autonomous driving simulation. While recent Gaussian Scene Graph (GSG) methods achieve impressive visual quality, they heavily rely on precise priors, such as accurate camera poses and LiDAR depth, or manual annotations. When initialized with noisy priors estimated from in-the-wild videos, existing GSG methods suffer from optimization ambiguity (e.g., entangling camera and agent poses) and topological failures (e.g., missing objects), causing severe rendering artifacts. To enable robust in-the-wild reconstruction, we introduce Adaptive Gaussian Graph (AGG), a self-correcting 4D framework. Our Semantically-Guided Tick-Tock Strategy leverages 2D foundation features to explicitly decouple static background and camera pose updates from dynamic agent learning. Concurrently, our Adaptive Topology Evolution module actively rectifies graph structures by spawning missing agents, reassigning misclassified Gaussians, and pruning false positives. To rigorously evaluate this in-the-wild setting, we introduce Wild-30, a challenging benchmark of internet and generative videos. Extensive experiments on KITTI and Wild-30 validate that AGG consistently outperforms state-of-the-art approaches in visual fidelity and robustness under noisy priors.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2607.12214v2제출 시각 미확인
  2. arXiv:2607.12214v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10960v1cs.CV공통 태그 Pose Estimation, 3D Reconstruction, Novel View Synthesis

LVSPM: 긴 시퀀스 뷰 합성 및 포즈 추정 모델

LVSPM: Long Sequence View Synthesis and Pose Estimation Model

본 논문은 보정되지 않은(uncalibrated) 이미지 집합으로부터 카메라 포즈를 추정하고 새로운 뷰(novel view)를 합성하는 작업을 동시에 수행하는 일반화 가능한 모델인 LVSPM을 제안한다. LVSPM은 RGB 이미지와 포즈 감독(supervision)만으로 학습되며, 밀집(dense) 3D 정답(ground truth)을 필요로 하지 않고, 테스트 시점 학습(test-time training, TTT) 레이어를 사용하여 수백 개의 입력 뷰로도 원활하게 확장된다. RealEstate10k, Co3Dv2, DL3DV 데이터셋에서 LVSPM은 16~256개 뷰 구간에서 포즈 추정 성능이 VGGT를 능가하며, 특히 엄격한(strict) 임계값(threshold)에서 그 격차가 더욱 크게 나타난다. 더 많은 뷰가 더 큰 장면(scene)을 포괄하는 실용적인(practical) 프로토콜 하의 새로운 뷰 합성(novel view synthesis)에서, LVSPM은 포즈를 사용하지 않는(pose-free) 방식으로 최고 수준(state-of-the-art)의 품질을 달성하며---PSNR 기준으로는 포즈에 의존하는(pose-dependent) 모델조차 능가한다---장면 규모가 커질수록 기준선(baseline) 모델들의 성능이 붕괴되는 것과 달리 높은 품질을 계속 유지한다. 코드는 https://burningdust21.github.io/Projects/LVSPM 에서 확인할 수 있다.

arXiv:2610.02343v1cs.CV공통 태그 Pose Estimation, 3D Reconstruction, 4D reconstruction

SCOPE-4D: 내시경 4D 기하학 파운데이션 모델

SCOPE-4D: Endoscopic 4D Geometry Foundation Models

기하학적 이해는 내시경 내비게이션과 로봇 보조를 뒷받침하지만, 신뢰할 수 있는 내시경 기하학을 학습하는 것은 기하학적 주석의 부족과 카메라 움직임과 조직 변형 간의 모호성이라는 두 가지 과제에 직면해 있습니다. 본 논문에서는 단안 RGB 비디오로부터 단일 순전파(forward pass)만으로 카메라 파라미터, 조밀한 기하학, 3D 조직 궤적을 공동으로 예측하는 내시경 4D 기하학 파운데이션 모델인 SCOPE-4D를 제시합니다. 본 연구의 큐레이션 및 주석 파이프라인은 실제 및 합성 위장 내시경과 복강경을 아우르는 약 5,000개 클립 모음인 SCOPE-5K를 구축합니다. 이 컬렉션은 풍부한 기하학적 감독을 제공하며, 새롭게 수집된 팬텀 및 실제 대장 내시경 평가 세트를 포함합니다. SCOPE-5K에 대한 기하학 지도 미세조정(supervised fine-tuning)은 내시경 사전 지식(prior)을 학습하여 카메라 및 깊이 추정을 향상시킵니다. 공통-잔차 모션(Common--Residual Motion, CRM)은 공통 조직 움직임에 상대적인 국소 변형을 추가로 제약합니다. 기하학적 감독과 더불어, CRM 및 궤적 감독은 기하학 미세조정(fine-tuning) 단독 대비 카메라 및 깊이 추정을 더욱 향상시키는 동시에 조밀한 3D 조직 추적을 가능하게 합니다. 공개 벤치마크 및 새로 수집된 벤치마크에 대한 평가는 도메인 내 및 도메인 외 기하학에서의 강력한 성능, 우수한 3D 추적, 그리고 보다 안정적인 긴 시퀀스 대장 재구성을 입증합니다. 맹검 사용자 연구는 실제 임상 비디오에서 체감 재구성 품질을 추가로 뒷받침합니다. 이러한 결과는 공동 기하학 추정 및 조직 추적을 위한 대규모 내시경 감독과 모션 제약의 가치를 종합적으로 입증합니다.

arXiv:2609.39841v2cs.CV공통 태그 Autonomous Driving, 3D Reconstruction, Novel View Synthesis

DyRAD: 동적 주행 장면을 위한 레이더 신규 시점 합성

DyRAD: Radar Novel View Synthesis for Dynamic Driving Scenes

기록된 센서 데이터로부터 동적 주행 장면을 재구성하는 기술은 기존 주행 궤적을 벗어난 관측값을 합성함으로써 자율주행 시스템의 폐루프(closed-loop) 평가를 지원합니다. 카메라 및 라이다(LiDAR)와 달리, 레이더는 도플러(Doppler) 효과를 통해 시선 방향 속도(radial velocity)를 직접 측정합니다. 그러나 기존 레이더 신규 시점 합성(novel-view synthesis) 방식들은 이러한 역량을 제대로 활용하지 못하고 있습니다. 동적 장면을 다루는 방법들은 거리-방위각(range-azimuth) 텐서만을 재구성하는 반면, 도플러를 렌더링하는 방법들은 정적 장면만을 가정합니다. 더욱이 레이더 신호 처리 특성상 각 반사 신호가 여러 빈(bin)에 걸쳐 퍼지기 때문에, 기존 표현 방식들은 이러한 번짐 효과를 장면 기하 구조에 흡수하여 시점이 이동할 때 왜곡된 렌더링을 유발합니다. 본 논문에서는 정적 배경 반사체와 움직임이 추적되는 동적 점 반사체를 활용해 동적 주행 장면을 모델링하고 완전한 거리-방위각-도플러(RAD) 텐서를 렌더링하는 DyRAD를 제안합니다. 반사체의 속도는 객체 추적 궤적으로부터 유도되어 시선 방향으로 투영되므로, 도플러는 렌더링된 출력이자 해당 추적을 위한 감독(supervision) 신호로 동시에 기능합니다. 결정적으로, 레이더의 신호 처리 체인에서 유도된 고정된 해석적 점 확산 함수(PSF)를 통해 반사체를 렌더링함으로써 센서로 인한 번짐이 장면 표현에 영구적으로 반영되는 것을 방지합니다. 이러한 분리는 장면 재구성 성능을 향상시킬 뿐만 아니라 제로샷(zero-shot) 센서 구성 전이를 가능하게 하여, 재적합(refitting) 과정 없이도 동일하게 재구성된 장면을 서로 다른 레이더 사양 하에서 렌더링할 수 있도록 지원합니다. 저자들은 선행 연구에서 검증되지 않은 경로 상 포즈 및 위치가 이동된 시점 모두를 아우르며 RADIal, Boreas 및 합성 벤치마크에서 DyRAD를 평가(evaluation)합니다. RADIal 데이터셋에서 DyRAD는 가장 강력한 기준선(baseline)의 26.9% 대비 90.7%의 기준 감지 객체에서 레이더 검출을 복원해 냅니다.

arXiv:2610.01229v1cs.CV공통 태그 3D Reconstruction, Novel View Synthesis, 4D reconstruction

동적 장면을 위한 컴팩트한 명시적 4D 표현

A Compact Explicit 4D Representation for Dynamic Scenes

컴팩트한 동적 장면 표현은 시간에 따라 관찰되는 표면과 새로운 시점에서 이를 렌더링하는 데 필요한 외형을 모두 유지해야 합니다. 본 논문에서는 카메라 정보가 알려진 단안 비디오를 희소(sparse) 4D 장면 상태로 인코딩하는 피드포워드 오토인코더인 Sparc4D를 제시합니다. 정적 특징(feature)은 클립 전체에서 공유되는 반면, 공간적으로 고정된 시간적 슬롯(temporal slot)은 시간에 따라 변하는 특징을 압축합니다. 희소 디코더는 2D 가우시안 서펠(Gaussian surfel)을 생성하며, 저장된 소스 픽셀은 기하학적 재투영을 통해 미세한 텍스처를 보존합니다. 이 상태에는 학습된 특징 및 희소 점유(occupancy)와 함께 하나의 전체 소스 프레임 및 매 4번째 프레임마다 샘플링된 동적 영역 픽셀이 포함됩니다. 32프레임 MultiCamVideo 클립의 경우, 무작위 윈도우에서 평균 0.95M개, first-32 프로토콜에서 0.92M개의 32비트 환산 값을 기록합니다. first-32에서 Sparc4D는 MoVieS의 20.40\,dB에 비해 21.70\,dB에 도달합니다. 무작위로 배치된 윈도우에서는 두 모델의 PSNR 점수가 비슷합니다. 저장된 텍스처를 비활성화했을 때, 시간적 슬롯은 시간에 따라 변하는 특징 상태를 중앙값 기준 4.0배 압축하고 평균 상태를 1.04M개에서 0.42M개 값으로 줄이면서도 타깃 뷰 재구성 품질을 본질적으로 거의 동일하게 유지합니다. 실제 데이터에 대한 미세조정(fine-tuning) 없이도 Sparc4D는 DyCheck 및 Neu3D로 전이되며, 저장된 텍스처는 PSNR을 약간 낮추는 대신 LPIPS를 향상시킵니다.

arXiv:2610.01286v1cs.CV공통 태그 Pose Estimation, 3D Reconstruction, 4D reconstruction

Dyna3: 심도 파운데이션 모델 기반 VLM 유도형 무학습 4D 재구성

Dyna3: VLM-Guided Training-Free 4D Reconstruction via Depth Foundation Models

Depth Anything 3(DA3)와 같은 최신 심도 파운데이션 모델은 뛰어난 다중 뷰 심도 추정을 달성하지만 정적 3D 장면을 가정하므로 실제 동적 환경에 대한 적용 가능성이 제한됩니다. Easi3R 및 VGGT4D와 같은 기존 무학습 4D 기법들은 어텐션이 프레임 간 매칭을 인코딩하는 대응점 학습 기반 백본에 의존하지만, DA3와 같은 심도 전용 모델에는 이러한 특성이 없습니다. 본 논문에서는 미세조정 없이도 4D 동적 장면 재구성을 위해 DA3를 확장하는 무학습 프레임워크인 Dyna3를 제안합니다. 핵심 통찰은 DA3의 교차 뷰 특징이 심도 일관성만을 위해 학습되었음에도 불구하고, 프레임 간 최적 매칭 특징 검색과 결합될 때 모션 구별 신호를 암시적으로 인코딩한다는 점입니다. 정적 표면은 전역적으로 일관된 매칭을 찾는 반면, 동적 객체는 그렇지 못합니다. 나아가 비전-언어 모델(VLM)을 채택하여 SAM 3를 위한 장면별 의미론적 프롬프트를 자동으로 생성함으로써, 존재하는 객체와 움직이는 객체를 구분하는 정밀한 인스턴스 수준 분할을 가능하게 합니다. 재구성을 위해 장면을 프레임 간 정렬된 정적 배경과 프레임별 동적 포인트 클라우드로 분리합니다. 4개 데이터셋에 대한 실험을 통해 Dyna3는 동적 객체 분할에서 최고 성능인 VGGT4D 대비 J-Mean 기준 +5.5%p 향상으로 대응점 학습 기반 방법들을 능가하는 동시에, 4~8배 낮은 메모리로 최대 13배 빠른 포즈 추정과 3배 빠른 4D 재구성을 달성함을 입증합니다. 따라서 Dyna3는 이전 방법들이 지원할 수 없었던 훨씬 더 조밀한 시간적 샘플링을 가능하게 할 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.