arXiv:2605.29997v2 cs.CV

FRUC: 보정되지 않은 협력 주행 시점 기반 피드포워드 동적 장면 재구성

FRUC: Feedforward Dynamic Scene Reconstruction from Uncalibrated Collaborative Driving Views

Yihang Tao, Yu Guo, Zhengru Fang, Haonan An, Yuguang Fang

제출 2026-05-28

저자 비고

arXiv Comments

Accepted by NeurIPS 2026

한국어 초록

본 논문에서는 캘리브레이션되지 않은(uncalibrated) 협력 주행 뷰로부터 동적 장면을 재구성하기 위한 피드포워드(feedforward) 3D 가우시안 스플래팅(3D Gaussian Splatting) 프레임워크인 FRUC를 제안합니다. 기존의 다중 에이전트(agent) 재구성 프레임워크는 정밀한 공간 캘리브레이션을 요구하고 장면별 최적화(per-scene optimization) 속도가 느리다는 엄격한 전제 조건으로 인해 제약을 받는 경우가 많았습니다. 본 논문에서는 분산형 다중 차량 네트워크를 시공간적으로 비구조화된 자차 중심(ego-centric) 멀티 카메라 시스템으로 개념화하여 이 과제를 재검토합니다. 여기서 핵심 과제는 재구성 효율성을 유지하면서, 자차가 정확하게 관측한 가시 영역 기하구조(visible geometry)를 손상시키지 않고 협력을 통해 자차 중심의 차폐된 기하구조를 향상하는 데 있습니다. 효율적인 재구성을 위해 FRUC는 시각적으로 접지된(visual grounded) 기하학적 트랜스포머(Transformer) 백본을 기반으로 구축되어, 유연한 수의 다중 차량 시점으로부터 원샷(one-shot)이자 캘리브레이션 없는 추론(inference)을 가능하게 합니다. 캘리브레이션되지 않은 에이전트 간 정렬 오류가 존재하는 상황에서 비파괴적인 기하구조 보충을 달성하기 위해, FRUC는 먼저 에이전트별 시공간 상관관계를 모델링하여 잠재 사전 정보(latent priors)로서 차폐 변화를 명시적으로 도출하는 자차 중심 인과적 차폐 필드(ego-centric causal occlusion field)를 도입합니다. 이러한 차폐 사전 정보를 바탕으로, 제로 초기화 주입(zero-initialized injection)을 통해 에이전트 간 통합을 결정론적 잔차 노이즈 제거 과정으로 정식화함으로써, 까다로운 에이전트 간 융합을 견고한 협력적 사각지대 완성을 위한 유계 잔차 학습(bounded residual learning)으로 전환합니다. 실제 환경의 V2X-Real 및 UrbanIng-V2X 데이터셋을 대상으로 한 광범위한 평가를 통해, FRUC는 동적 협력 주행 환경의 장면 재구성 분야에서 새로운 최고 성능(SOTA)을 달성함을 보였으며, 렌더링 품질과 효율성 모두에서 기존 방법을 크게 능가했습니다. 코드는 https://github.com/yihangtao/FRUC.git 에서 이용할 수 있습니다.

원문 초록

We present FRUC, a feedforward 3D Gaussian Splatting framework for dynamic scene reconstruction from uncalibrated collaborative driving views. Existing multi-agent reconstruction frameworks are often hindered by rigid prerequisites, demanding precise spatial calibration and slow per-scene optimization. In this paper, we rethink this task by conceptualizing a distributed multi-vehicle network as a spatio-temporally unstructured ego-centric multi-camera system, where the core challenge lies in enhancing ego-centric occluded geometry through collaboration without degrading the ego's accurately observed visible geometry, while preserving reconstruction efficiency. For efficient reconstruction, FRUC is built upon a visual grounded geometric Transformer backbone to enable one-shot, calibration-free inference from a flexible number of multi-vehicle views. To achieve non-destructive geometric supplementation under uncalibrated cross-agent misalignment, FRUC first introduces an ego-centric causal occlusion field that explicitly derives occlusion evolution as latent priors by modeling agent-wise spatio-temporal correlations. Guided by these occlusion priors, it further formulates cross-agent integration as a deterministic residual denoising process via zero-initialized injection, turning challenging cross-agent fusion into bounded residual learning for robust collaborative blind-spot completion. Through extensive evaluations on real-world V2X-Real and UrbanIng-V2X datasets, FRUC is shown to be a new state-of-the-art for the scene reconstruction of dynamic collaborative driving environments, significantly outperforming existing methods in both rendering quality and efficiency. Code is available at https://github.com/yihangtao/FRUC.git.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2605.29997v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.23049v1cs.CV공통 태그 Autonomous Driving, 3D Reconstruction, Scene Understanding, Novel View Synthesis

VDGS: 항공 장면 재구성을 위한 가시성 기반 대규모 3D 가우시안 스플래팅

VDGS: Visibility-Driven Large-Scale 3D Gaussian Splatting for Aerial Scene Reconstruction

대규모 장면 재구성은 3D 매핑, 자율주행과 같은 로봇 자율 시스템에서 핵심적인 기반 기술이다. 최근 3D 가우시안 스플래팅(3D Gaussian Splatting, 3DGS)은 시각적 품질과 연산 효율성 모두에서 뛰어난 장점을 보이며, 대규모 장면 재구성을 위한 유망한 표현 방식으로 자리 잡았다. 그러나 대규모 장면에서는 과도한 메모리 소비와 UAV(무인 항공기) 촬영으로 인한 불균일한 시점 커버리지 등의 문제가 여전히 남아 있어 실제 응용을 제한하고 있다. 이를 해결하기 위해, 우리는 카메라 분포를 장면 모델링에 통합한 새로운 3DGS 프레임워크인 VDGS를 제안한다. VDGS는 감독(supervision) 강도를 정량화하기 위해 장면 앵커(anchor)에 대한 가시성 기반 통계를 도입한다. 이 통계는 장면 분할과 최적화가 부족한 영역에 대한 그래디언트 보정에 추가로 활용되어, 서로 다른 영역 간 균형 잡힌 최적화를 촉진한다. 여러 대규모 항공 장면 데이터셋에 대한 광범위한 실험을 통해, VDGS는 불균형한 시점 분포 상황에서 기존 방법들을 일관되게 능가하면서도, 시점 분포가 더 균일한 시나리오에서도 경쟁력 있는 성능을 유지함을 입증하였다.

arXiv:2609.24253v1cs.RO공통 태그 3D Reconstruction, Scene Understanding, Novel View Synthesis, 3d gaussian splatting

OpenFlyScan: 소비자용 드론을 위한 품질 가이드 항공 재구성 시스템

OpenFlyScan: A Quality-Guided Aerial Reconstruction System for Consumer Drones

3D Gaussian Splatting(3DGS)은 대규모 체화(embodied) 시뮬레이션을 위한 고충실도 장면을 제공하지만, 대규모 도시 자산 구축은 고가 장비와 지연된 품질 피드백 때문에 여전히 제약을 받는다. 사전 설정된 촬영(survey)은 복잡한 표면을 충분히 관측하지 못하게 할 수 있으며, 결함은 재구성 이후에야 발견되어 재방문과 반복 처리가 필요하다. 우리는 GS 품질 모델, 재촬영(reacquisition) 계획기, 맞춤 설계 모바일 앱을 통합한 소비자용 드론용 품질 가이드 항공 재구성 시스템 OpenFlyScan을 제시한다. 해당 모델은 GS 렌더링 오류로부터 학습하여 지역별 재구성 품질을 예측한다. 이러한 예측을 바탕으로 계획기는 앱을 통해 실행할 보완적 재촬영 스트립(strip)을 생성하며, 앱은 추가 온보드 하드웨어 없이 자동화된 사시(oblique) 촬영과 데이터 전송도 지원한다. 실제 항공 장면에서 모델은 재구성이 잘 되지 않을 가능성이 큰 영역을 효과적으로 식별한다. Expo West 현장 실험에서 표적 재촬영은 추가 시점(additional views)에서 PSNR을 10.95 dB 향상시켰다. 소비자용 드론과 함께 OpenFlyScan은 촬영, 표적 재촬영, 재구성을 통합하여 신속하고 저비용의 도시 자산 생성을 지원한다. 코드와 모델은 https://openflyscan.github.io/ 에서 공개될 예정이다.

arXiv:2610.13503v1cs.CV공통 태그 3D Reconstruction, Novel View Synthesis, 3d gaussian splatting

SplatQ: 2차 선택을 통한 3D 가우시안 스플래팅의 상호작용 인지 가지치기

SplatQ: Interaction-Aware Pruning of 3D Gaussian Splatting via Quadratic Selection

기존의 3D 가우시안 스플래팅(3DGS) 가지치기(pruning) 방법들은 주로 독립적인 중요도 점수에 기반한 전역 Top-K 선택에 의존하여, 영역별 예산 제어가 부족하고 공동 삭제 효과를 무시합니다. 결과적으로 전체 장면에 걸쳐 균형 잡힌 재구성 품질을 보장하지 못합니다. 본 논문에서는 고정된 예산 하에서 영역별 예산 할당과 공동 가우시안 선택을 조율하는 조합 가지치기 알고리즘인 SplatQ를 제안합니다. SplatQ는 공간적 근접성과 외형 유사성을 기준으로 가우시안을 크기가 제한된 블록으로 분할하여, 전역 선택 문제를 특정 크기의 하위 문제들로 분해합니다. 그런 다음 중요도 기반의 블록 유지 할당량을 평활화하여 과도한 예산 집중을 방지합니다. 마지막으로 가우시안 불투명도 변화에 대한 대표 픽셀 색상의 반응을 활용하여 공동 삭제 효과의 2차 근사를 구성합니다. 개별 반응, 쌍별 상호작용 및 할당량 페널티는 2차 비제약 이진 최적화(QUBO) 목적 함수에 통합되며, 모의 담금질(SA) 또는 코히런트 이징 머신(CIM)을 사용하여 이를 해결함으로써 가우시안을 공동으로 선택합니다. 5개 벤치마크에 대한 실험을 통해 SplatQ가 종합적인 재구성 품질, 공간적 품질 균형, 렌더링 속도 측면에서 최신 가지치기 방법들보다 우수한 성능을 보임을 입증합니다. 절제 연구(ablation)를 통해 예산 평활화가 국소적인 세부 표현 재구성을 향상시키는 한편, 상호작용 모델링이 고정된 예산 하에서 가우시안 선택 품질을 향상시킴을 확인합니다.

arXiv:2610.13541v1cs.CV공통 태그 3D Reconstruction, Novel View Synthesis, 3d gaussian splatting

3DGS를 위한 효율적인 신뢰도 인지 밀집화

Efficient Confidence-Aware Densification for 3DGS

3DGS-MCMC는 3D 가우시안 스플래팅(3D Gaussian Splatting)의 그래디언트 기반 밀도 제어를 불투명도(opacity) 기반 샘플링 및 재배치로 대체하며, 고정된 프리미티브(primitive) 예산 하에서 사전 정보 없는(prior-free) 밀집화의 사실상 표준이 되었습니다. 이미 장면이 잘 재구성된 영역에서 불투명도가 높게 유지되기 때문에, 이러한 샘플링은 대부분의 새로운 프리미티브를 전경으로 보내고 배경은 불충분하게 재구성된 상태로 남겨둡니다. 낮은 예산에서는 ConeGS 및 EDGS와 같은 사전 정보 기반 방법이 사전학습된 래디언스 필드(radiance field)나 조밀한 이미지 매칭, 그리고 별도의 초기화 단계를 희생하면서 이를 능가하는 성능을 보입니다. 본 논문에서는 고정 예산 MCMC 프레임워크 내에서 오차 기반(error-driven) 밀집화의 부활을 주장합니다. 제안하는 신뢰도 인지 밀집화(confidence-aware densification)는 3DGS-MCMC의 고정된 예산과 점진적 증가 방식을 유지하면서도, 불투명도 대신 이미지 오차를 기준으로 프리미티브를 배치합니다. 새로운 프리미티브는 주로 스크린 공간 그래디언트가 큰 위치에서 추출됩니다. 또한 재구성이 여전히 불완전하게 설명하는 영역을 나타내는 학습된 낮은 신뢰도를 가진 프리미티브를 선호하며, 렌더링된 이미지에 가장 적게 기여하는 프리미티브를 이러한 위치로 재배치합니다. 24개 장면에 대한 평균 결과, 본 연구의 방법은 10만 개부터 200만 개 프리미티브에 이르는 모든 예산 범위에서 PSNR, SSIM, LPIPS 전반에 걸쳐 3DGS-MCMC를 능가합니다. 10만 개 예산에서는 사전 정보나 초기화 단계 없이도 ConeGS가 3DGS-MCMC 대비 앞서는 1.05dB PSNR 중 0.84dB를 회복하며, 50만 개 이후부터는 ConeGS와 EDGS를 포함해 비교된 모든 고정 예산 방법 중 가장 높은 PSNR과 SSIM을 달성합니다. 본 밀집화 기법은 본질적으로 사전 정보가 필요 없지만 사전 정보를 활용할 수도 있어, ConeGS 또는 EDGS 초기화로부터 시작할 경우 10만 개에서 ConeGS와 대등한 PSNR 및 SSIM을 기록하고 50만 개에서는 세 가지 지표 모두에서 최고 성능을 달성합니다.

arXiv:2610.13781v1cs.CV공통 태그 Autonomous Driving, 3D Reconstruction, 3d gaussian splatting

SimVTA: 주행 월드 액션 모델을 위한 시뮬레이션 기반 비디오-경로 정렬

SimVTA: Simulation-Grounded Video-Trajectory Alignment for Driving World Action Models

주행 월드 액션 모델(WAM)은 짝지어진 경로와 미래 관측값으로부터 학습(training)합니다. 강화학습(reinforcement learning)을 통한 사후 학습(post-training)을 활용하면 정책이 대안 경로를 탐색하고 주행 보상(reward)을 사용하여 플래닝을 개선할 수 있습니다. 그러나 주행 로그에는 기록된 경로에 대한 미래 비디오만 포함되어 있어, 이러한 대안 경로에는 상응하는 시각적 감독이 결여됩니다. 이에 따라 본 논문에서는 경로 최적화와 비디오 감독을 결합한 시뮬레이션 기반 사후 학습 프레임워크인 SimVTA를 제안합니다. 먼저, 각 관측값에 대해 후보 경로를 샘플링하고 실제 세계 시뮬레이터(예: World Engine)를 사용하여 3D 가우시안 스플래팅(3DGS)으로 재구성된 실제 환경에서 높은 보상을 얻은 후보의 미래 비디오를 렌더링합니다. 이는 모델(model) 자체의 예측과 독립적인 경로 맞춤형 감독을 제공합니다. 제한된 렌더링 예산 하에서, 렌더링된 후보 중 오차가 더 큰 미래에 대해 비디오 감독의 우선순위를 부여합니다. 마지막으로, GRPO(Group Relative Policy Optimization)를 통해 경로 플래닝을 최적화하고 일치된 비디오에 대한 플로우 매칭(flow-matching) 손실(loss)을 적용하여 공유 표현을 업데이트합니다. 추론(inference) 시점에 모델은 시뮬레이터 호출 없이 직접 경로를 예측합니다. NAVSIM v1에서 WAM 초기화(initialization)에 SimVTA를 적용했을 때 PDMS가 86.2에서 91.3으로 향상되었습니다(+5.1). 또한 NAVSIM v2에서 88.2 EPDMS를 달성하고 HUGSIM의 폐루프(closed-loop) 평가에서 평균 38.8의 HD-Score를 기록했습니다. 절제 연구(ablation study)에 따르면 비디오 감독으로 공유 표현을 업데이트하는 것이 플래닝 성능을 향상시키며, 높은 보상을 받는 경로 중 오차가 큰 미래를 우선시함으로써 성능이 더욱 향상됨을 보여줍니다.

arXiv:2610.13860v1cs.CV공통 태그 3D Reconstruction, Novel View Synthesis, 3d gaussian splatting

Make It Flow: 3D 가우시안 스플래팅(Gaussian Splatting) 장면에서 물 애니메이션하기

Make It Flow: Animating Water in 3D Gaussian Splatting Scenes

3D 가우시안 스플래팅(3D Gaussian Splatting, 3DGS)과 같은 명시적(explicit) 3D 장면 표현은 최근 고품질의 실시간 새로운 시점 합성(novel view synthesis)을 가능하게 했다. 그러나 이러한 방법들은 정적인 장면을 가정하기 때문에, 실제 환경에서 흔히 나타나는 동적 현상이 존재할 경우 사실감이 제한된다. 사람이나 차량과 같은 일관된 움직임은 캡처 및 재구성이 가능하지만, 흐르는 물과 같은 고주파(high-frequency) 효과는 조밀한 다중 시점(multi-view)과 고속 촬영이 불가능한 일반적인 캡처 조건에서는 다루기 어렵다. 본 논문에서는 동적 캡처나 물리 시뮬레이션 없이도 시각적으로 그럴듯한 움직임을 가능하게 하는, 정적 3DGS 장면 내 물 애니메이션 기법을 제시한다. 우리의 접근법은 참조 이미지 또는 모델 렌더링으로부터 2D 광학 흐름(optical flow)을 추정하고, 이를 일관된 3D 오일러(Eulerian) 운동장(motion field)으로 끌어올린다. 우리는 이 운동장을 가우시안 프리미티브(primitive)에 적용하여 변형시킴으로써 시간적으로 매끄럽게 반복되는(looping) 애니메이션을 생성하는, 시네마그래프(cinemagraph)에서 영감을 받은 알고리즘을 제안한다. 그 결과로 얻어지는 표현은 실시간 렌더링 성능을 유지하면서 지각적 사실감을 크게 향상시키고, 장면 내 자유 시점 탐색(free-viewpoint navigation)을 보존한다. 우리는 새롭게 촬영한 실제 환경(in-the-wild) 폭포 장면 데이터셋에서 본 방법을 평가하였으며, 동적 가우시안 스플래팅 및 3D 시네마그래프 생성 분야의 기존 연구와 비교하여 시각적 품질과 계산 효율성 모두에서 명확한 개선을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.