더 선명한 프레임, 더 나쁜 방: 피드포워드 3D 재구성에서 시점 커버리지가 이미지 품질보다 중요하다
Sharper Frames, Worse Rooms: Viewpoint Coverage Dominates Image Quality in Feed-Forward 3D Reconstruction
한국어 초록
실내 장면에 대한 그라운디드(grounded) 공간 추론은 멀티모달 시스템 자체가 직접 생성하지 않는 기하학적 재구성에 의존합니다. 피드포워드 다중 뷰 재구성 모델은 고정된 뷰 예산 하에서 작동하므로, 프레임 선택은 중요한 업스트림 결정이 됩니다. 본 연구에서는 이러한 환경에서 선명한 프레임을 선호하는 기존의 방식이 오히려 해로울 수 있음을 보여줍니다. 9개의 핸드헬드 방 스캔에 걸쳐 200개의 후보 프레임 중 가장 선명한 16개를 선택하는 것은 테스트한 전략 중 최악이었으며, 균일 시간 샘플링이 3%의 방 치수 오차를 기록한 반면 이 방식은 48%에 달했습니다. 이러한 실패의 원인은 이미지 품질과 카메라 모션 간의 결합 때문으로 추적됩니다. 즉, 선명한 프레임은 느린 움직임 중에 발생하는 경향이 있어 선택이 좁은 각도 영역에 집중되게 만들고, 본 논문에서 제시하는 사례에서는 방의 192°, 최악의 셀에서는 300° 이상이 관측되지 않은 채로 남게 됩니다. 시점 분포(spread)와 프레임당 선명도를 독립적으로 조작하는 2×2 요인 실험 결과, 분포의 주효과가 품질보다 약 3배 더 크며, 흐릿하지만 잘 분산된 선택이 선명하지만 군집된 선택보다 9개 캡처 중 8개에서 더 우수한 성능을 보였습니다. 이러한 이점은 프레임 예산이 증가하고 각도 커버리지가 포화됨에 따라 줄어들며, 이는 해당 메커니즘과 일치합니다. 마지막으로, 이러한 실패를 추론(inference) 시점에 감지할 수 있는지 질문을 던졌습니다. 재구성 모델의 다중 뷰 일관성 점수는 재구성 오차와 함께 증가한 반면, 동일한 프레임을 제공받은 비전-언어 모델은 자체 공간 추정 오차와 무관한 신뢰도를 보고했습니다. 작은 뷰 예산 하에서는 시점 커버리지가 프레임당 이미지 품질보다 더 중요한 제약 조건이며, 추론 시 사용할 수 있는 불확실성 신호 중 어느 것도 이러한 업스트림 실패를 드러내지 못합니다.
원문 초록
Grounded spatial reasoning about indoor scenes rests on a geometric reconstruction that the multimodal system does not itself produce. Feed-forward multi-view reconstruction models operate under a fixed view budget, making frame selection a critical upstream decision. We show that under this setting the conventional preference for sharp frames can be actively harmful. Across nine handheld room scans, selecting the sharpest 16 of 200 candidate frames is the worst strategy we test, reaching 48\% room dimension error where uniform temporal sampling reaches 3\%. We trace this failure to a coupling between image quality and camera motion: sharp frames tend to occur during slow motion and therefore concentrate the selection in a narrow angular region, leaving $192^\circ$ of the room unobserved in the case we illustrate and over $300^\circ$ in the worst cells. A $2\times2$ factorial experiment that independently manipulates viewpoint spread and per-frame sharpness shows that spread has roughly three times the main effect of quality, and that blurry but well spread selections outperform sharp but clustered selections in 8 of 9 captures. The advantage also diminishes as the frame budget increases and angular coverage saturates, consistent with this mechanism. Finally, we ask whether the failure is detectable at inference: the reconstruction model's multi-view consistency score increases with reconstruction error, while a vision-language model given the same frames reports confidence unrelated to its own spatial estimation error. Under small view budgets, viewpoint coverage is a more important constraint than per-frame image quality, and neither uncertainty signal available at inference reveals this upstream failure.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
PanoSeg3R: 자동 데이터 큐레이션 파이프라인을 갖춘 파노라마 이미지용 피드포워드 3D 시맨틱 세그멘테이션
PanoSeg3R: Feed-Forward 3D Semantic Segmentation for Panoramic Images with an Automatic Data Curation Pipeline
본 논문은 파노라마 3D 시맨틱 세그멘테이션을 위한 피드포워드(feed-forward) 프레임워크인 PanoSeg3R를 제안한다. 원근 투영(perspective) 입력을 위해 설계된 기존 방법들과 달리, PanoSeg3R는 단 한 번의 순전파(forward pass)만으로 3D 기하 구조와 다중 시점 시맨틱 세그멘테이션을 동시에 예측한다. 파노라마 이미지를 지원하는 사전학습된 재구성 백본(backbone) 위에 구축된 본 방법은 쿼리 기반 마스크 디코더를 통해 피드포워드 3D 재구성을 확장한다. 또한, 기성(off-the-shelf) 파운데이션 모델들의 상호 보완적인 강점을 활용하여 신뢰할 수 있는 의사(pseudo) 시맨틱 주석을 생성하는 자동 파노라마 데이터 큐레이션 파이프라인을 도입함으로써 학습 데이터를 대폭 확장하고 제로샷(zero-shot) 일반화 성능을 향상시킨다. PanoSeg3R는 파노라마 3D 시맨틱 세그멘테이션에서 최고 수준의 성능을 달성하며, ScanNet++에서 3D mIoU를 최대 16.02까지 향상시킨다. 또한 큐레이션된 학습 데이터는 Stanford2D3D와 ToF-360에서 각각 최대 4.26 및 43.28 mIoU만큼 제로샷 성능을 추가로 향상시킨다. 웹사이트: https://harryyoon777.github.io/PanoSeg3R/
MACRO: 클로즈업 렌더 최적화를 위한 학습 불필요 다중 평면 어텐션
MACRO: Training-free Multi-plane Attention for Closeup Render Optimization
학습 카메라보다 훨씬 가까이 장면을 확대하는 클로즈업 렌더링은 가상 제작과 인터랙티브 3D 콘텐츠에 중요하지만, 여전히 해결되지 않은 난제로 남아 있다. 3D Gaussian splatting(3DGS)은 고충실도 실시간 신규 시점 합성(novel view synthesis)을 가능하게 하지만, 근거리에서는 렌더링 품질이 저하된다. 학습 세트의 참조 이미지를 조건으로 렌더링을 향상시키는 최근 확산(diffusion) 기반 방법들은 이 설정에서 심각한 아티팩트를 생성한다. 우리는 이 실패를 분석하여 근본 원인을 규명한다: 클로즈업 뷰와 참조 뷰 간의 스케일 차이이다. 우리는 참조 조건부 향상 모델의 특징이 스케일 불변(scale-invariant)이 아님을 보이며, 이로 인해 동일한 내용이 서로 다른 스케일로 나타날 때 교차 뷰 어텐션(cross-view attention)이 잘못된 대응 관계를 검색하고, VAE 인코더가 스케일 등변(scale-equivariant)이 아니기 때문에 이 불일치를 잠재 공간에서 수정할 수 없음을 보인다. 이 분석을 바탕으로 우리는 MACRO(Multi-plane Attention for Closeup Render Optimization)를 소개한다. 이는 3DGS 기반의 고품질 클로즈업 신규 시점 합성을 위한 학습 불필요 방법이다. MACRO는 장면의 알려진 3D 구조를 활용하여 스케일 차이를 해소한다: 클로즈업을 깊이 평면으로 분해하고, 인코딩 전에 각 평면의 스케일에 맞게 이미지 공간에서 참조 이미지를 크롭하고 크기를 조정하며, 깊이 인식 어텐션 마스크를 적용하여 각 토큰이 스케일 일치 참조에만 어텐션하도록 한다. 이 방법은 아키텍처 변경이나 추가 학습을 필요로 하지 않는다. 우리는 또한 두 가지 새로운 클로즈업 신규 시점 합성 벤치마크와 이 설정에 대한 최초의 표준화된 평가 프로토콜을 기여하며, 두 벤치마크 모두에서 최신(state-of-the-art) 결과를 달성하여 재구성 및 지각적 메트릭 모두에서 기존 3DGS 및 확산 기반 방법들을 능가함을 보인다. 프로젝트 페이지: https://nitzanhod.github.io/MACRO
Instant NuRec: 주행 장면 시뮬레이션을 위한 피드포워드 3D Gaussian 재구성
Instant NuRec: Feed-Forward 3D Gaussian Reconstruction for Driving Scene Simulation
3D 시뮬레이션 플랫폼은 end-to-end 정책 평가(evaluation)를 가능하게 하여 개발 비용을 줄이고 안전성을 향상시키기 때문에 자율주행에 핵심적이다. 최근 몇 년간 신경 시뮬레이션이 주류가 되었고, NuRec와 같은 방법이 중심적인 역할을 하고 있다. 그러나 이러한 방법들은 여전히 상대적으로 느리고, 일반적으로 장면별 튜닝이 필요하다. 본 연구에서는 단일 순전파(forward pass)로 짧은 다시점(multi-view) 주행 로그를 완전히 시뮬레이션 가능한 3D Gaussian Splatting(3DGS) 세계로 변환하는 피드포워드 신경 재구성 모델인 Instant NuRec를 제안한다. 이 모델은 보정된 카메라 리그의 다시점 입력을 받아 정적 및 동적 3DGS 레이어, 스카이 큐브맵(sky cubemap), 카메라별 ISP 보정으로 구성된 계층적 출력을 생성하며, 3DGUT를 통해 비 핀홀(non-pinhole) 카메라 모델에 대한 네이티브 지원을 제공한다. 이 모델은 10–20초 길이의 다중 카메라 장면을 약 1.5초 만에 재구성하며, Waymo Open 데이터셋에서 평가된 가장 강력한 기준선보다 PSNR이 2.01 dB 높은 성능을 달성한다. Instant NuRec는 NuRec에 깊이 통합되어 있으며, 폐루프(closed-loop) 시뮬레이션을 위해 AlpaSim과 호환된다.
RIGOR: 전방향 재구성을 위한 리그 정보 기반 기하학
RIGOR: Rig-Informed Geometry for Omnidirectional Reconstruction
피드포워드(feed-forward) 3D 재구성 분야의 최근 발전으로 이미지 스트림만으로 조밀한(dense) 장면 표현과 카메라 움직임을 복원할 수 있는 모델들이 등장했습니다. 그러나 이러한 예측은 긴 궤적에서, 특히 반복적인 구조, 약한 텍스처, 동적 물체나 사람이 존재하는 까다로운 환경에서 일관성을 잃기 쉽습니다. 이러한 문제를 완화하는 한 가지 방법은 넓은 공간적 커버리지를 제공하고 더 풍부한 시각적 정보를 포착하는 전방향(omnidirectional) 카메라를 사용하는 것입니다. 하지만 대다수의 모델은 360도 영상을 지원하지 않거나 추가적인 미세조정(fine-tuning)을 필요로 합니다. 이러한 두 가지 측면을 연결하기 위해, 본 연구에서는 동결된 피드포워드 원근 백본(backbone)을 유지하면서 각 파노라마를 4-뷰 가상 리그(virtual rig)로 활용하는 중력 정렬 전방향 비디오용 대규모 재구성 파이프라인인 RIGOR를 제시합니다. 이 리그 구조는 국소적으로 불일치하는 예측을 감지 및 복구하고, 순환적 4-뷰 합의(consensus)를 통해 루프 클로저(loop closure)를 검색하며, 전역 최적화(global optimization) 전에 재방문 후보를 기하학적으로 검증하는 데 사용됩니다. 검증된 제약 조건은 시퀀스를 따라 누적된 회전, 이동 및 스케일 드리프트를 수정하는 Sim(3) 포즈 그래프를 구동합니다. 본 연구는 까다로운 건설 현장 시퀀스에서 제안된 일관성 메커니즘이 피드포워드 기준선(baseline) 대비 궤적 정확도와 재구성된 기하학 모두를 향상시킴을 입증합니다. 코드는 다음 링크에서 제공됩니다: https://github.com/TangentH/RIGOR.
고�급 거리 수준 영상을 활용한 시각적 위치 추정의 정확도 잠재력
Accuracy potential of visual localization exploiting high-end street-level imagery
A Design-Intent-Preserving Agent Harness for Parametric CAD Modeling
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
9 pages, 3 figures, 4 tables