실내 장면에 대한 그라운디드(grounded) 공간 추론은 멀티모달 시스템 자체가 직접 생성하지 않는 기하학적 재구성에 의존합니다. 피드포워드 다중 뷰 재구성 모델은 고정된 뷰 예산 하에서 작동하므로, 프레임 선택은 중요한 업스트림 결정이 됩니다. 본 연구에서는 이러한 환경에서 선명한 프레임을 선호하는 기존의 방식이 오히려 해로울 수 있음을 보여줍니다. 9개의 핸드헬드 방 스캔에 걸쳐 200개의 후보 프레임 중 가장 선명한 16개를 선택하는 것은 테스트한 전략 중 최악이었으며, 균일 시간 샘플링이 3%의 방 치수 오차를 기록한 반면 이 방식은 48%에 달했습니다. 이러한 실패의 원인은 이미지 품질과 카메라 모션 간의 결합 때문으로 추적됩니다. 즉, 선명한 프레임은 느린 움직임 중에 발생하는 경향이 있어 선택이 좁은 각도 영역에 집중되게 만들고, 본 논문에서 제시하는 사례에서는 방의 192°, 최악의 셀에서는 300° 이상이 관측되지 않은 채로 남게 됩니다. 시점 분포(spread)와 프레임당 선명도를 독립적으로 조작하는 2×2 요인 실험 결과, 분포의 주효과가 품질보다 약 3배 더 크며, 흐릿하지만 잘 분산된 선택이 선명하지만 군집된 선택보다 9개 캡처 중 8개에서 더 우수한 성능을 보였습니다. 이러한 이점은 프레임 예산이 증가하고 각도 커버리지가 포화됨에 따라 줄어들며, 이는 해당 메커니즘과 일치합니다. 마지막으로, 이러한 실패를 추론(inference) 시점에 감지할 수 있는지 질문을 던졌습니다. 재구성 모델의 다중 뷰 일관성 점수는 재구성 오차와 함께 증가한 반면, 동일한 프레임을 제공받은 비전-언어 모델은 자체 공간 추정 오차와 무관한 신뢰도를 보고했습니다. 작은 뷰 예산 하에서는 시점 커버리지가 프레임당 이미지 품질보다 더 중요한 제약 조건이며, 추론 시 사용할 수 있는 불확실성 신호 중 어느 것도 이러한 업스트림 실패를 드러내지 못합니다.
본 논문은 파노라마 3D 시맨틱 세그멘테이션을 위한 피드포워드(feed-forward) 프레임워크인 PanoSeg3R를 제안한다. 원근 투영(perspective) 입력을 위해 설계된 기존 방법들과 달리, PanoSeg3R는 단 한 번의 순전파(forward pass)만으로 3D 기하 구조와 다중 시점 시맨틱 세그멘테이션을 동시에 예측한다. 파노라마 이미지를 지원하는 사전학습된 재구성 백본(backbone) 위에 구축된 본 방법은 쿼리 기반 마스크 디코더를 통해 피드포워드 3D 재구성을 확장한다. 또한, 기성(off-the-shelf) 파운데이션 모델들의 상호 보완적인 강점을 활용하여 신뢰할 수 있는 의사(pseudo) 시맨틱 주석을 생성하는 자동 파노라마 데이터 큐레이션 파이프라인을 도입함으로써 학습 데이터를 대폭 확장하고 제로샷(zero-shot) 일반화 성능을 향상시킨다. PanoSeg3R는 파노라마 3D 시맨틱 세그멘테이션에서 최고 수준의 성능을 달성하며, ScanNet++에서 3D mIoU를 최대 16.02까지 향상시킨다. 또한 큐레이션된 학습 데이터는 Stanford2D3D와 ToF-360에서 각각 최대 4.26 및 43.28 mIoU만큼 제로샷 성능을 추가로 향상시킨다. 웹사이트: https://harryyoon777.github.io/PanoSeg3R/
트랜스포머 컨텍스트 윈도우 스케일링이 피드포워드 3D 복원에 미치는 영향을 연구하기 위해, LSRM은 Native Sparse Attention을 기반으로 coarse-to-fine 파이프라인, 3D 인식 공간 라우팅, 커스텀 시퀀스 병렬화를 결합하여 기존 최첨단 대비 20배 많은 객체 토큰을 처리한다. GSO 벤치마크에서 PSNR 2.4dB 향상 및 LPIPS 40% 감소를 달성했으며, 역방향 렌더링으로 확장 시 StanfordORB에서 밀집 뷰 최적화 방법과 동등한 수준의 텍스처 품질을 피드포워드 단일 패스로 실현했다.
피드포워드 3D 가우시안 스플래팅(3DGS)은 기존 3DGS에서 요구되는 장면별 시간 소모적인 최적화 과정을 제거합니다. 그러나 기존 피드포워드 방식은 다양한 조명 조건과 일시적 객체를 포함하는 실제 사진 컬렉션을 처리하는 데 어려움을 겪습니다. 본 논문에서는 비제약 희소 사진 컬렉션을 위한 피드포워드 방식인 Wild3R를 제안합니다. 주요 병목 요인은 강건한 장면 표현 학습에 필요한 다양한 시점, 다양한 조명 조건, 일시적 변화를 제공하는 학습 데이터의 부족입니다. 이를 해결하기 위해 200개의 장면, 170가지 조명 조건, 일시적 객체로 구성되어 총 337,500장의 이미지를 포함하는 WildCity 데이터셋을 구축합니다. 이 데이터셋을 활용하여, 우리 모델은 참조 뷰를 조건으로 하여 시점 간 외관 일관성을 학습하는 동시에 일시적 콘텐츠를 제거합니다. 광범위한 실험을 통해 우리 방법이 기존 피드포워드 방식을 능가하고, 기존 장면별 최적화 기반 방법과 경쟁력 있는 결과를 달성함을 입증합니다.