더 선명한 프레임, 더 나쁜 방: 피드포워드 3D 재구성에서 시점 커버리지가 이미지 품질보다 중요하다
Sharper Frames, Worse Rooms: Viewpoint Coverage Dominates Image Quality in Feed-Forward 3D Reconstruction
실내 장면에 대한 그라운디드(grounded) 공간 추론은 멀티모달 시스템 자체가 직접 생성하지 않는 기하학적 재구성에 의존합니다. 피드포워드 다중 뷰 재구성 모델은 고정된 뷰 예산 하에서 작동하므로, 프레임 선택은 중요한 업스트림 결정이 됩니다. 본 연구에서는 이러한 환경에서 선명한 프레임을 선호하는 기존의 방식이 오히려 해로울 수 있음을 보여줍니다. 9개의 핸드헬드 방 스캔에 걸쳐 200개의 후보 프레임 중 가장 선명한 16개를 선택하는 것은 테스트한 전략 중 최악이었으며, 균일 시간 샘플링이 3%의 방 치수 오차를 기록한 반면 이 방식은 48%에 달했습니다. 이러한 실패의 원인은 이미지 품질과 카메라 모션 간의 결합 때문으로 추적됩니다. 즉, 선명한 프레임은 느린 움직임 중에 발생하는 경향이 있어 선택이 좁은 각도 영역에 집중되게 만들고, 본 논문에서 제시하는 사례에서는 방의 192°, 최악의 셀에서는 300° 이상이 관측되지 않은 채로 남게 됩니다. 시점 분포(spread)와 프레임당 선명도를 독립적으로 조작하는 2×2 요인 실험 결과, 분포의 주효과가 품질보다 약 3배 더 크며, 흐릿하지만 잘 분산된 선택이 선명하지만 군집된 선택보다 9개 캡처 중 8개에서 더 우수한 성능을 보였습니다. 이러한 이점은 프레임 예산이 증가하고 각도 커버리지가 포화됨에 따라 줄어들며, 이는 해당 메커니즘과 일치합니다. 마지막으로, 이러한 실패를 추론(inference) 시점에 감지할 수 있는지 질문을 던졌습니다. 재구성 모델의 다중 뷰 일관성 점수는 재구성 오차와 함께 증가한 반면, 동일한 프레임을 제공받은 비전-언어 모델은 자체 공간 추정 오차와 무관한 신뢰도를 보고했습니다. 작은 뷰 예산 하에서는 시점 커버리지가 프레임당 이미지 품질보다 더 중요한 제약 조건이며, 추론 시 사용할 수 있는 불확실성 신호 중 어느 것도 이러한 업스트림 실패를 드러내지 못합니다.