VASC: 효율적인 3D 재구성을 위한 교차 층 메모리 기반 값 인식 희소 어텐션
VASC: Value-Aware Sparse Attention with Cross-Layer Memory for Efficient 3D Reconstruction
VGGT와 같은 피드포워드 3D 비전 모델은 단일 패스로 카메라 추정과 조밀한 장면 재구성을 통합하며 괄목할 만한 진전을 이루었습니다. 그러나 이들의 2차 복잡도(quadratic) 전역 어텐션(attention)은 긴 이미지 시퀀스를 처리할 때 큰 비용을 초래하며, 기존 희소화 기법들은 어텐션 점수는 높지만 값(value) 측면에서는 중복적인 영역을 선호하는 경향이 있습니다. 이러한 한계를 해결하기 위해, 본 논문에서는 값 인식 블록 선택과 실행 인식 교차 층(cross-layer) 메모리를 결합한 무학습(training-free) 희소 어텐션 기법인 VASC를 제안합니다. 제안하는 값 인식 블록 선택은 풀링된 쿼리-키(query-key) 관련성과 인접 값 대비(contrast)를 통합하여 쿼리 관련성이 높고 독특한 콘텐츠를 보존하면서도 중복성을 줄입니다. 교차 층 메모리는 층 전반에서 충족되지 않은 요구를 추적하고 실제 실행에 따라 이 상태를 업데이트하여, 이전에 제대로 처리되지 못한 블록들이 고정된 계산 예산 내에서 경쟁할 수 있도록 지원합니다. VGGT 및 $\pi^3$를 활용하여 7Scenes 및 NeuralRGB-D에서 진행한 실험에 따르면, FasterVGGT 대비 향상된 포즈 추정 및 재구성 품질을 보여주었으며, 조밀한(dense) VGGT 대비 최대 2.29배 빠른 추론(inference) 속도를 달성했습니다. 코드는 https://github.com/kosakayamahoo-design/VASC 에서 확인할 수 있습니다.