3DZip: 3차원 질의응답을 위한 공간 인식 특징 다양성 기반 토큰 압축
3DZip: Spatial-Aware Feature Diversity-Guided Token Compression for 3D Question Answering
한국어 초록
최근의 3차원 비전-언어 모델(3D VLM)은 2D 시각적 특징(feature)을 월드 좌표계로 투영하여 기하학 인식 토큰을 구성함으로써, 3D 질의응답과 같은 태스크를 위한 공간적 추론을 가능하게 합니다. 그러나 이러한 설계는 장면당 수천 개의 토큰(token)을 생성하여 상당한 연산 및 메모리 오버헤드를 초래합니다. 2D VLM에서는 토큰 압축이 광범위하게 연구되어 왔지만, 기존 접근 방식은 3D 토큰의 구조화된 공간적 특성을 간과하는 의미론적 관련성이나 어텐션(attention) 기반 선택에 의존합니다. 또한, 공간적 집계 후에도 객체 수준의 토큰 불균형이 지속되기 때문에 3D 표현의 중복성은 공간적 근접성만으로는 해결될 수 없습니다. 이를 해결하기 위해, 먼저 포인트 수준의 중복성을 제거하기 위해 대략적인 복셀화(voxelization)를 적용한 다음, 행렬식 점 과정(Determinantal Point Process)을 통해 특징 공간 다양성을 기반으로 앵커 토큰을 선택하고, 마지막으로 기하학적 일관성을 보존하기 위해 공간적 제약 하에서 나머지 토큰을 병합하는 3단계 토큰 압축 프레임워크인 3DZip을 제안합니다. 세 가지 3D 질의응답 벤치마크에 대한 실험을 통해 3DZip이 기존 압축 방법들을 일관되게 능가하며, 단 128개의 토큰만으로 원래 성능의 94.7%를 유지하고 1.92배 빠른 추론(inference) 속도를 달성함을 입증합니다.
원문 초록
Recent 3D vision-language models (3D VLMs) construct geometry aware tokens by projecting 2D visual features into world coordinates, enabling spatial reasoning for tasks such as 3D question answering. However, this design generates thousands of tokens per scene, resulting in substantial computational and memory overhead. While token compression has been extensively studied in 2D VLMs, existing approaches rely on semantic relevance or attention-based selection that overlook the structured spatial nature of 3D tokens. Moreover, redundancy in 3D representations cannot be resolved by spatial proximity alone, as object-level token imbalance persists even after spatial aggregation. To address this, we propose 3DZip, a three-stage token compression framework that first applies coarse voxelization to remove point-level redundancy, then selects anchor tokens based on feature-space diversity via a Determinantal Point Process, and finally merges remaining tokens under spatial constraints to preserve geometric coherence. Experiments on three 3D question answering benchmarks demonstrate that 3DZip consistently outperforms existing compression methods, retaining 94.7% of the original performance with only 128 tokens, achieving a $1.92\times$ faster inference speed.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.01185v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.