모든 시각적 토큰이 동등하게 중요한가? 비전-언어 검색을 위한 객체 증거 보존 토큰 병합
Do All Visual Tokens Matter Equally? Object-Evidence Preserving Token Merging for Vision-Language Retrieval
멀티벡터 비전-언어 검색은 최대 유사도 기반 후기 상호작용(late interaction)을 통해 세밀한 시각적 증거를 보존하지만, 이미지 측의 조밀한 토큰은 저장 및 스코어링 비용을 높인다. 기존 토큰 압축 방법은 이 비용을 줄이지만, 미래의 쿼리 토큰이 선택해야 할 객체 및 영역 수준의 증거를 제거하거나 붕괴시킬 수 있다. 본 논문에서는 이미지 측 프로젝터 후 토큰을 K개의 대표 센트로이드로 압축하면서 원래의 후기 상호작용 인터페이스를 유지하는 객체 인식 토큰 병합 프레임워크인 SaMer를 제안한다. SaMer는 학습 중에만 객체 어노테이션을 병합 사전(merge prior)으로 사용하여 인스턴스 간 혼합을 억제하며, 추론 시 정답 바운딩 박스나 검출기를 필요로 하지 않고, 비전 및 언어 백본을 동결한 채 공유 프로젝션 층만 적응시킨다. K=64 설정에서 SaMer는 이미지 측 토큰의 93% 이상을 제거하고 ColPali 저장 공간을 16.09배 축소하면서, Flickr30K와 MSCOCO에서 R@1 성능을 향상시킨다. 이러한 성능 향상은 객체 인식 병합이 가지치기나 특징 기반 풀링만으로는 제거되거나 붕괴될 수 있는 쿼리 선택 가능한 객체 증거를 보존하기 때문이다. SaMer는 압축 기준선 대비 우수한 성능을 보이며 구문 수준의 그라운딩에서도 더 강한 성능을 나타내는바, 효율적인 멀티벡터 검색은 토큰 수를 줄이는 것뿐 아니라 미래 쿼리 토큰이 선택해야 할 증거를 보존하는 데 달려 있음을 시사한다.