PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.22562v1cs.CV

AdaMerge: 다중 벡터 시각적 문서 검색을 위한 튜닝 불필요 패치 압축

AdaMerge: Tuning-Free Patch Compression for Multi-Vector Visual Document Retrieval

ColPali 및 ColNomic과 같은 다중 벡터 시각적 문서 검색(Visual Document Retrieval, VDR) 모델은 각 문서를 수백에서 수천 개의 패치 수준 임베딩(embedding)으로 표현하여 높은 정확도를 달성하지만, 상당한 저장 공간과 지연 시간 비용을 초래합니다. 기존 압축 방법은 중요하지 않은 패치를 가지치기(pruning)하거나 유사한 패치를 클러스터로 병합합니다. 최근 최고 성능의 병합 방법인 PtM(Prune-then-Merge)은 고압축 환경에서 가지치기 전용 베이스라인을 일관되게 능가하지만, 그리드 탐색을 통해 데이터셋(dataset)별 클러스터 예산 m을 튜닝해야 합니다. 본 연구에서는 계층적 군집화에 의해 생성된 병합-코사인 시퀀스가 병합 가능한 중복성과 두드러진 신호를 구분하는 급격한 절벽(cliff)을 보이며, 이 절벽의 위치가 14개 데이터셋의 11,000개 이상 문서에 걸쳐 좁은 대역에 집중되어 있음을 관찰했습니다. 이는 병합 경계를 데이터셋별로 튜닝하는 대신 문서별로 탐지할 수 있음을 시사합니다. 이러한 관찰을 바탕으로, 우리는 (i) 병합-코사인 궤적에 대한 갭 분석을 통해 각 문서 자체의 절벽을 탐지하고, (ii) 두드러진 신호를 보존하기 위해 어텐션(attention) 가중 클러스터 중심을 구축하는 플러그 앤 플레이 압축 방법인 AdaMerge를 제안합니다. 긴 문서 벤치마크인 ViDoRe-V2(4개 데이터셋, 2개 백본)에서 AdaMerge는 전체 작동 범위에 걸쳐 튜닝된 PtM을 유의미하게 능가하며(p < 10^-4), 모든 병합 방법이 이미 거의 무손실에 가까운 짧은 문서 벤치마크 ViDoRe-V1(10개 데이터셋, 2개 백본)에서는 데이터셋별 튜닝 없이도 튜닝된 PtM과 동등한 성능을 달성합니다. AdaMerge는 문서당 약 10ms만 추가하며, 모든 데이터셋과 백본에서 공유되는 단 하나의 전역 하이퍼파라미터(hyperparameter)만을 가집니다.