PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.03328v2cs.CV

사후 양자화를 넘어서: 전용 HASH 토큰을 활용한 네이티브 해시 학습

Beyond Post-Quantization: Native Hash Learning with a Dedicated HASH Token

효율적인 대규모 이미지 검색은 빠른 해밍 공간 탐색 하에서 의미적 유사성을 보존하는 컴팩트한 표현을 필요로 한다. 딥 해싱은 매력적인 접근법이지만, 기존 CNN 및 ViT 기반 방법의 대부분은 여전히 사후 양자화 패러다임을 따른다. 즉, 연속적인 시각적 특징을 먼저 학습한 뒤 말단의 해시 프로젝션 또는 이진화 연산을 통해 이진 코드를 생성하는 방식이다. 이처럼 코드 생성이 후단에 집중되면, 연속적으로 최적화된 표현 공간과 검색에 사용되는 이산적 해밍 공간 사이에 특징-코드 불일치가 발생한다. 이 한계를 해결하기 위해, 우리는 네이티브 해시 토큰 학습을 위한 비전 트랜스포머 프레임워크인 HashViT를 제안한다. HashViT는 해싱을 말단 출력 단계로 처리하는 대신, 트랜스포머 내부에서 지속적인 해시 지향 검색 상태로 기능하는 전용 HASH 토큰을 도입한다. HASH 토큰은 직접적인 이진 코드 생성을 담당하는 Hash Register와 보조적인 연속 의미 정보를 보존하는 Semantic Workspace로 구조적으로 분리된다. 워크스페이스와 레지스터 간의 효과적인 상호작용을 위해, 트랜스포머 레이어 전반에 걸쳐 Hash Register를 점진적으로 정제하는 경량 Hash Refinement Adapter를 추가로 설계하였다. 결과적으로, 이진 지향 표현은 출력 수준의 프로젝션에 의해 갑작스럽게 유도되는 것이 아니라, 백본 내 토큰 진화를 통해 형성된다. HashViT는 학습 가능한 의미 중심 지도(supervision), 클래스 토큰 유사도 지식 증류, 양자화 정규화를 결합한 통합 목적함수로 최적화되어, HASH 토큰이 의미적으로 구조화되고 컴팩트한 이진 표현을 인코딩하도록 유도한다. 널리 사용되는 세 가지 벤치마크에서의 광범위한 실험을 통해, HashViT가 컴팩트한 해밍 코드의 효율성을 유지하면서 최첨단 또는 이에 준하는 경쟁력 있는 검색 성능을 달성함을 입증한다. 코드는 https://github.com/Xinze919/HashViT에서 확인할 수 있다.