PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.18811v1cs.IR

신경망 기반 희소 검색을 위한 MLM-헤드 재조정

Rescaling MLM-Head for Neural Sparse Retrieval

SPLADE 등 학습된 희소 검색(LSR)에서 MLM-헤드 L2 norm이 큰 사전학습 인코더는 스케일 불일치로 희소 활성화와 매칭 점수가 왜곡되어 학습이 불안정해질 수 있음을 보입니다. SPLADE 학습 전 MLM-헤드 투영을 상수로 재조정하는 초기화 보정은 아키텍처나 목표를 바꾸지 않고도 학습을 안정화하며, ModernBERT·Ettin 등에서 도메인 내·외 벤치마크 성능을 크게 높여 BERT-SPLADE 기준선과 대등하거나 이를 능가합니다.