Milco: Learned Sparse Retrieval Across Languages via a Multilingual Connector
한국어 초록
학습된 희소 검색(Learned Sparse Retrieval, LSR)은 바이 인코더의 효율성과 어휘 매칭의 투명성을 결합하지만, 기존 접근 방식은 영어를 넘어 확장하는 데 어려움을 겪고 있습니다. 우리는 다국어 커넥터를 통해 다양한 언어의 쿼리와 문서를 공유된 영어 어휘 공간으로 매핑하는 LSR 아키텍처인 MILCO를 소개합니다. MILCO는 희소 정렬 사전학습(Sparse Alignment Pretraining)과 대조 학습(contrastive training)을 결합한 특화된 두 단계의 학습 방식으로 훈련되어, 표현의 투명성과 효과성을 제공하면서 의미 붕괴를 완화합니다. 영어로 투영될 때 흔하지 않은 개체들이 종종 사라진다는 관찰에 의해 동기 부여를 받아, 우리는 특별한 [ECHO] 토큰을 통해 얻은 출처 언어 뷰로 영어 어휘 표현을 보강하여 강건성을 향상시키는 새로운 LexEcho 헤드를 제안합니다. MILCO는 최첨단 다국어 및 교차 언어 LSR 성능을 달성하며, BGE-M3 및 Qwen3-Embed와 같은 주요 밀집, 희소 및 다중 벡터 기준선을 능가하고, 표준 다국어 벤치마크에서 우수한 성능을 보입니다. 또한, 사후 가지치기를 통해 동적 효율성을 지원합니다. 특히, 문서 표현을 평균 30개의 활성 차원으로 줄이기 위해 질량 기반 가지치기를 사용할 때, MILCO 560M은 1024 차원을 가진 유사한 크기의 Qwen3-Embed 0.6B를 능가합니다.
요약
MILCO(Multilingual Connector)는 다양한 언어의 쿼리와 문서를 공유된 영어 어휘 공간으로 매핑하는 혁신적인 Learned Sparse Retrieval (LSR) 아키텍처입니다. 기존의 LSR 접근 방식은 주로 영어에 국한되어 있어, 다국어 환경에서의 정보 검색 성능에 한계를 보였습니다. MILCO는 이러한 문제를 해결하기 위해 멀티링구얼 커넥터를 도입하여, 서로 다른 언어의 표현을 효과적으로 통합합니다. MILCO의 훈련 방법론은 두 단계로 구성되어 있습니다. 첫 번째 단계인 Sparse Alignment Pretraining은 다양한 언어의 특성을 고려하여 표현의 투명성을 높이고, 두 번째 단계인 대조 학습은 의미의 붕괴를 방지하는 데 중점을 둡니다. 이러한 훈련 방식은 MILCO가 다양한 언어 간의 일관성을 유지하면서도 효과적인 검색 성능을 발휘할 수 있도록 합니다. 특히, LexEcho 헤드라는 새로운 구성 요소는 소스 언어의 뷰를 추가하여 영어 표현의 강건성을 향상시키는 역할을 합니다. 이 과정에서 특별한 [ECHO] 토큰이 활용되어, 드물게 나타나는 개체의 손실을 최소화합니다. MILCO는 BGE-M3 및 Qwen3-Embed와 같은 기존의 밀집 및 희소 검색 모델보다 우수한 성능을 보여주며, 특히 질량 기반 가지치기를 통해 문서 표현의 차원을 효과적으로 줄이면서도 성능 저하 없이 높은 정확도를 유지합니다. 실험 결과, MILCO 560M 모델은 평균 30개의 활성 차원으로 줄였을 때도 유사한 크기의 Qwen3-Embed 0.6B 모델을 초과하는 성능을 기록했습니다. 이러한 결과는 MILCO가 다국어 정보 검색의 새로운 가능성을 열어주며, 다양한 언어 간의 검색 성능을 향상시키는 데 기여할 수 있음을 보여줍니다. 향후 연구에서는 MILCO의 구조를 더욱 발전시키고, 다양한 언어와 도메인에 적용할 수 있는 가능성을 탐색할 예정입니다. MILCO는 LSR 분야에서 중요한 기여를 하며, 다국어 검색 시스템의 발전에 기여할 것으로 기대됩니다.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.