arXiv:2506.16552v4 cs.IR

Revela: 언어 모델링을 통한 밀집 검색기 학습

Revela: Dense Retriever Learning via Language Modeling

Fengyu Cai, Tong Chen, Xinran Zhao, Sihao Chen, Hongming Zhang, Sherry Tongshuang Wu, Iryna Gurevych, Heinz Koeppl

제출 2026-11-17

한국어 초록

밀집 검색기는 언어 모델(LM)을 보강하기 위해 외부의 전문 지식에 접근하는 데 중요한 역할을 한다. 밀집 검색기를 학습하려면 일반적으로 주석이 달린 질의-문서 쌍이 필요한데, 이는 만드는 데 비용이 많이 들고 코드와 같은 전문 분야나 추론이 필요한 복잡한 환경에서는 구하기 어렵다. 이러한 현실적 어려움으로 자기지도 검색기 학습에 대한 관심이 커지고 있다. LM은 자기지도 학습 목표(즉, 다음 토큰 예측)를 통해 토큰 수준의 의존성을 포착하도록 학습되므로, 검색 역시 토큰 덩어리 사이의 의존성을 학습하는 것으로 유추하여 볼 수 있다. 이러한 유추는 자연스럽게 다음 질문으로 이어진다. 언어 모델링의 정신에 따른 자기지도 학습 목표를 검색기 학습에 어떻게 적용할 수 있는가? 이에 답하기 위해 우리는 언어 모델링을 통한 자기지도 검색기 학습을 위한 통합적이고 확장 가능한 학습 프레임워크인 Revela를 소개한다. Revela는 배치 내 어텐션 메커니즘을 통해 다음 토큰 예측을 국소 문맥과 문서 간 문맥에 조건화함으로써 문서 간의 의미적 의존성을 모델링한다. 이 어텐션은 검색기가 계산한 유사도 점수로 가중되며, 이를 통해 검색기가 언어 모델링의 일부로서 최적화될 수 있다. 우리는 다양한 검색기 백본에 대해 도메인 특화(CoIR), 추론 집약적(BRIGHT), 일반 도메인(BEIR) 벤치마크에서 Revela를 평가한다. 주석이 달리거나 합성된 질의-문서 쌍 없이도 Revela는 CoIR와 BRIGHT 모두에서 더 큰 지도 학습 모델과 상용 API를 능가한다. 또한 약 1000배 적은 학습 데이터와 10배 적은 연산량으로 BEIR의 비지도 최고 성능(SoTA)을 달성한다. 성능은 배치 크기와 모델 크기에 따라 향상되며, 이는 Revela의 확장성과 자기지도 검색기 학습에서의 가능성을 보여 준다.

원문 초록

Dense retrievers play a vital role in accessing external and specialized knowledge to augment language models (LMs). Training dense retrievers typically requires annotated query-document pairs, which are costly to create and scarce in specialized domains (e.g., code) or in complex settings (e.g., requiring reasoning). These practical challenges have sparked growing interest in self-supervised retriever learning. Since LMs are trained to capture token-level dependencies through a self-supervised learning objective (i.e., next token prediction), we can analogously cast retrieval as learning dependencies among chunks of tokens. This analogy naturally leads to the question: How can we adapt self-supervised learning objectives in the spirit of language modeling to train retrievers? To answer this question, we introduce Revela, a unified and scalable training framework for self-supervised retriever learning via language modeling. Revela models semantic dependencies among documents by conditioning next token prediction on local and cross-document context through an in-batch attention mechanism. This attention is weighted by retriever-computed similarity scores, enabling the retriever to be optimized as part of language modeling. We evaluate Revela on domain-specific (CoIR), reasoning-intensive (BRIGHT), and general-domain (BEIR) benchmarks across various retriever backbones. Without annotated or synthetic query-document pairs, Revela surpasses larger supervised models and proprietary APIs on both CoIR and BRIGHT. It achieves BEIR's unsupervised SoTA with ~1000x less training data and 10x less compute. Performance increases with batch size and model size, highlighting Revela's scalability and its promise for self-supervised retriever learning.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2506.16552v4제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.