PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.24667v1cs.CL

DREAM: Dense Retrieval Embeddings via Autoregressive Modeling

비용이 큰 양·음성 문서 쌍 없이도 밀집 검색(dense retrieval) 임베딩을 학습할 수 있도록, DREAM은 고정된 대규모 언어 모델(LLM)의 선택된 어텐션(attention) 헤드에 리트리버의 질의-문서 유사도 점수를 주입하고 다음 토큰 예측 손실로 리트리버를 지도합니다. BEIR과 RTEB 벤치마크에서 0.5B~3B 규모 임베딩 백본 기준으로 RePlug, Revela 등 기존 기준선을 일관되게 능가했습니다.