arXiv:2611.18617v1 cs.CL

탐색자로서의 내재적 어텐션: 멀티홉 질의를 위한 비생성적 검색 방법

Intrinsic Attention as Navigator: A Non-Generative Retrieval Method for Multi-Hop Queries

Linwei Song, Weijie Zhang, WeiDi Chen, Huixia Lai, Shi Zhang, Ruliang Xiao

제출 2026-11-17

한국어 초록

검색 증강 생성(RAG)에서 멀티홉 질의를 처리하려면 증거 조각을 정확하게 확보하는 것이 중요하다. 본 연구에서는 멀티홉 질의 검색을 위한 학습이 필요 없는 방법인 내재적 탐색 기반 비생성적 검색(Intrinsic Navigating-based Non-Generative Retrieval, IN-Retriever)을 제안한다. 이 방법은 중간 추론 텍스트를 생성하는 대신, 현재 문맥과 검색된 후보 문서를 바탕으로 임베딩 모델의 내부 어텐션에서 연결 단서를 추출한다. IN-Retriever는 단서 추출과 문서 검색을 반복하는 과정에서, 이미 드러난 단서를 임베딩된 질의 벡터에서 제거한 뒤 후보 문서를 목표 지향적으로 재순위화하여, 검색이 숨겨진 다음 홉의 증거를 향하도록 유도한다. 실험을 통해 내재적 어텐션 신호를 활용하여 외부 멀티홉 검색을 안내하는 방식이 실현 가능하고 효과적임을 확인한다. 실험 결과, 본 방법은 멀티홉 질의를 뒷받침하는 충분한 문서를 정확하게 수집하며 희소 검색 및 밀집 검색 방법을 크게 능가한다.

원문 초록

For multi-hop queries in retrieval-augmented generation (RAG), it is crucial to accurately obtain evidence pieces. In this study, we propose a training-free method for multi-hop query retrieval, named Intrinsic Navigating-based Non-Generative Retrieval (IN-Retriever). Instead of generating intermediate reasoning text, the method extracts the bridging clue from the internal attention of the embedding model based on the current context and retrieved candidate documents. During iterative clue extraction and document retrieval, IN-Retriever strips away revealed clues from the embedded query vector and then reranks candidate documents in a targeted manner, thereby steering retrieval toward hidden next-hop evidence. In the experiments, we confirm the feasibility and effectiveness of using intrinsic attention signals to guide external multi-hop retrieval. Experimental results show that our method precisely collects sufficient documents to support multi-hop queries and significantly outperforms sparse and dense retrieval methods.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.18617v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.