arXiv:2611.22353v1 cs.IR

NONSENSE: 비의미 문자열이 밀집 검색의 의미성 격차를 드러낸다

NONSENSE: Non-Semantic Strings Expose Semanticity Gaps in Dense Retrieval

Ankit Gupta

제출 2026-11-18

한국어 초록

밀집 검색은 현대 검색, 질의응답, 검색 증강 생성의 핵심이며, 여기서 높은 유사도는 흔히 의미적 관련성의 증거로 간주된다. 본 논문은 이 가정을 어디까지 시험할 수 있는지 살펴본다. NONSENSE는 질의 단어의 복사를 금지하면서 눈에 띄게 비의미적인 문자열을 구성하고 질의와 문자열 사이의 밀집 유사도만을 최적화하는 블랙박스 희소 편집 탐침이다. 다섯 개의 BEIR 스타일 데이터셋과 세 가지 대표적인 단일 벡터 검색기 전반에서, 이러한 문자열은 검색기 자신이 판정한 최상의 질의 관련 구절(QRP)보다 자주 높은 점수를 받으며, 전체 코퍼스에서 1위로 순위가 매겨지는 경우도 많다. 이 결과는 평가한 밀집 검색기에 의미성 격차가 있음을 시사한다. 즉, 최근접 이웃이라는 지위가 구절과 같은 의미와 분리될 수 있다. 이러한 발견은 밀집 검색기를 관련 문서를 검색하는지 여부뿐 아니라 유사도 점수가 의미적 근거를 얼마나 신뢰성 있게 반영하는지로도 평가하는 것이 중요함을 강조한다.

원문 초록

Dense retrieval is central to modern search, question answering, and retrieval-augmented generation, where high similarity is often treated as evidence of semantic relevance. We examine how far this assumption can be stressed. NONSENSE is a black-box sparse-edit probe that constructs visibly non-semantic strings while forbidding query-term copying, optimizing only the dense similarity between a query and the string. Across five BEIR-style datasets and three popular single-vector retrievers, these strings frequently outscore the retriever's own best judged query-relevant passage (QRP), and often rank first in the full corpus. The result indicates a semanticity gap in the evaluated dense retrievers: nearest-neighbor status can be separated from passage-like meaning. These findings highlight the importance of evaluating dense retrievers not only by whether they retrieve relevant documents, but also by how reliably their similarity scores reflect semantic evidence.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.22353v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.