arXiv:2610.31821v2 cs.CL

질의가 기억하는 것: 질의 추상화 수준이 고전 아랍어 시의 어휘 기반 및 밀집 검색을 좌우한다

What the Query Remembers: Query Abstraction Governs Lexical and Dense Retrieval of Classical Arabic Poetry

Omar Farouk Zouak, Selma Mani, Larbi Said Chikh, Raid Abderrezak Ouahioune

제출 2026-11-13

한국어 초록

시 아카이브를 얼마나 잘 검색할 수 있는지는 모델이 이해하는 내용뿐 아니라 사용자가 여전히 기억하는 내용에도 달려 있다. 본 연구는 고전 아랍어 시를 대상으로 이를 보이며, 두 개의 코퍼스, 세 가지 색인 방식, 두 가지 평가 프로토콜에 걸쳐 아홉 개의 밀집 인코더와 BM25를 벤치마킹한다. 어떤 검색기가 우세한지는 질의가 시의 어휘를 얼마나 담고 있는지에 따라 결정된다. 혀끝에 맴도는(tip-of-the-tongue) 질의에서는 BM25가 대형 다국어 임베딩 모델(Qwen3-Embedding-8B, Recall@5 0.746 대 0.717)을 포함한 모든 밀집 인코더를 앞서지만, 추상적 질의에서는 10개 중 8위로 떨어진다(0.392 대 0.748). 동일한 질의의 어휘를 수정해 보면 이 순위가 대체로 질의 구성을 반영함을 알 수 있다. 기억하는 반 구절 하나를 추가하면 BM25가 38점 상승하고, 인용된 단어를 수작업으로 재작성하면 BM25가 8B 인코더와 대등해지며, 기억된 어휘에 대한 BM25의 민감도는 가장 강력한 밀집 인코더의 민감도보다 유의하게 가파르다. 같은 축이 설명 증강도 좌우하며, 그 효과는 +37점에서 -39점까지 변동한다. 그 메커니즘은 시스템 유형에 따라 나뉜다. 어휘적 포함 관계는 BM25가 설명에 반응하는 방식을 가장 잘 예측하고, 임베딩 근접성은 밀집 인코더의 반응을 가장 잘 예측한다. 마지막으로, 이 분야의 두 표준 프로토콜인 기지 항목 검색(known-item retrieval)과 주제적 관련성은 동일한 시스템에서 서로 분리되며, 이 결과는 두 명의 블라인드 인간 주석자와 두 개의 오픈 가중치 판정 모델에 의해 재현되었고, 그중 하나는 문자 그대로의 일치 기준이 없는 평가 기준표를 사용하였다. 하나의 프로토콜이나 하나의 질의 레지스터만 보고하는 벤치마크는 실질적으로 잘못된 그림을 줄 수 있다. 코드와 데이터는 https://github.com/Ellzo/what-the-query-remembers 에서 이용할 수 있다.

원문 초록

How well a poetry archive can be searched depends on what the user still remembers, not only on what the model understands. We show this for Classical Arabic poetry, benchmarking nine dense encoders and BM25 over two corpora, three indexing modes and two evaluation protocols. Which retriever wins is governed by how much of a poem's wording the query still carries. On tip-of-the-tongue queries BM25 leads every dense encoder, including a large multilingual embedding model (Qwen3-Embedding-8B, 0.746 vs. 0.717 Recall@5); on abstract queries it falls to eighth out of ten (0.392 vs. 0.748). Editing the wording of the same queries shows that this ranking largely reflects query composition: adding one remembered half-verse raises BM25 by 38 points, rewriting the quoted words by hand leaves BM25 level with the 8B encoder, and BM25's sensitivity to remembered wording is significantly steeper than that of the strongest dense encoder. The same axis controls explanation augmentation, whose effect swings from +37 to -39 points. The mechanism splits by system type: lexical containment best predicts how BM25 responds to explanations, embedding proximity how dense encoders do. Finally, the field's two standard protocols, known-item retrieval and thematic relevance, dissociate on the same systems, a result reproduced by two blind human annotators and by two open-weights judges, one of them under a rubric with no literal-match criterion. A benchmark that reports one protocol, or one query register, can give a materially wrong picture. Code and data are available at https://github.com/Ellzo/what-the-query-remembers.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.31821v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.