arXiv:2606.13537v1 cs.CL

혼합이 언제 도움이 되는가? 다국어 밀집 검색에서 쿼리 임베딩 보간 분석

When Does Mixing Help? Analyzing Query Embedding Interpolation in Multilingual Dense Retrieval

Tongyao Zhu, Chao-Ming Huang, Min-Yen Kan

제출 2026-06-11

한국어 초록

다국어 커뮤니티에서 혼합 언어 쿼리는 보편적이지만, 밀집 검색 모델(dense retriever)이 이러한 쿼리에 대해 갖는 민감도는 아직 잘 이해되지 않았습니다. 우리는 mMARCO 데이터셋에서 임베딩 수준 혼합(embedding-level mixing)을 통해 병렬 쿼리 번역의 혼합 비율을 변화시키며 검색 성능을 체계적으로 평가하는 비율 제어 연구를 제시합니다. 여기서 혼합 쿼리는 단일 언어 임베딩의 보간(interpolation)으로 구성됩니다. BGE-M3를 사용한 실험은 최적의 혼합 비율이 105개 사례 중 88개에서 최상의 단일 언어 쿼리보다 우수한 성능을 보임을 입증합니다. 우리는 영어의 지배력에 의해 야기되는 뚜렷한 비대칭성을 발견했습니다. 비영어 문서 인덱스에서 검색할 때는 혼합이 항상 유리하지만, 영어가 포함된 인덱스에서는 순수 영어 쿼리가 가장 좋은 성능을 보입니다. 또한, 영어는 모든 비영어 문서 언어에 대해 가장 강력한 혼합 파트너 역할을 합니다. 마지막으로, 영어의 지배력을 통제했을 때, 혼합 이득은 유형학적 거리와 음의 상관관계를 보입니다. 우리는 언어 혼합 민감도가 구조적이고 예측 가능하다는 결론을 내립니다. 또한 모델 계열과 규모에 걸쳐 이러한 패턴의 견고성을 검증합니다.

원문 초록

While mixed-language querying is ubiquitous in multilingual communities, the sensitivity of dense retrievers to such queries remains poorly understood. We present a ratio-controlled study on mMARCO that systematically evaluates retrieval performance by varying the mixing proportion of parallel query translations via embedding-level mixing -- constructing mixed queries as an interpolation of monolingual embeddings. Experiments with BGE-M3 demonstrate that an optimal mixing ratio outperforms the best monolingual endpoint in 88/105 cases. We uncover a distinct asymmetry driven by English dominance: mixing is uniformly beneficial when retrieving from non-English document indices, whereas indices containing English are best served by pure English queries. Furthermore, English acts as the strongest mixing partner for every non-English document language. Finally, when controlling for English dominance, mixing gains correlate negatively with typological distance. We conclude that language-mix sensitivity is structured and predictable, and we validate the robustness of these patterns across model families and scales.

요약

다국어 밀집 검색(dense retrieval)에서 임베딩 수준의 보간을 통해 혼합 언어 쿼리를 구성한 실험 결과, 최적의 혼합 비율이 대다수의 경우 단일 언어 쿼리보다 우수한 성능을 보였습니다. 특히 영어의 지배적인 영향력과 언어 유형학적 거리에 따른 비대칭적인 혼합 효과를 발견하여 언어 혼합 민감도가 구조적이고 예측 가능함을 입증했습니다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.13537v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.03651v1cs.AI공통 태그 Information Retrieval, dense retrieval

MRVQ: 차원 및 비트 전송률에 탄력적인 벡터 검색을 위한 단일 상주 인덱스

MRVQ: One Resident Index for Dimension- and Rate-Elastic Vector Search

밀집 검색(dense-retrieval) 서비스는 지연 시간, 품질 및 메모리 예산 변화에 따라 임베딩 접두 차원과 인덱스 비트 전송률(bit rate) 사이를 전환해야 합니다. 각 전송률마다 양자화기(quantizer)를 개별적으로 튜닝하면 최상의 품질을 얻을 수 있지만, 검색 계층이 여러 코드 스트림과 양자화기 상태를 동시에 유지해야 합니다. 본 논문에서는 동결된 임베딩을 위한 사후 잔차 양자화기인 마트료시카 잔차 벡터 양자화(MRVQ, Matryoshka Residual Vector Quantization)를 제안합니다. MRVQ의 최대 전송률 코드는 두 가지 방식으로 잘라낼 수 있습니다. 잔차 단계를 줄이면 전송률이 낮아지고, 임베딩 좌표를 줄이면 차원이 낮아집니다. 따라서 단 하나의 상주 아티팩트만으로 평가 대상인 모든 (차원, 전송률) 쌍을 처리할 수 있습니다. FiQA 및 NFCorpus, 4가지 임베딩 계열, {4, 8, 16}바이트 코드 전반에 걸쳐 MRVQ는 평가된 설계 중 가장 적은 RAM을 사용합니다. 이는 개별적으로 학습된 3개의 QINCo2 인덱스보다 17.8~22.0배 적은 메모리를 사용하며, 간소화된 공유 모델(shared-model) 스틸맨보다 1.89~2.02배 적은 메모리를 사용합니다. 이러한 메모리 절감이 공짜는 아닙니다. 전송률별 QINCo2는 FiQA에서 nDCG@10 기준 0.026~0.107 더 우수합니다. 그러나 MRVQ는 동일한 코드 크기에서 PQ, OPQ 및 AdANNS-OPQ를 능가합니다. 또한 중앙값 기준 420배 더 빠르게 피팅되면서 RaBitQ 및 그 확장 모델과 비슷한 품질을 달성하는 낮은 구축 비용의 PCA 스칼라 설계도 평가합니다. 마지막으로 두 가지 부정적 결과(negative results)를 보고합니다. QINCo2는 높은 전송률에서 학습될 때 붕괴되며, 랭킹 경계 가설은 사전에 지정된 수락 기준을 충족하지 못합니다. 따라서 MRVQ는 탄력적 검색을 위한 저메모리 운영 지점이지 만능 품질 승자는 아닙니다.

arXiv:2607.24165v2cs.CV공통 태그 Information Retrieval, dense retrieval

현재 검색기(Retriever)는 모든 증거를 포괄하는가? 연합적 교차 페이지 검색에 대한 통제 연구

Do Current Retrievers Cover All the Evidence? A Controlled Study of Conjunctive Cross-Page Retrieval

다중 조건 요청과 관련된 긴 문서를 찾는 것과, 해당 문서가 요청된 모든 증거 조각을 포함한다는 것을 확인하는 것은 동일하지 않다. 우리는 연합적(conjunctive) 문서 검색에서 이 간극을 연구한다. 여기서는 하나의 문서 내 서로 다른 페이지에서 두 또는 세 개의 명시적 조건이 각각 뒷받침되어야 한다. n-Clue를 통제된 측정 도구로 사용한다: 2,021개 문서에 대한 1,000개 쿼리에서 모든 조건을 만족하는 gold를 일부 조건만 만족하는 자연 발생 문서와 짝짓고, complete-first 성공은 top-10 gold가 공개된 모든 부분집합 qrel보다 앞서야 한다. 70가지 구성에 걸쳐 조건별 분해(condition-wise decomposition)는 두 dense backbone을 6.8–7.3점 향상시키고 어휘–시각 융합(lexical–visual fusion)은 8.7점을 추가하는 반면, 네 가지 범용 reranker는 모두 Gold-NDCG를 감소시킨다. 이러한 경향은 4-source stress set에서도 재현된다. 하나의 dense 계열을 0.6B에서 8B로 스케일링해도 complete-first 성공률은 0.0점 변화에 불과하다. 가장 강력한 하이브리드는 결과적 간극을 보여준다. 쿼리의 81.1%에서 gold를 찾지만 complete-first 성공은 35.8%에 불과하며, 이 간극은 조건 수, 대상 길이, 후보 밀도, 쿼리 렌더링, 4-source stress set 전반에 걸쳐 지속된다. 마지막으로 page-aware visual system은 모든 조건에 대한 저장된 지원을 쿼리의 5.1–5.3%에서만 표면화한다. 이 결과는 gold 발견만이 아니라 조건 포괄(condition coverage)가 핵심 병목임을 밝힌다.

arXiv:2607.22639v2cs.AI공통 태그 Information Retrieval

TRACE: 엔터프라이즈 LLM에서 지식을 보존하는 파라미터릭 도구 검색을 위한 비즈니스 규칙 기반 추론 커리큘럼

TRACE: Business Rule-Grounded Reasoning Curriculum for Knowledge-Preserving Parametric Tool Retrieval in Enterprise LLMs

파라미터릭 검색(parametric retrieval)은 각 API에 고유한 가상 토큰을 할당하고, 제약 빔 탐색(constrained beam search)을 통해 모델이 이를 생성하도록 학습함으로써 LLM이 도구를 암묵적으로 검색할 수 있게 한다. ToolSense는 이 방식이 두 가지 치명적인 단점을 갖는다고 보여준다: 학습(training) 중 파라미터릭 도구 지식을 파괴하고, 빔 탐색 디코딩이 실시간 배포에 너무 느리다는 것이다. 우리는 이러한 분리(dissociation)를 해소하는 2단계 커리큘럼인 TRACE(Tool Retrieval via Augmented Chain-of-thought and Enterprise rules)를 제안한다. 1단계는 ToolSense의 다중 형식 암기 SFT를 재사용하여 LoRA로 도구 지식을 시드(seed)한다. 2단계가 핵심 기여이다: 모델은 ToolSense의 RRB 쌍과 도메인 전문가가 큐레이션한 비즈니스 규칙을 대상으로 합성된 쿼리라는 두 가지 데이터 소스를 사용하며, 둘 다 추론 trace로 증강된 데이터로, 도구 토큰의 JSON 목록을 생성하기 전에 thinking trace를 출력하도록 학습된다. 이 학습 목표는 1단계 MCQ 및 QA 프로빙 정확도를 보존하면서 프로덕션 지연 시간에서 단일 빔 greedy 디코딩을 가능하게 한다. 두 엔터프라이즈 제품군에 걸친 8,300개 이상의 도구를 포함한 통합 엔터프라이즈 카탈로그에서 평가한 결과, 2단계 TRACE 학습은 도구 이해력을 보존할 뿐 아니라 향상시킨다: MCQ 정확도는 1단계 대비 +3.2 pp, QA 프로빙은 +9 pp 향상한다. 검색(retrieval)에서는 TRACE가 Domain A에서 ~86% 재현율, Domain B에서 ~60% 재현율을 달성한다—임베딩(embedding) 기준선(baseline) 성능 ~27% 및 ~52%와 비교—둘 다 단일 빔 greedy 디코딩으로, 프로덕션 지연 시간에서 직접 배포 가능하다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.