PyTorchKR Papers

최신 논문

총 14편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2604.05087v4cs.CL

강화학습을 통한 블랙박스 검색용 문서 최적화

Document Optimization for Black-Box Retrieval via Reinforcement Learning

생성형 대규모 언어 모델(LLM)은 쿼리 재작성 및 문서 재순위화(reranking)와 같은 작업을 위해 검색 파이프라인의 추론(inference) 시점 구성 요소로 점점 더 많이 활용되고 있습니다. 그러나 이러한 온라인 접근 방식은 지연 시간에 민감한 검색 경로에 비용이 많이 드는 자기회귀 계산을 직접 배치하게 됩니다. 본 연구에서는 대안적인 축을 탐색합니다. 즉, LLM을 활용해 문서를 개선하여 더 나은 표현으로 재작성하고 계산을 오프라인으로 이전하는 방식입니다. 하지만 유용한 문서 재작성을 생성하는 것은 간단하지 않습니다. 검색은 본질적으로 판별적(discriminative)이므로, 효과적인 재작성은 검색기(retriever)의 유사도 개념 하에서 문서를 경쟁 후보들보다 관련 쿼리와 더 유사하게 만들어야 합니다. 이에 따라 본 논문에서는 문서 변환을 최적화 문제로 정식화하고, 검색 성능을 향상시키는 재작성을 생성하도록 LLM 또는 VLM을 직접 학습(training)시킵니다. 본 연구에서 제안하는 접근 방식인 DocOpt는 검색기 순위 향상을 보상으로 사용하는 GRPO를 활용하며, 검색 순위에 대한 블랙박스 접근만 필요로 하고, 단일 벡터, 다중 벡터 및 어휘 기반 검색기 전반에 걸쳐 적용될 수 있습니다. 코드 및 시각적 검색 작업에서 제로샷(zero-shot) LLM 재작성과 DocOpt를 평가한 결과, 문서 재작성이 검색 성능을 향상시킬 수 있으며 재작성을 최적화하면 추가적인 이득을 얻을 수 있음을 확인했습니다. 예를 들어 OpenAI text-embedding-3-small은 직접 검색 시 평균 58.35 nDCG@5를 달성하지만, 제로샷 재작성을 적용하면 GPT-5.4-mini에서 60.83, Claude Haiku 4.5에서 63.75, Qwen3에서 64.23으로 향상됩니다. DocOpt는 성능을 67.94까지 더욱 향상시켜, 6.5배 더 비싼 text-embedding-3-large 검색기의 66.15를 능가합니다.

arXiv:2610.03651v1cs.AI

MRVQ: 차원 및 비트 전송률에 탄력적인 벡터 검색을 위한 단일 상주 인덱스

MRVQ: One Resident Index for Dimension- and Rate-Elastic Vector Search

밀집 검색(dense-retrieval) 서비스는 지연 시간, 품질 및 메모리 예산 변화에 따라 임베딩 접두 차원과 인덱스 비트 전송률(bit rate) 사이를 전환해야 합니다. 각 전송률마다 양자화기(quantizer)를 개별적으로 튜닝하면 최상의 품질을 얻을 수 있지만, 검색 계층이 여러 코드 스트림과 양자화기 상태를 동시에 유지해야 합니다. 본 논문에서는 동결된 임베딩을 위한 사후 잔차 양자화기인 마트료시카 잔차 벡터 양자화(MRVQ, Matryoshka Residual Vector Quantization)를 제안합니다. MRVQ의 최대 전송률 코드는 두 가지 방식으로 잘라낼 수 있습니다. 잔차 단계를 줄이면 전송률이 낮아지고, 임베딩 좌표를 줄이면 차원이 낮아집니다. 따라서 단 하나의 상주 아티팩트만으로 평가 대상인 모든 (차원, 전송률) 쌍을 처리할 수 있습니다. FiQA 및 NFCorpus, 4가지 임베딩 계열, {4, 8, 16}바이트 코드 전반에 걸쳐 MRVQ는 평가된 설계 중 가장 적은 RAM을 사용합니다. 이는 개별적으로 학습된 3개의 QINCo2 인덱스보다 17.8~22.0배 적은 메모리를 사용하며, 간소화된 공유 모델(shared-model) 스틸맨보다 1.89~2.02배 적은 메모리를 사용합니다. 이러한 메모리 절감이 공짜는 아닙니다. 전송률별 QINCo2는 FiQA에서 nDCG@10 기준 0.026~0.107 더 우수합니다. 그러나 MRVQ는 동일한 코드 크기에서 PQ, OPQ 및 AdANNS-OPQ를 능가합니다. 또한 중앙값 기준 420배 더 빠르게 피팅되면서 RaBitQ 및 그 확장 모델과 비슷한 품질을 달성하는 낮은 구축 비용의 PCA 스칼라 설계도 평가합니다. 마지막으로 두 가지 부정적 결과(negative results)를 보고합니다. QINCo2는 높은 전송률에서 학습될 때 붕괴되며, 랭킹 경계 가설은 사전에 지정된 수락 기준을 충족하지 못합니다. 따라서 MRVQ는 탄력적 검색을 위한 저메모리 운영 지점이지 만능 품질 승자는 아닙니다.

arXiv:2607.24165v2cs.CV

현재 검색기(Retriever)는 모든 증거를 포괄하는가? 연합적 교차 페이지 검색에 대한 통제 연구

Do Current Retrievers Cover All the Evidence? A Controlled Study of Conjunctive Cross-Page Retrieval

다중 조건 요청과 관련된 긴 문서를 찾는 것과, 해당 문서가 요청된 모든 증거 조각을 포함한다는 것을 확인하는 것은 동일하지 않다. 우리는 연합적(conjunctive) 문서 검색에서 이 간극을 연구한다. 여기서는 하나의 문서 내 서로 다른 페이지에서 두 또는 세 개의 명시적 조건이 각각 뒷받침되어야 한다. n-Clue를 통제된 측정 도구로 사용한다: 2,021개 문서에 대한 1,000개 쿼리에서 모든 조건을 만족하는 gold를 일부 조건만 만족하는 자연 발생 문서와 짝짓고, complete-first 성공은 top-10 gold가 공개된 모든 부분집합 qrel보다 앞서야 한다. 70가지 구성에 걸쳐 조건별 분해(condition-wise decomposition)는 두 dense backbone을 6.8–7.3점 향상시키고 어휘–시각 융합(lexical–visual fusion)은 8.7점을 추가하는 반면, 네 가지 범용 reranker는 모두 Gold-NDCG를 감소시킨다. 이러한 경향은 4-source stress set에서도 재현된다. 하나의 dense 계열을 0.6B에서 8B로 스케일링해도 complete-first 성공률은 0.0점 변화에 불과하다. 가장 강력한 하이브리드는 결과적 간극을 보여준다. 쿼리의 81.1%에서 gold를 찾지만 complete-first 성공은 35.8%에 불과하며, 이 간극은 조건 수, 대상 길이, 후보 밀도, 쿼리 렌더링, 4-source stress set 전반에 걸쳐 지속된다. 마지막으로 page-aware visual system은 모든 조건에 대한 저장된 지원을 쿼리의 5.1–5.3%에서만 표면화한다. 이 결과는 gold 발견만이 아니라 조건 포괄(condition coverage)가 핵심 병목임을 밝힌다.

arXiv:2606.28343v1cs.IR

The Crowded Embedding Space: A Mean-Field Mechanism for Emergent Marginalization in Retrieval-Augmented Agents

Retrieval-augmented generative agents rely on retrieval for grounding, yet are typically evaluated on a query-by-query basis. This isolates interactions that are geometrically coupled in a shared embedding space. For example, we show that the high document density required to serve majority interests (e.g., generic "Crime" movies) can geometrically overcrowd the retrieval neighborhood of a semantically similar minority (e.g., "Film Noir"), effectively expelling minority content from top-$k$ results. We introduce a formal framework to analyze how such goal collisions in dense retrieval induce fundamental performance limits and emergent fairness issues inherent to spatial crowding. In our static analysis, we demonstrate that for a fixed embedding space, a phase transition occurs where minority user goals suffer a catastrophic collapse in performance as the density of majority goals increases. We then extend this to a dynamic model and derive a non-linear Fokker-Planck equation that governs the evolution of document embeddings as the agent updates them to maximize retrieval accuracy. Our analysis reveals that this local relevance objective triggers an emergent global mechanism that systematically marginalizes minority interests. We prove that such objectives drive the system to self-organize into a state that exclusively serves majority interests. These results provide a theoretical foundation for understanding a critical grounding failure mode in retrieval-augmented agents.

arXiv:2606.28336v1cs.IR

HyBIRD: Hyperbolic Bridge Retrieval and Diagnosis for Methodology Inspiration Retrieval

Methodology Inspiration Retrieval (MIR) asks a system to retrieve prior papers whose methods can inspire a new research proposal. Unlike general scientific retrieval, the central challenge is not topical similarity but whether a candidate paper provides concrete mechanisms that can instantiate an abstract methodological need. Existing MIR dense retrievers provide strong paper-level rankings, but the returned lists do not expose how proposal needs are bridged by retrieved methods, where evidence is weak, or which complementary snippets may help. We propose HyBIRD, a frozen-anchor framework that treats MIR as hyperbolic bridge retrieval and post-hoc method diagnosis. HyBIRD keeps a strong MIR dense retriever fixed, learns lightweight point, cone, and factorized hyperbolic bridge variants, and uses LLM-assisted method blocks for post-hoc explanation and evidence selection. On the MIR benchmark, the factorized bridge reaches 59.034 mAP while preserving the dense anchor's strong retrieval behavior. More importantly, HyBIRD converts ranked papers into inspectable query need profiles, factor coverage, maturity views, and complementary evidence bundles. The results suggest that hyperbolic geometry is most useful as calibrated structure over a dense anchor, rather than as a standalone replacement for dense retrieval.

arXiv:2606.27976v1cs.CR

SHARD: 정렬 저항형 사설 밀집 검색을 위한 셀 키 기반 잔차 분할

SHARD: cell-keyed residual splitting for alignment-resistant private dense retrieval

밀집 임베딩(embedding)은 의미 검색과 검색-증강 생성(RAG)의 기반이지만, 벡터 저장소가 유출되면 그 저장소를 보유한 쪽은 기저 텍스트의 상당 부분을 되찾을 수 있다. 이를 가능하게 하는 공격(퓨샷(few-shot) 정렬, 제로샷(zero-shot) 역추론, 비지도 교차 공간 변환)은 공통된 약점을 갖는다: 보호된 저장소가 알려진 것과 정렬될 수 있는 단일 전역 기하 구조라는 점이다. 비밀 전역 회전은 통상적인 경량 방어이지만 예외가 아니다. 공격자가 알려진 쌍을 부분공간 차원(subspace dimension)만큼 확보하면 직교 프로크루스테스(orthogonal Procrustes)로 이를 복구할 수 있다. 우리는 이러한 약한 축을 제거하는 검색 보존형 임베딩 변환 Shard를 제안한다. 중심화된 임베딩은 짧은 공개 접두 문맥(1단계 검색용)과 별도의 비밀 키 아래 C개 셀로 분할된 사설 잔차로 나뉜다. 잔차는 CKKS 하에서 재순위화되며, 여기서 키는 상쇄되어 내적을 정확히 유지한다. 단일 매개변수 C는 이 설계를 대체하는 전역 선형 기준선(C=1)부터 문서별 마이크로 키(C=N)까지 조절한다. 재순위화가 전차원(full-dimensional)이기 때문에 Shard는 반쪽 SVD 절단이 포기하는 원 공간(raw-space) nDCG@10을 반환한다. 또 잔차가 셀 단위로 키가 적용되기 때문에, 확산된 known-plaintext 유출 하에서 공통 프레임으로 다시 매핑하려면 대략 C배 더 많은 앵커가 필요하며(중앙값 200에서 102,400, C=256), 이는 소수의 암호화된 쿼리에 대한 것이다. 짧은 공개 접두 문맥은 이웃 구조를 훨씬 덜 유출하며, 마이크로 키 한도는 연결 불가능하고 갱신 가능한 템플릿으로 잔차 그래프를 0으로 만든다. 이 장벽은 학습 기반, 비선형, 비지도 정렬기에 대해 유지되며, 동일 유틸리티 노이즈 방어가 거의 모든 프로브를 역식별하는 반면 Shard는 어떤 프로브도 역식별하지 않는다. 한계는 분명히 밝힌다: 셀 내부에서는 키가 상쇄되고, 표적 공격자는 d_priv개 정도의 앵커만 필요하며, 겹치는 참조 코퍼스는 여전히 접두 문맥을 통해 유출된다. Shard는 공격 인지형 기하학적 방어이지, 암호학적 보장은 아니다.

arXiv:2606.24667v1cs.CL

DREAM: Dense Retrieval Embeddings via Autoregressive Modeling

비용이 큰 양·음성 문서 쌍 없이도 밀집 검색(dense retrieval) 임베딩을 학습할 수 있도록, DREAM은 고정된 대규모 언어 모델(LLM)의 선택된 어텐션(attention) 헤드에 리트리버의 질의-문서 유사도 점수를 주입하고 다음 토큰 예측 손실로 리트리버를 지도합니다. BEIR과 RTEB 벤치마크에서 0.5B~3B 규모 임베딩 백본 기준으로 RePlug, Revela 등 기존 기준선을 일관되게 능가했습니다.

arXiv:2606.24346v1cs.IR

PETRA: Transforming Web Text for Petroleum-Engineering Domain Adaptation

석유공학 검색에서는 공개 웹 텍스트에 관련 근거가 있으나 도메인 관련성 라벨이 부족해 범용 검색기(retriever)의 적응이 어렵다. PETRA는 노이즈 있는 공개 웹 데이터를 에너지 도메인 큐레이션과 청크 기반 쿼리 생성, LLM 하드 네거티브, 검색-채굴 후보 목록을 결합한 합성 지도로 변환하는 대규모 코퍼스·파이프라인으로, 점수 융합(score fusion) 시 1단계 도메인 내 nDCG를 0.703에서 0.763으로 높이고 리랭커(reranker) 적응은 Earth Science 벤치마크와 6개 추론 집약 태스크에서 각각 상대 44%, 23% 개선을 보였다.

arXiv:2606.18781v1cs.CL

단일 벡터 속의 소실: 청크 증거 집계를 통한 긴 문서 검색 개선

Lost in a Single Vector: Improving Long-Document Retrieval with Chunk Evidence Aggregation

긴 문서 밀집 검색(dense retrieval)에서 문서 전체를 단일 벡터로 압축할 때 핵심 구간의 증거가 희석되는 문제를 증거 희석 지수(EDI)로 진단하고, 청크를 독립 인코딩한 뒤 다시 하나의 벡터로 집계하는 학습 없는 DICE 전략을 제안합니다. LongEmbed에서 4개 백본 전반의 검색 성능을 높였고, 4k 토큰 초과 구간에서 Dream의 Passkey와 Needle 점수가 각각 30.0→90.0, 23.3→74.0으로 크게 개선되며 92.8% 샘플에서 단일 벡터 기준선보다 낮은 EDI를 기록했습니다.

arXiv:2606.18801v1cs.IR

SHIFT: 다국어 정보 검색을 위한 인덱스 측 특징 변환을 통한 의미적 조화

SHIFT: Semantic Harmonization via Index-side Feature Transformation for Multilingual Information Retrieval

다국어 밀집 검색 모델이 쿼리와 같은 언어 문서를 과도하게 선호하는 언어 바이어스를 줄이기 위해, 병렬 번역 쌍으로 추정한 상대적 언어 벡터를 인덱싱 단계에서 문서 임베딩에서 차감하는 학습 불필요 방법 SHIFT를 제안한다. 4개 MLIR 벤치마크와 다양한 밀집 검색 모델 평가에서 언어 바이어스 완화와 MLIR 성능 향상이 확인되었다.

arXiv:2606.17910v1cs.IR

정보 검색을 위한 비음수 엘라스틱 넷 디코딩

Non-negative Elastic Net Decoding for Information Retrieval

밀집 검색(dense retrieval)은 정보 검색에서 지배적인 패러다임이 되었으며, 여기서 각 문서는 쿼리와의 벡터 임베딩 내적을 통해 점수가 매겨지고, 점수가 가장 높은 탑-$k$ 문서가 검색됩니다. 그러나 각 문서의 점수는 쿼리와 자기 자신의 임베딩에만 의존하므로, 검색 과정은 전체 코퍼스의 내용을 고려하지 않습니다. 따라서 밀집 검색은 코퍼스에서 의미적으로 유사한 문서를 선택하는 것을 피할 수 없으며, 이는 다양성이 없고 중복된 검색 문서 집합을 초래할 수 있습니다. 이를 위해 우리는 검색을 결합 디코딩(joint decoding) 문제로 접근하며, 여기서 문서는 나머지 코퍼스의 문맥을 고려하여 집합으로서 선택됩니다. 이를 달성하기 위해 우리는 비음수 엘라스틱 넷(Non-Negative elastic Net, NNN) 디코딩을 제안합니다. 이 방법은 임베딩이 희소 비음수 선형 결합으로 쿼리 임베딩을 공동으로 재구성하는 문서들을 선택합니다. 우리의 주요 이론적 결과는 밀집 검색과 NNN 디코딩 사이의 엄격한 구분을 확립합니다. 모든 코퍼스에 대해 밀집 검색에 의해 올바르게 처리된 모든 쿼리는 NNN 디코딩에 의해서도 처리되며, 상관관계가 있는 문서를 포함하는 코퍼스에서는 NNN 디코딩이 밀집 검색이 처리할 수 없는 쿼리를 추가로 처리합니다. 실험 결과에 따르면, 내적 기반 점수 매기기를 위해 학습된 동결된 임베딩에 NNN 디코딩을 적용하면 여러 벤치마크에서 일관된 개선이 나타납니다. 더 나아가 우리는 NNN 디코딩을 위해 임베딩을 최적화하는 엔드-투-엔드 학습 절차를 소개하며, 이는 밀집 검색과 비교하여 모든 지표와 벤치마크에서 상당한 성능 향상을 이끌어냅니다. 우리의 연구는 내적 기반 점수 매기기라는 표준 관행을 넘어, 정보 검색에서 밀집 임베딩을 활용하는 새로운 패러다임을 확립합니다.

arXiv:2606.17664v1cs.IR

비지도 검색을 위한 시간적 선호도 최적화

Temporal Preference Optimization for Unsupervised Retrieval

비지도 밀집 검색기는 대조 학습(contrastive learning)을 통해 레이블이 없는 문서에서 의미적 유사성을 학습함으로써 확장성을 제공하지만, 시간적 관련성을 포착하는 데 어려움을 겪으며 의미적으로는 관련되어 있으나 시간적으로 정렬되지 않은 문서를 검색합니다. 이는 문서 집합이 여러 시기에 걸쳐 있을 때 중요한 측면입니다 (예: "2019년 대통령은 누구인가?"라는 질문에 대해 2018-2025년의 문서를 검색하는 것은 시간적 모호함을 야기함). 기존 방법들은 항상 가능하지는 않은 명시적인 타임스탬프를 이용한 지도 학습에 의존합니다. 우리는 TPOUR (Temporal Preference Optimization for Unsupervised Retriever)를 제안하며, 이는 우리의 새로운 학습 방법인 TRPO (Temporal Retrieval Preference Optimization)를 사용합니다. TRPO는 시간 차원에서 선호도 학습을 재해석하여, 검색기가 시간적으로 정렬된 문서를 선호하도록 유도합니다. TPOUR는 학습된 시간 임베딩(embedding)에서의 보간을 통해 보지 못한 시기로 일반화되어, 연속적인 시간 정렬을 가능하게 합니다. 시간적 정보 검색(T-IR)에 대한 실험에서 TPOUR는 비지도 및 지도 기준 모델(baseline) 모두를 능가합니다. Qwen-Embedding-8B와 비교했을 때, 약 72.7배 더 작은 규모에도 불구하고 TPOUR Contriever는 명시적 쿼리에서 평균 nDCG@5를 +4.04 (+12.15%), 암시적 쿼리에서 +4.98 (+15.21%) 향상시켰습니다. 우리의 코드는 https://github.com/agwaBom/TPOUR에서 제공됩니다.

arXiv:2606.13537v1cs.CL

혼합이 언제 도움이 되는가? 다국어 밀집 검색에서 쿼리 임베딩 보간 분석

When Does Mixing Help? Analyzing Query Embedding Interpolation in Multilingual Dense Retrieval

다국어 밀집 검색(dense retrieval)에서 임베딩 수준의 보간을 통해 혼합 언어 쿼리를 구성한 실험 결과, 최적의 혼합 비율이 대다수의 경우 단일 언어 쿼리보다 우수한 성능을 보였습니다. 특히 영어의 지배적인 영향력과 언어 유형학적 거리에 따른 비대칭적인 혼합 효과를 발견하여 언어 혼합 민감도가 구조적이고 예측 가능함을 입증했습니다.

arXiv:2606.11780v1cs.IR

양자화가 밀집 Top-$k$ 검색에 두는 한계는 무엇인가? 이론적 연구

What Limits Does Quantization Place on Dense Top-$k$ Retrieval? A Theoretical Study

양자화(quantization)가 적용된 밀집(Dense) top-$k$ 검색 시스템에서 완벽한 검색을 위해 필요한 임베딩 차원과 정밀도의 이론적 한계를 규명한다. 무한 정밀도와 달리 고정된 양자화 비트 수에서는 말뭉치 크기에 따라 차원이 로그 스케일로 증가해야 함을 수학적으로 증명했다.