arXiv:2609.26086v1 cs.CL

CoVeR: 에이전트형 검색에서 커버리지 기반 검증기 호출 라우팅

CoVeR: Coverage-Based Routing of Verifier Calls in Agentic Retrieval

Daeyoung Roh, Donghee Han

제출 2026-09-23

한국어 초록

에이전트형 검색(agentic retrieval) 시스템은 일련의 검색 쿼리를 발행하며, 각 단계에서 지금까지 수집한 증거가 검색을 멈추기에 충분한지 판단해야 한다. 이 판단을 LLM 검증기(verifier)나 프롬프트 판정기(prompt judge)에 위임하면 중단 시점 결정이 신뢰할 수 있게 되지만, 검증기가 매 검색 단계마다 계속 늘어나는 증거를 다시 처리해야 하므로 상당한 반복 비용이 발생한다. 본 논문은 이러한 호출 대부분을 답변 정확도를 실질적으로 변화시키지 않고 생략할 수 있음을 보인다. 고정된(frozen) 문장 임베딩 커버리지 마진(coverage margin)에 대한 단일 임계값만으로 증거가 아직 명백히 불완전한 상태를 탐지할 수 있으며, 검증기는 나머지 모호한 경우에만 호출된다. 우리는 이러한 게이트를 CoVeR(Coverage-based Verifier Routing, 커버리지 기반 검증기 라우팅)라고 부른다. 전체 규모 실험 이전에 평가 프로토콜을 고정한 상태에서 세 가지 멀티홉 QA 벤치마크를 대상으로 실험한 결과, CoVeR 게이트를 적용한 에이전트는 전체 예산(full-budget) 에이전트 및 항상 검증하는(always-verify) 기준선 모두와 EM 1점 미만의 차이 이내로 동등한 답변 정확도를 보였다. 이 방식은 검증기 호출을 62-68% 줄이며, 포화(saturated) 환경에서는 93%까지 줄인다. 증거 개수, 어휘 중첩(lexical overlap), BM25 관련도에 기반한 라우터는 단독으로 사용하거나 결합하여 학습하더라도 전반적인 트레이드오프가 더 열등했다. 또한 이 게이트는 재튜닝 없이 판정기(decider)와 에이전트 규모 전반에 걸쳐 전이되며, 그 드래프터(drafter)는 고정된 인코더 위에 얹은 921k 매개변수 헤드로 지식 증류(distillation)할 수 있어 라우팅 루프에 LLM이 전혀 필요하지 않다. 다만 동일한 신호가 검증 자체를 대체할 수는 없다. 주장과 일치하는 내용을 찾는 것이 그 주장이 뒷받침된다고 판단하는 것보다 훨씬 쉽기 때문이다.

원문 초록

An agentic retrieval system issues a sequence of search queries and must decide, at each step, whether the evidence collected so far is enough to stop. Delegating that decision to an LLM verifier or a prompt judge makes stopping reliable, but the verifier then reprocesses the growing evidence after every retrieval step, a substantial repeated cost. We show that most of these calls can be skipped without materially changing answer accuracy: a single threshold on a frozen sentence-embedding coverage margin detects the states in which the evidence is still plainly incomplete, and the verifier is called only on the ambiguous remainder, a gate we call CoVeR (Coverage-based Verifier Routing). Across three multi-hop QA benchmarks, with the evaluation protocol fixed before the full-scale run, the CoVeR-gated agent matches the answer accuracy of both the full-budget agent and the always-verify baseline within a fraction of an EM point. It cuts 62-68% of verifier calls, and 93% in a saturated regime. Routers built on evidence counts, lexical overlap, or BM25 relevance, alone or learned in combination, give weaker overall trade-offs, the gate transfers without re-tuning across deciders and agent scales, and its drafter distills into a 921k-parameter head atop the frozen encoder, leaving no LLM in the routing loop. The same signal cannot replace verification: matching a claim is far easier than deciding the claim is supported.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.26086v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.28290v1cs.CL공통 태그 Knowledge Distillation, Information Retrieval, RAG

기하학보다 계산: 의미 동일성은 임베딩에 담겨 전달되는 것이 아니라 계산된다

Computation Over Geometry: Meaning Identity Is Computed, Not Shipped in the Embeddings

의미 동일성(표현이 바뀐 뒤에도 두 문장이 같은 내용을 말하는지 여부)은 검색과 RAG에서 독립적으로 인코딩된 문장 벡터의 기하학적 사실로 취급된다. 본 논문은 고정된(frozen) 기성 인코더와 언어 모델에서는 그렇지 않음을 보인다. 동일성은 두 문장이 하나의 순전파를 공유할 때 계산되며, 해당 시스템들이 제공하는 임베딩 기하학의 속성이 아니다. 중첩(overlap)을 맞춘 PAWS-X에서 목적 특화 인코더(BGE, E5, GTE, MiniLM, E5-Mistral-7B)는 영어 confirm AUC가 0.55-0.65에 그친다(dense 최고치 0.70). Llama 3, Mistral, Qwen의 독립적으로 인코딩된 마지막 토큰 상태도 더 나은 성능을 보이지 못하며, 두 벡터의 후기 융합(late fusion)은 우연 수준에 가깝다. 반면 동일한 프로브를 결합된 순전파에 적용하면 1.5B에서 32B까지 0.90-0.96에 도달하고, 짝을 섞으면(partner shuffle) 성능이 붕괴하며, 중간 깊이에서 나타나고, 3B 무렵 0.94 부근에서 포화되며, GPT-2 XL에서는 더 약하게(0.76) 나타난다. 이러한 격차는 Llama 계열을 넘어 다른 인과적 언어 모델, 양방향 인코더(DeBERTa, RoBERTa), 인코더-디코더(Flan-T5, T5, BART)에서도 유지된다. 고정된 독립 인코딩 위의 고정형 또는 선형 리더는 동일성을 끝내 복원하지 못하며, 비선형 쌍(pair) 리더는 전체 49k 쌍의 PAWS 학습 분할에서만 일부를 복원한다(0.68-0.87). 기성 리랭커는 결과가 갈린다. BGE-reranker-large는 0.94에 도달하는 반면, MS-MARCO와 Jina는 0.55-0.64에 머문다. 독립적으로 학습된 모델 계열들이 동일한 관계를 계산하며, 1.5B 결합 리더는 레이블 없는 교사(teacher) 점수로부터 이를 지식 증류할 수 있지만, 교사 자신의 독립 벡터에 대한 어떤 선형 함수로도 이는 불가능하다. 바이 인코더(bi-encoder)를 PAWS에 맞게 파인튜닝할 수는 있으나(0.87-0.93), 전이 성능과 STS-B 성능이 저하된다. 코사인 유사도는 표현의 이웃 관계를 비교할 뿐이며, 동일성은 어느 쪽 문장 벡터의 속성도 아닌, 저렴하게 계산되는 연산자이다.

arXiv:2610.10854v2cs.LG공통 태그 Computational Efficiency, Knowledge Distillation

KDFP: 대규모 언어 모델의 지식 증류를 위한 제1원리적 접근법

KDFP: A first-principles approach to knowledge distillation in large language models

지식 증류(knowledge distillation)는 더 크고 성능이 뛰어난 교사 모델의 표현(representation)을 활용해 작고 효율적인 학생 모델을 학습(training)시킴으로써 그 역량을 향상시키는 잘 정립된 기법입니다. 대규모 언어 모델(LLM) 증류에 관한 최근 연구의 상당수는 지시사항 준수(instruction following), 사고의 연쇄(Chain-of-Thought) 추론, 도구 사용 등 사후 학습(post-training) 과정에서 습득된 능력을 증류하는 데 집중되어 왔습니다. 이로 인해 엣지 기기 배포에 적합한 효율적이고 프라이버시가 보장되는 시스템을 개발하는 데 필수적인 LLM의 일반 지식 증류 연구에는 큰 공백이 남게 되었습니다. 본 연구에서는 이전 연구들의 교훈을 평가하고 새로운 탐색을 수행하는 제1원리적(first-principles) 접근법을 취하여 현대 LLM에 적합한 증류 방법론을 개발합니다. 본 논문에서는 LLM의 화이트박스 일반 지식 증류를 위한 새로운 방법론인 KDFP를 제시합니다. 실험을 통해 KDFP가 임시 매개변수(parameter) 감축을 통해 학습 효율성을 최대 99.1%까지 향상시키면서, 9개 벤치마크 전반에서 기존 기법들을 1.6% $-$ 4.9% 능가함을 입증합니다.

arXiv:2610.16003v1cs.CL공통 태그 Question Answering, Computational Efficiency

PAIR: 읽기-추론 융합을 통한 메모리 효율적이고 빠른 추론

PAIR: Memory-Efficient and Fast Inference with Reading--Reasoning Fusion

문맥 기반 질의응답에서 단일 대형 모델을 근거 추출과 답변 추론 모두에 사용하는 것은 상당한 메모리와 연산량을 요구합니다. 기존 접근 방식들은 단일 모델 내에서 정확도와 효율성을 맞바꿉니다. 본 연구에서는 효율적인 추론을 위한 다중 모델 접근 방식을 제안합니다. 제안 방법인 PAIR는 서로 다른 크기의 두 모델을 각각 근거 추출과 답변 추론에 활용합니다. 더 작은 Reader 모델이 전체 문맥을 처리하고 유지하는 반면, 더 큰 Reasoner 모델은 문맥에 직접 어텐션을 수행하지 않고 질문과 생성된 시퀀스만을 봅니다. 이러한 기능들은 로짓(logit) 수준에서 융합됩니다. 각 토큰마다 Reader와 Reasoner가 모두 예측을 생성하며, 이들의 로짓이 하나로 결합되어 단일 다음 토큰 예측 모델처럼 동작합니다. 미세조정(fine-tuning)을 통해 성능을 더욱 향상시킵니다. HotpotQA에서 32B Reasoner를 적용한 PAIR는 동일한 32B 모델의 전체 문맥 정확도를 96% 유지하면서도 KV 메모리는 약 4분의 1만 사용합니다. 45.7K 토큰 문맥에서 PAIR는 동일한 GPU 상의 전체 문맥 32B 모델 대비 최대 3.2배 높은 엔드투엔드 처리량을 달성합니다. 또한 PAIR는 평가된 토큰 감소 베이스라인 대비 정확도-메모리 및 정확도-처리량 간의 상충 관계를 개선합니다. 이러한 정확도 보존 특성은 Qwen2.5, OLMo-3, Gemma-3 모델 패밀리 전반에 걸쳐 일반화됩니다.

arXiv:2610.16008v1cs.CL공통 태그 Question Answering, RAG

소수의 인간 선호도 신호를 활용한 생체의학 질의응답 평가 개선

Improving the Evaluation of Biomedical Question Answering with Few Human Preference Signals

검색-증강 생성(RAG) 시스템은 생체의학 질의응답(QA)에 점점 더 많이 활용되고 있습니다. 그러나 신뢰할 수 있는 참조 리소스의 부족과 자동 평가 지표와 인간의 판단 간의 빈번한 불일치로 인해 시스템의 효과를 평가하는 것은 여전히 어려운 과제로 남아 있습니다. 특히 평가 결과가 인간의 판단과 약하게 상관되어 있거나 심지어 다른 결론으로 이어질 수 있는 상황에서, 개발 의사 결정을 안내하기 위해 평가 결과를 어떻게 활용해야 하는가가 실질적인 질문으로 대두됩니다. 본 연구에서는 소량의 인간 선호도 신호를 활용하여 직접 평가(direct assessment) 지표를 보정하는 방법을 탐구하며, 보정된 지표가 모든 지표를 동일하게 취급하거나 여러 데이터셋에 걸쳐 단일 최적 지표에만 의존하는 베이스라인보다 일관되게 우수한 성능을 보임을 제시합니다.

arXiv:2610.02516v1cs.LG공통 태그 Computational Efficiency, Knowledge Distillation

효율적인 LLM 작업 라우팅을 위한 학생 모델 주도 교사 증류: Jev 방식 System-1 분류기와의 포지셔닝

Student-Guided Teacher Distillation for Efficient LLM Task Routing: Positioning Against Jev-Style System-1 Classifiers

제로샷(zero-shot) 분류기는 사용자 요청을 특화된 LLM 작업으로 라우팅하는 데 유용하지만, 모든 요청을 대규모 후보 집합에 대해 채점하는 것은 비용이 많이 든다: 제로샷 NLI(자연어 추론) 분류기는 레이블마다 전제-가설(premise-hypothesis) 쌍을 하나씩 평가해야 하므로, 비용이 분류 체계(taxonomy) 크기에 선형적으로 증가한다. 우리는 60개의 LLM 작업 범주로 구성된 고정된 분류 체계에 대해 학생 모델 주도 교사 증류 파이프라인을 연구한다: 소형 ModernBERT 분류기가 한 번의 순전파(forward pass)로 전체 범주 분포를 예측하고 소규모 top-k 후보 집합을 검색하며, 더 큰 DeBERTa-v3 제로샷 NLI 분류기는 60개 레이블 전체가 아니라 이 후보들만 재순위화(rerank)한다; 그 결과로 생성된 교사 레이블은 반복적으로 학생 모델을 개선하며, 이는 다음 라운드에서 더 정교한 후보를 생성한다. 극단적 다중 레이블 분류(extreme multi-label classification)에서 사용되는 일반적인 임베딩 검색이나 클러스터링 기반 숏리스트와 달리, 우리의 후보 생성기는 대상 분류 체계에 대해 종단간(end-to-end)으로 학습되며, 프로덕션 트래픽을 모델 서빙(model serving)하는 것과 동일한 모델이다. 이는 후보 모델들 사이를 라우팅하는 LLM 라우팅 연구와, 학습 방법론이 문서화되지 않았거나 강화학습(RL) 기반인 동시대의 System-1 인코더-분류기 제안들(예: TypeSafe AI의 Jev 및 오픈소스 Laya 프로젝트)과 구별된다. 우리의 최고 성능 학생 체크포인트는 200개 예제로 구성된 평가셋에서 77.5%의 교사 일치율(teacher agreement)을 달성하며, 예비 커버리지(coverage) 측정 결과 Coverage@16이 91-100%로 나타나, top-k 집합이 교사의 결정에 관련된 정보 대부분을 유지함을 시사한다. 우리는 또한 잘린(truncated) top-k 교사 점수를 KL 증류를 위한 전체 60개 클래스 소프트 타겟(soft target)으로 취급해서는 안 됨을 보인다: 잘리지 않은 클래스를 0으로 만드는 것은 소프트 레이블 증류가 의존하는 다크 지식(dark knowledge)을 파괴하며, 이는 무해한 희소 근사(sparse approximation)가 아니라 체계적인 바이어스(bias)를 유발한다. 보류 평가셋(held-out set)에서 여러 k 값에 대한 커버리지, 임베딩 검색 기준선(baseline), 그리고 사람이 검토한 더 큰 테스트셋을 포함하는 완전한 평가는 아직 진행 중이다.

arXiv:2610.02670v1cs.LG공통 태그 Computational Efficiency, Knowledge Distillation

LEAP: LLM 에이전트를 위한 효율적인 행동 제안 학습

LEAP: Learning Efficient Action Proposals For LLM Agents

대규모 언어 모델(LLM) 에이전트는 롤아웃(rollout) 과정이 느린 것으로 알려져 있습니다. 에이전트는 한 번에 한 단계씩 작업을 완료합니다. 각 단계에서 에이전트는 추론을 수행한 후 실행할 행동을 선택합니다. 다음 단계와 행동은 이전 단계가 끝날 때까지 시작될 수 없습니다. 추측 디코딩(speculative decoding)은 추론 토큰을 초안 작성(drafting)하고 검증함으로써 추론 단계에서의 롤아웃 속도를 가속합니다. 최근 연구들에서는 행동 단계에도 유사한 아이디어를 적용하기 시작했습니다. 이러한 연구들은 타깃 모델(target model)이 검증할 수 있도록 행동 제안 초안을 작성하기 위해 기존에 구축된 상용 모델(off-the-shelf model), 주로 대형 모델을 사용합니다. 대형 초안 모델은 타깃과 더 자주 일치하지만 제안을 작성하는 데 더 오랜 시간이 걸리는 반면, 소형 상용 모델은 빠르지만 타깃과 동일한 결정을 내리는 경우가 드뭅니다. 본 논문에서는 더 일반적인 질문을 던집니다. 행동 추측의 엔드투엔드(end-to-end) 가속을 결정하는 요인은 무엇인가? 이에 답하기 위해, 본 연구에서는 추측 라운드에 대한 지연 시간(latency) 프레임워크를 개발합니다. 이 프레임워크는 한 라운드에서 얻는 이득과 소요되는 비용을 비교합니다. 이득은 초안 모델이 타깃을 얼마나 잘 예측하는지, 그리고 작업이 종료되기까지 얼마나 많은 단계를 거칠 수 있는지에 따라 달라집니다. 비용은 초안 작성, 타깃의 검증 대기 시간, 도구 실행에서 발생합니다. 이 프레임워크를 바탕으로, 본 연구에서는 초안 모델의 크기를 작게 유지하면서 타깃의 행동 시퀀스로 학습(training)시켜 정확도를 높이는 LEAP(Learning Efficient Action Proposals)을 소개합니다. 0.6B 크기의 소형 모델을 사용하는 LEAP은 대부분의 결정에서 타깃과 일치하며, 작업 성공률의 체계적인 변화 없이 에이전트의 엔드투엔드 실제 소요 시간(wall clock time)을 최대 60% 단축합니다. 다양한 데이터셋, 타깃 모델 및 초안 모델에 걸쳐 본 프레임워크는 측정된 속도 향상의 대부분을 설명합니다. 또한 사전 트레이스 수집 없이도 초안 모델을 온라인 학습할 수 있으며 오프라인 학습의 성능과 일치함을 입증하여, LEAP이 실제 환경에 배포하기에 실용적임을 보여줍니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.