PyTorchKR Papers

최신 논문

총 16편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.10684v2cs.LG

에이전트 간 교차 학습 신호를 통한 역할 분해 기반 대규모 언어 모델 협력 학습

Cross-Agent Learning Signals Enable Coordinated Role-Decomposed LLM Training

에이전틱 검색 시스템은 증거 수집과 응답 생성을 조율해야 하지만, 기존 접근 방식은 단일 에이전트(agent) 목적 함수 아래 두 역할을 결합하거나 최종 결과에 대한 각 역할의 기여도를 분리하지 못한 채 역할을 분해합니다. 본 논문에서는 작업별 외부 검증 신호가 주어졌을 때 역할별 교차 검증 보상을 통해 검색기(searcher)와 생성기(generator)를 학습시키는 역할 분해 학습 프레임워크인 DAC(Divide and Cooperate)를 소개합니다. DAC는 검색된 증거가 불충분하다고 판단될 때 생성기가 답변을 기권(abstain)할 수 있도록 허용하며, 이 결정과 외부에서 평가된 검색 충분성을 결합하여 각 역할에 적절한 크레딧(credit)을 부여합니다. 지나친 기권으로 성능이 저하되는 현상을 방지하기 위해, 충분하지만 까다로운 증거에 대해 기권하는 것을 억제하는 하드 포지티브(hard-positive) 증거 증강 기법을 추가로 도입합니다. 7개의 일반 및 멀티홉 QA 벤치마크와 2개의 백본 모델 전반에서 DAC는 강력한 단일 에이전트 및 다중 에이전트 베이스라인을 일관되게 능가합니다. 통제된 평가 결과는 이러한 성능 향상이 검색과 생성 모두의 조화로운 개선에서 비롯됨을 보여줍니다. 본 연구 결과는 에이전틱 검색 시스템을 학습(training)시킬 때 상호작용하는 역할 간에 명시적이고 적절하게 크레딧을 할당하는 것의 중요성을 강조합니다.

arXiv:2609.38743v2cs.AI

다단계 임베딩 검색을 통한 시각적 공간에서의 경로 탐색 학습

Learning to Route in Visual Space via Multi-Step Embedding Retrieval

대규모 언어 모델(LLM) 에이전트는 외부 지식에 접근하기 위해 검색 도구에 의존하지만, 시각적 에이전트 탐색은 여전히 표준 단일 단계 검색기로 인해 심각한 병목 현상을 겪고 있습니다. 현재의 파이프라인에서는 에이전트가 모든 중간 단계마다 텍스트 쿼리를 생성해야 하므로, 시각적 단서를 설명하기 어렵거나 검색기가 상위 결과 내에 필요한 중간 증거를 제시하지 못할 때 어려움을 겪습니다. 본 논문에서는 전체 임베딩 공간에 걸친 다단계 탐색을 검색 도구로 직접 위임함으로써 이러한 성능 병목 현상을 해결할 수 있다는 가설을 세웁니다. 이를 체계적으로 연구하기 위해 시각적 매칭과 검색 계획을 모두 테스트하는 5가지 핵심 난이도를 갖춘 유연한 데이터 생성 프레임워크이자 벤치마크인 VHOP을 소개합니다. 이 프레임워크를 바탕으로 지도 미세조정(supervised fine-tuning), 온라인 모방 학습, 강화학습을 결합하여 표준 임베딩 모델을 자기회귀적 다단계 검색기로 변환하는 엔드투엔드 학습 파이프라인인 VHOP-Router를 개발했습니다. 시각적 잠재 공간(latent space)에서 직접 동작하는 VHOP-Router는 에이전트가 중간 텍스트 쿼리를 작성할 필요 없이 단 한 번의 도구 호출로 연결된 이미지 체인을 검색합니다. 실험 결과에 따르면 VHOP-Router는 검색 성능을 5% 미만에서 76.3%로 크게 향상시킵니다. 에이전트 탐색에서 작업 성공률을 52.7% 향상시키고 평균 토큰 길이를 1886개에서 728개로 61% 감소시킨 반면, 에이전트 자체를 업그레이드했을 때는 3.7%의 성능 향상에 그쳤습니다. 에이전트가 단계마다 상위 50개 결과를 검색하는 강력한 기준선과 비교했을 때, VHOP-Router는 문맥 내(in-context) 이미지를 23배 줄이고 누적 API 페이로드를 35배 절감하면서도 우수한 성능을 유지합니다. 또한 이 모델들은 학습 시 보지 못한 난이도와 실제 테스트 세트에서도 견고한 일반화 성능을 보입니다. 궁극적으로 VHOP과 VHOP-Router는 고유한 LLM 기능을 완전히 온전하게 유지하면서 시각적 에이전트 탐색을 위한 효율적이고 효과적인 솔루션을 제공합니다.

arXiv:2610.02202v1cs.AI

ScholarCatalyst: 새로운 연구에 영감을 주는 논문 검색을 위한 벤치마크

ScholarCatalyst: A Benchmark for Retrieving Papers That Inspire New Research

위대한 과학자들을 위대하게 만드는 것은 무엇일까요? AI 시스템이 미해결 문제에서 진전을 보이기 시작했음에도 불구하고, 과학자들은 끊임없이 증가하는 연구 아카이브 속에 묻혀 있는 이전 아이디어 중 새로운 문제에 필요한 것이 무엇인지 감지하는 능력에서 여전히 AI보다 훨씬 앞서 있습니다. 이러한 역량을 연구하기 위해, 우리는 논문이 그 안의 아이디어를 가리키는 지표 역할을 하도록 하여, 완료된 프로젝트를 어떤 이전 연구가 발전시켰는지 직접 알고 있는 연구자들을 활용합니다. 저자 주석을 확장 가능하게 만드는 자동화된 파이프라인을 활용하여, 최근 컴퓨터 과학 논문 207편의 제1저자 184명에게 어떤 후보 논문이 자신의 프로젝트를 발전시켰거나 발전시킬 수 있었는지 상세한 근거와 함께 라벨링하도록 함으로써 ScholarCatalyst를 구축합니다. 우리는 저자가 제공한 판단을 기반으로 하는 검색(retrieval) 태스크를 제안합니다. 즉, 초기 연구 질문이 주어졌을 때 프로젝트가 시작되었을 당시 이용 가능했던 문헌들만으로 해당 논문들을 검색하는 태스크입니다. 에이전트 기반 검색(agentic search)은 동일한 리트리버를 도구로 호출함에도 불구하고 임베딩 검색보다 나은 성과를 내지 못했습니다(Recall@20 기준 0.42 대 0.48). 학습(training) 중에 완성된 논문들을 보았을 가능성이 있는 Claude Fable 5.1 기반의 에이전트조차 R@20에서 0.51에 그쳤습니다. 이러한 결과는 방대한 코퍼스를 검색할 수 있는 전문가 수준의 직관을 모델에 부여하는 새로운 학습 레시피가 필요함을 강조합니다. 우리는 ScholarCatalyst가 완전히 다듬어지지 않은 아이디어를 바탕으로 필요한 이전 연구를 정확히 찾아낼 수 있는 과학 에이전트를 향한 발걸음이 되기를 기대합니다.

arXiv:2609.13356v2cs.AI

ZGCM-1: 수학 및 에이전트 검색을 위한 완전 공개·초고효율 기초 모델

ZGCM-1: A Fully Open and Extremely Efficient Foundation Model for Math and Agentic Search

본 연구에서는 극한의 데이터·시스템·알고리즘 효율로 처음부터 학습한 완전 공개 7B dense 기초 모델 ZGCM-1을 제시한다. ZGCM-1은 핵심 전제에 기반한다: 소형 모델은 개방 웹을 수동적으로 암기할 수 없지만, 의도적인 내부 사고와 적극적인 외부 도구 사용을 결합하면 파라미터 용량 한계를 극복할 수 있다. 256K 컨텍스트 윈도우에서 이 패러다임을 지원하기 위해 엔드투엔드 고효율 공개 학습 레시피를 개발한다: 아키텍처 및 시스템 공동 설계—게이트 슬라이딩 윈도우와 full 어텐션을 교차 배치하고 안정적인 FP8 Muon 옵티마이저; 점진적 커리큘럼 및 MDP 중간 학습—16K, 64K, 256K에 걸친 컨텍스트 스케일링과 상호작용 trace를 마르kov 의사결정 과정(Markov Decision Process, MDP)으로 재구성. 또한 에이전트 swarm이 클러스터 운영, 데이터 큐레이션, 신속 진단 평가를 자율적으로 관리하는 AI-native R&D 워크플로를 구축한다. 광범위한 평가 결과 ZGCM-1-7B는 일반 벤치마크에서 7B 모델군 전반에 걸쳐 경쟁력을 보인다. 여러 도전적인 수학적 추론 및 에이전트 검색 벤치마크에서는 Qwen3-235B-A22B, GLM-5.1처럼 수 orders of magnitude 더 큰 프론티어 모델과도 경쟁력을 유지한다. 또한 사전학습 설계가 16K 사전학습 time-to-loss에서 약 4.2배 효율 개선을 제공함을 보인다. 전체 개발 수명주기에 걸쳐 아키텍처 스케일링, SFT 품질 가지치기, 장문맥 일반화, 에이전트 공동학습 역학을 아우르는 실행 가능한 경험적 발견 8가지를 정리한다. 커뮤니티 연구를 위해 사전학습, 중간 학습, 사후 학습 단계의 모델 가중치, 중간 체크포인트, 학습 코드, 단계별 데이터 및 데이터 레시피, W&B 로그를 오픈소스로 공개한다.

arXiv:2607.24223v1cs.CL

관련성의 새로운 역할: 에이전트형 검색에서 코퍼스 상호작용 유도

A New Role for Relevance: Guiding Corpus Interaction in Agentic Search

관련성(relevance)은 문서나 발췌문이 유용한 근거를 포함하는지에 대한 쿼리 의존적 추정이다. 기존 검색 에이전트는 관련성을 사용해 상위 $k$개 콘텐츠를 선택하지만, 문서 수준의 관련성만으로는 복잡한 질문에 필요한 근거를 국한(localize)하거나, 구성(compose)하거나, 검증(verify)할 수 없다. 직접 코퍼스 상호작용(DCI)은 grep 스타일 탐험을 통해 이러한 세밀한 연산을 가능하게 하지만, 관련성을 고려하지 않는 검색은 유용한 단서를 늦게 드러내고 수렴을 지연시킬 수 있다. 최근 연구는 관련성을 사용해 상호작용을 위한 작업 공간으로 코퍼스를 좁힌다. 그러나 상호작용이 시작되면, 관련성은 여전히 grep이 어떤 문서를 먼저 검색할지 직접 안내하지 않으며, 대규모 언어 모델(LLM)이 먼저 볼 수 있도록 넓은 일치 집합에서 정보가 풍부한 발췌문을 구별하지 못한다. 우리는 관련성을 코퍼스 상호작용을 위한 실행 prior로 전환하는 관련성 인식 RipGrep 검색 에이전트(RARG)를 제안한다. RARG는 거친 단계에서 세밀한 단계로 이어지는 관련성 안내를 제공한다: 순차적 'ripgrep' 순회를 위해 문서 순서를 정렬해 전역적으로 관련 있는 단서를 더 일찍 노출하고, 쿼리 관련 단락으로 유망한 진입점을 초기화하며, grep 일치 결과를 재순위화해 문서 수준 순위가 놓칠 수 있는 정보가 풍부한 발췌문을 먼저 표면화한다. 어려운 브라우즈 질의응답과 추론 집약적 검색 전반에 걸쳐, RARG는 검색 기반 및 직접 상호작용 에이전트 대비 정확도-효율성 프론티어를 개선한다. 이 결과는 관련성 인식 상호작용이 더 빠르고 더 신뢰할 수 있는 검색 수렴을 가능하게 함을 보여준다.

arXiv:2607.24280v1cs.AI

독점에서 오픈소스로: 에이전틱 검색에서 다중 에이전트 프로토콜 증류를 통한 분포 격차 해소

From Proprietary to Open-Source: Bridging the Distribution Gap via Multi-Agent Protocol Distillation in Agentic Search

에이전틱 검색은 다단계 추론과 검색을 교차 수행하여 대규모 언어 모델(LLM)이 지식 집약적 과제를 해결할 수 있게 하지만, 결과 기반 강화학습(RL)으로 이를 최적화하면 희소한 감독만 제공된다. 지식 증류는 더 밀집된 지도를 제공할 수 있으며, 강력한 추론 능력을 갖춘 고급 독점 모델은 유망한 교사 모델이다. 독점 모델로부터의 증류가 이러한 감독 신호를 밀집화할 수 있지만, 기존의 로짓 매칭은 숨겨진 로짓과 불일치하는 토큰화기로 인해 불가능하며, 원시 자연어 궤적 모방은 핵심 추론 역량보다는 표면적인 스타일적 인공물을 전달한다. 이질적 증류 문제를 해결하고 분포 격차를 메우기 위해, 우리는 구조화되고 스타일이 정규화된 프로토콜을 중간 표현으로 사용하는 결합 증류-강화학습 프레임워크인 Multi-Agent Protocol Distillation(MAPD)를 제안한다. 오프라인 다중 에이전트 시스템(MAS)은 각 쿼리를 분해하고, 지원 증거를 검색하며, 실패한 검색을 복구하고, 그 결과로 얻은 탐험 trace를 과제 유형, 추론 계획, 추출적 그라운딩 사실을 포함하는 JSON 프로토콜로 변환한다. 학습 중 프로토콜은 학생 정책(student policy)의 특권 분기(privileged branch)에만 제공되며, 해당 분기의 토큰 분포가 희소한 RL 목표와 함께 밀집된 증류 신호를 제공한다. 7개 QA 벤치마크에 걸친 광범위한 평가에서 MAPD는 경쟁력 있는 증류 및 RL 방법을 지속적으로 능가하며, Qwen3-1.7B에서 평균 성공률 39.4%, Qwen3-4B에서 44.4%를 달성한다. 중요하게도, 이 프레임워크는 다양한 독점 교사 모델에 걸쳐 견고하게 일반화되며, 학생 정책의 스타일 표류(style drift)와 장황함 퇴화(verbosity degeneration)를 효과적으로 완화한다.

arXiv:2607.19793v1cs.AI

다중모달 에이전트형 검색의 침묵 실패: 진단 분류체계와 교차 심사 평가

Silent Failures in Multimodal Agentic Search:A Diagnostic Taxonomy and Cross-Judge Evaluation

다중모달 에이전트형 검색 시스템은 지식 집약적인 시각 질문에 답하기 위해 외부 도구에 점점 더 의존하고 있다. 그러나 기존 평가는 주로 최종 답변 정확도에 초점을 맞추며, 검색 궤적(trajectory)의 실패를 놓칠 수 있다. 본 연구에서는 이러한 숨겨진 신뢰성 문제를 침묵 실패(silent failures)로 연구한다. 우리는 모달리티 지름길(modality shortcuts), 팬텀 그라운딩(phantom grounding), 잘못된 증거-올바른 답변 사례, 과잉 검색 세탁(over-retrieval laundering), 교차 모달 모순(cross-modal contradiction), 출처 환각(provenance hallucination)을 포괄하는 6가지 범주 분류체계를 제안한다. 이 분류체계를 바탕으로, 통합된 ReAct 스타일 스캐폴드 하에서 답변 정확성과 증거 그라운딩 품질을 모두 평가하는 궤적 수준 진단 파이프라인을 구축한다. 네 가지 최신 다중모달 모델에 걸친 MMSearch-Plus 궤적 실험 결과, 표면적 정확도가 실제 궤적 수준 정확성을 지속적으로 과대평가함을 보여준다. 또한 교차 심사 검증, 빈 이미지 스트레스 테스트, 도구 ablation을 통해 침묵 실패가 능력에 따라 달라지며 사라지기보다는 종종 이동함을 보인다. Home-page: https://github.com/DingWu1021/silent-failures-multimodal-agentic-search

arXiv:2607.15253v1cs.IR

Bridge Evidence: 다단계 에이전트형 검색에서 정적 검색 유용성은 인과적 유용성을 예측하지 않는다

Bridge Evidence: Static Retrieval Utility Does Not Predict Causal Utility in Multi-Step Agentic Search

검색 시스템은 유용성에 대한 정적 개념을 바탕으로 학습되고 평가된다. 문서와 질문을 리더 모델에 전달하고 답이 개선되는지 확인한 뒤, 그에 따라 문서를 점수화하는 방식이다. 문서를 단독으로 읽을 때는 이 아이디어가 성립한다. 언어 모델이 검색 에이전트로 작동하여 여러 쿼리를 발행하고 턴 간 추론을 수행할 때는 깨진다. 문서가 현재 질문에 대해 무엇을 말하는가보다, 에이전트가 다음에 무엇을 할 수 있게 해주는가에 중요할 수 있기 때문이다. 우리는 이를 주장하기보다 그 격차를 측정한다. HotpotQA에서 ReAct 스타일 에이전트를 사용해 개발 질문 1000개를 재현하고, 에이전트가 읽은 모든 문서에 대해 해당 문서를 삭제한 뒤 그 시점부터 나머지 궤적을 다시 실행한다. 원래 실행과 반사실(counterfactual) 실행을 비교하면 세 가지 델타—최종 답 품질, 다음 쿼리 검색 품질, 턴 수—로부터 Counterfactual Trajectory Utility(CTU) 점수를 얻는다. 23,322개 문서 관측에 대해 CTU와 Static RAG Utility(SRU)를 교차 분석하면, 두 지표는 통계적으로 거의 독립적이다(Spearman rho = -0.026). 에이전트가 읽는 문서의 약 1/3은 정적 리더에게는 쓸모없어 보이지만 인과적으로 핵심 역할을 하며, 우리는 이를 bridge document(교두 문서)라고 부른다. 리더 기반 축을 BM25 및 cross-encoder 프록시로 교체해도 패턴은 유지되며, 균등 분포 축에서 bridge cell이 27.2%를 나타낸다. 두 번째 실험은 메커니즘을 규명한다. 선행 연구의 Observable Entity Relevance(OER) 측정을 사용하면, 관련 후보와 비관련 후보를 구별하는 엔티티가 비관련 문서에서만 발견되는 엔티티보다 에이전트의 다음 쿼리에 4.02배 더 자주 등장한다(6.1% vs 1.5%, n = 227,139). bridge document는 검색을 재지향하는 판별적(discriminative) 엔티티를 에이전트에 제공함으로써 가치를 발휘한다. 에이전트형 검색에서 정적 관련성과 인과적 유용성은 서로 다른 양이며, 전자를 최적화한다고 후자가 달성되지는 않는다.

arXiv:2510.18939v2cs.CL

미로 속에서 길을 잃다: 장기 궤적 에이전트 검색의 컨텍스트 한계 극복

Lost in the Maze: Overcoming Context Limitations in Long-Horizon Agentic Search

장기 궤적 에이전트 검색(agentic search)은 웹을 장시간에 걸친 궤적으로 반복 탐색하고 여러 출처의 정보를 종합하는 작업으로, 심층 연구(deep research) 시스템과 같은 강력한 응용을 가능하게 한다. 본 연구에서는 인기 있는 에이전트 검색 프레임워크가 주로 컨텍스트 한계로 인해 장기 궤적로 확장하는 데 어려움을 겪는다는 것을 보인다. 길고 노이즈가 많은 콘텐츠가 누적되거나, 컨텍스트 윈도우와 도구 예산 한도에 도달하거나, 조기에 중단되는 것이 그 원인이다. 이에 우리는 SLIM(Simple Lightweight Information Management)을 제안한다. SLIM은 검색과 browse를 각각 별도의 도구로 분리하고 궤적을 주기적으로 요약하여 컨텍스트를 간결하게 유지하면서 더 길고 집중된 검색을 가능하게 하는 간단한 프레임워크이다. 다양한 장기 궤적 과제에서 SLIM은 독점 모델과 오픈 가중치 모델을 모두 활용하는 강력한 오픈소스 프레임워크(심층 연구용 강화학습(RL) 학습 모델 포함) 대비 상당히 낮은 비용과 훨씬 적은 도구 호출로 비슷한 성능을 달성한다. 구체적으로 o3를 기본 모델로 사용할 때 SLIM은 BrowseComp에서 56%, HLE에서 33%를 달성하여 모든 오픈소스 프레임워크를 각각 절대 8점, 6점 상회하며, 도구 호출은 4~6배 적다. GLM-4.7 Flash를 사용할 때 SLIM은 BrowseComp에서 차기 최고 오픈소스 프레임워크인 Search-o1 대비 10점 향상을 달성하며 비용은 3분의 1 수준이다. 장기 궤적 에이전트 검색의 실패 양상을 체계적으로 이해하기 위해 자동화된 세밀한 궤적 분석 파이프라인과 오류 분류 체계를 개발하였으며, SLIM이 기존 시스템보다 현저히 적은 환각(hallucination)을 보인다는 것을 확인했다. 우리의 분석 프레임워크와 간단한 도구 설계가 향후 장기 궤적 에이전트 개발에 기여하기를 바란다.

arXiv:2607.03162v1cs.AI

APeB: 대규모 언어 모델 에이전트의 개인화 능력 벤치마킹

APeB: Benchmarking Personalization Ability of Large Language Model Agents

LLM 기반 에이전트는 사용자가 구체적이지 않은 원시 질의를 입력할 때 개인화에 어려움을 겪는다. 이 설정에서 에이전트는 잠재적 의도를 추론하고, 노이즈가 포함된 상호작용 이력에서 선호도를 추출하며, 경쟁하는 대안들 중에서 선택해야 한다. 기존 벤치마크는 사용자가 정제한 질의나 단순화된 이력에 의존하는 경우가 많아 이 역량을 거의 테스트하지 않는다. 우리는 원시 질의와 다양한 이력 하에서 에이전트 개인화를 위한 테스트베드인 개인화 상품 검색(PPS)을 소개한다. 우리는 행동 로그로부터 Agent Personalized Benchmark(APeB)를 구축하여, 구체적이지 않은 의도와 풍부한 이력 및 사용자가 열람한 후보 아이템을 쌍으로 연결한다. 다단계 에이전트 워크플로우를 사용해 최신 LLM을 평가한 결과, 모델은 명시적인 질의는 잘 처리하지만 의도 및 선호도 발견이 필요한 초기 단계 질의에서는 어려움을 겪는 것으로 나타났다. 루브릭 분석에 따르면 이 격차는 주로 비효과적인 이력 활용에 기인한다. 단순한 이력 인식 질의 정제 파이프라인인 VQRA는 일관된 성능 향상을 보여주며, 개인화 에이전트에서 전용 이력 활용 모듈의 필요성을 부각시킨다.

arXiv:2607.02387v1cs.IR

지구 관측 데이터 탐색에 에이전틱 검색 도입

Bringing Agentic Search to Earth Observation Data Discovery

NASA EO-KG의 출판물-데이터셋 인용 관계를 활용해 4만 7천 개의 질의-데이터셋 쌍으로 구성된 지구과학 데이터셋 검색 벤치마크 NASA-EO-Bench를 구축하고, BM25와 신경망 스코어러를 결합한 하이브리드 검색으로 Recall@10과 MRR을 기존 코사인 기준선 대비 5배 이상 향상시켰다. 여기에 웹 및 arXiv 도구를 자율적으로 호출하는 제로샷 에이전틱 재순위화 단계를 추가해 추가 학습 없이 MRR을 28% 더 향상시켜, LLM 추론이 지도 학습 기반 검색을 효과적으로 보완함을 실증하였다.

arXiv:2606.29863v1cs.CL

KbSD: 에이전틱 검색에서의 행동 보정을 위한 지식 경계 인식 자기 증류

KbSD: Knowledge Boundary aware Self-Distillation for Behavioral Calibration in Agentic Search

에이전틱 검색은 대규모 언어 모델(LLM)에 동적 검색 능력을 부여하지만, 기존의 강화학습 방법은 지식 경계 보정 — 파라메트릭 메모리를 신뢰할 시점, 검색된 증거에 의존할 시점, 그리고 답변을 자제할 시점을 결정하는 것 — 에서 보상 희소성의 한계를 지닌다. 이진(binary) 보상은 바람직하지 않은 결과에 페널티를 부여할 수 있지만, 다양한 지식 상태에 걸쳐 보정된 결정을 내리는 데 필요한 추론 과정에 대한 지침은 거의 제공하지 못한다. 이를 해결하기 위해 우리는 KbSD(Knowledge boundary Self-Distillation)를 제안한다. 이는 밀집 토큰 수준 감독, 결과 수준 희소 보상, 사분면 적응형 최적화를 통해 이 한계를 극복하는 프레임워크이다. KbSD는 학생 모델과 구조적으로 동일한 힌트 증강(hint-augmented) 교사 모델을 구성하며, 이 교사 모델은 파라메트릭 확실성, 검색 품질, 정답을 포함한 명시적 지식 경계 신호를 수신하여 보정된 추론 시연을 생성한다. 이러한 정보 비대칭 자기 증류는 더 큰 외부 모델 없이도 밀집 감독을 가능하게 한다. 지식 상태에 따른 이질적인 추론 분포를 추가로 고려하기 위해, 우리는 사분면 적응형 증류 목표를 도입한다: 집중적 통합을 위한 역방향 KL, 다양한 거부를 위한 순방향 KL, 그리고 정밀도와 커버리지를 모두 필요로 하는 비대칭 사분면을 위한 파레토 최적 양방향 KL이다. 다양한 벤치마크에서의 실험 결과, KbSD는 강력한 기준선 대비 과제 정확도와 환각(hallucination) 완화 모두에서 일관된 개선을 보이며, 특히 희소 보상이 가장 정보를 제공하지 못하는 어려운 사분면에서 가장 큰 성능 향상을 나타낸다.

arXiv:2606.20235v1cs.IR

ScholarQuest: 개방형 문헌 환경에서의 에이전트 기반 학술 논문 검색을 위한 분류 체계 기반 벤치마크

ScholarQuest: A Taxonomy-Guided Benchmark for Agentic Academic Paper Search in Open Literature Environments

학술 논문 검색은 과학적 연구의 핵심 단계이며, LLM(대규모 언어 모델) 기반 검색 에이전트는 반복적이고 의도 기반의 문헌 탐색을 위한 유망한 패러다임으로 부상하고 있습니다. 그러나 기존 벤치마크들은 현실적인 개방형 문헌 환경에서 에이전트 기반 학술 검색을 체계적으로 평가하기에 부족합니다. 본 연구에서는 에이전트 기반 학술 논문 검색을 위한 대규모의 분류 체계 기반 벤치마크인 ScholarQuest를 제안합니다. ScholarQuest는 1,000개 이상의 컴퓨터 과학 주제와 방법 중심, 설정 기반, 비교 기반, 범위 제어 쿼리를 포함한 4가지 대표적인 연구 의도로부터 구성되었습니다. 또한 재현 가능한 평가를 위해 확장 가능한 답변 구성 방식과 공유 검색 백엔드인 ScholarBase를 제공합니다. 벤치마킹 결과에 따르면 에이전트 방법들은 단일 샷(single-shot) 검색 기준선(baselines)보다 우수한 성능을 보였으나, 최고 성능의 에이전트조차도 0.314의 재현율@100(Recall@100)과 0.355의 재현율@All(Recall@All)만 달성하여 상당한 개선의 여지가 있음을 보여줍니다. 또한, 검색 효율성, 의도 수준 강건성(robustness), 실패 사례에 대한 분석은 학술 논문 검색 에이전트에 대한 다차원 평가 신호를 제공할 수 있는 이 벤치마크의 능력을 더욱 부각합니다.

arXiv:2606.17209v1cs.AI

병렬 샘플링을 넘어서: 에이전트 검색을 위한 다양한 쿼리 초기화

Beyond Parallel Sampling: Diverse Query Initialization for Agentic Search

에이전트 검색을 위한 테스트 타임 스케일링은 일반적으로 깊이(즉, 트레젝토리당 더 많은 턴과 토큰) 또는 너비(즉, 더 많은 병렬 롤아웃)를 늘리는 방식으로 이루어집니다. 본 연구에서는 너비 스케일링에 초점을 맞추며, 표준 병렬 샘플링이 수익 체감을 야기함을 보이고, 이것이 첫 번째 턴에서의 쿼리 중복성에서 비롯됨을 규명합니다. 모델이 롤아웃 전반에 걸쳐 유사한 첫 번째 쿼리를 생성하면, 스레드들은 중복되는 증거를 검색하게 되며, 이후 턴들은 이 공유된 검색 결과에 기반하게 됩니다. 우리는 DivInit라는 첫 번째 턴에서의 무학습 개입 방식을 통해 이러한 제한을 해결합니다. k개의 독립적인 첫 번째 쿼리를 샘플링하는 대신, DivInit는 단일 호출에서 n개의 후보를 추출한 뒤, 그중 k(<n)개의 다양한 시드를 선택하여 병렬 트레젝토리로 실행합니다. 5개의 오픈 가중치 모델과 8개의 벤치마크에 걸쳐, DivInit는 표준 병렬 샘플링 대비 일관되게 성능을 향상시켰으며, 동일한 연산량 조건에서 멀티홉 QA에서 평균 5~7포인트의 향상을 보였습니다. 코드는 https://github.com/cxcscmu/diverse-query-initialization 에서 확인할 수 있습니다.

arXiv:2511.19314v2cs.AI

PRInTS: 장기 수평 정보 검색을 위한 보상 모델링

PRInTS: Reward Modeling for Long-Horizon Information Seeking

PRInTS는 도구 상호작용과 추론 과정을 다차원적으로 평가하고 컨텍스트를 압축하는 궤적 요약 기능을 통해 장기 정보 검색 작업을 위한 생성형 프로세스 보상 모델(PRM)을 제안합니다. 이 방법은 다양한 벤치마크에서 오픈소스 모델 및 전문 에이전트의 성능을 향상시켜 더 작은 백본으로도 최신 모델과 대등하거나 우월한 결과를 달성했습니다.

arXiv:2606.07074v1cs.LG

SlimSearcher: 적응형 보상 게이팅을 통한 학습 효율성 인식 웹 에이전트

SlimSearcher: Training Efficiency-Aware Web Agents via Adaptive Reward Gating

심층 연구 에이전트(deep research agents)는 복잡한 정보 탐색 작업에서 뛰어난 능력을 보여주었지만, 이러한 성능은 막대한 계산 비용을 수반한다. 정확도 중심의 학습 패러다임에 의해 현재 모델들은 무차별적인 도구 의존과 형식적 추론(performative reasoning)이 특징인 무식한 전략을 채택하여, 이러한 작업을 해결하는 데 필요한 수준을 훨씬 넘어서는 길고 중복된 궤적을 생성하고, 이로 인해 불필요한 도구 호출과 과도한 토큰 소비가 발생한다. 이러한 효율성 함정을 극복하기 위해, 우리는 지도 미세조정(SFT)과 강화학습(RL) 모두에서 정확도와 계산 비용 사이의 파레토 프론티어를 밀어 올리는 원칙적 프레임워크인 SlimSearcher를 제안한다. SFT 단계에서 SlimSearcher는 성공적이면서도 경제적인 궤적을 증류하기 위해 파레토 효율적 필터링을 사용하여, 모델이 본질적으로 효율성을 인식하는 검색 행동을 향하도록 유도한다. 강화학습 과정에서는 샘플링된 코호트 내에서 상대적인 도구 및 토큰 효율성을 평가하는 동적 보상 형성 메커니즘인 Adaptive Reward Gating을 도입한다. 이러한 적응형 효율성 지표를 엄격한 정확성 게이트와 연쇄적으로 결합함으로써, 우리의 접근법은 절대적 페널티와 관련된 간결성 바이어스(brevity bias)를 효과적으로 피하고 보상 해킹(reward hacking)을 완화한다. GAIA, BrowseComp, XBenchDeepSearch를 포함한 장기 벤치마크에 대한 광범위한 실험은 SlimSearcher가 정확도를 유지하거나 개선하면서 평균 도구 호출 라운드를 17%-58% 줄인다는 것을 보여준다.