SearchMaster: 검색 에이전트를 위한 근거 기반 및 규제형 자기 대국
SearchMaster: Grounded and Regulated Self-Play for Search Agents
한국어 초록
대규모 언어 모델(LLM) 기반 검색 에이전트(search agent)를 학습(training)시키려면 진정한 다중 홉(multi-hop) 검색을 요구하는 태스크와 검색 도구를 효과적으로 사용하는 궤적과 같은 고품질 검색 데이터가 필요합니다. 기존 파이프라인은 주로 사람이 작성한 태스크, 전문가 데모 또는 더 강력한 교사 모델(teacher model)에 의존합니다. 본 논문에서는 로컬 검색 환경(environment)에서 단일 LLM이 스스로 생성하고, 해결하며, 검증한 검색 태스크를 통해 해당 LLM을 학습시키는 자기 대국(self-play) 프레임워크인 SearchMaster를 제안합니다. 주요 과제는 자체 생성된 태스크와 롤아웃이 오해의 소지가 있는 신호를 생성할 수 있다는 점입니다. 즉, 가짜 다중 홉 질문, 검색 깊이를 무시한 성공률 기반 난이도 추정, 과도한 열람만 발생하고 목적 지향적인 증거 획득은 부족한 롤아웃 등이 발생할 수 있습니다. SearchMaster는 세 가지 제어 장치를 통해 이러한 실패 모드를 해결합니다. 첫째, 증거 사슬 생성기(Evidence-Chain Generator, ECG)는 명시적인 문서 간 증거 사슬에 태스크 생성을 그라운딩(grounding)하여 가짜 다중 홉 질문을 줄입니다. 둘째, 검색 깊이 보상(Search-Depth Reward, SDR)은 단순 성공률 대신 성공적인 롤아웃의 검색 깊이로 태스크 난이도를 평가하여, 유지되는 태스크가 검색 집약적이도록 보장합니다. 셋째, 과도 열람 페널티(Over-Opening Penalty, OOP)는 과도한 문서 열람을 억제하여 도구 사용을 규제함으로써 길지만 얕은 탐색을 방지합니다. 검증된 제안자(Proposer) 및 해결자(Solver) 롤아웃은 이후 GRPO를 통해 공동으로 최적화됩니다. 6개의 심층 검색 벤치마크(benchmark) 전반에 걸쳐 SearchMaster는 Qwen3.5-9B 백본의 평균 정확도를 38.19%에서 51.52%로 향상시켰으며, BrowseComp-Plus에서는 30.1%p의 향상을 달성했습니다. 이러한 결과는 근거 기반의 규제형 자기 대국이 사람이 라벨링한 QA 쌍이나 전문가 데모 없이도 효과적인 검색 에이전트 학습 데이터를 제공할 수 있음을 보여줍니다. 코드는 https://github.com/WentaoTan/SearchMaster 에서 이용할 수 있습니다.
원문 초록
Training LLM-based search agents requires high-quality search data: tasks that demand genuine multi-hop retrieval and trajectories that use search tools effectively. Existing pipelines often depend on human-written tasks, expert demonstrations, or stronger teacher models. We present SearchMaster, a self-play framework that trains a single LLM from search tasks it generates, solves, and verifies in a local search environment. The key challenge is that self-generated tasks and rollouts can yield misleading signals: pseudo multi-hop questions, success-rate difficulty estimates that ignore search depth, and rollouts with excessive opening but little targeted evidence acquisition. SearchMaster addresses these failure modes with three controls. An Evidence-Chain Generator (ECG) grounds task generation in explicit cross-document evidence chains to reduce pseudo multi-hop questions. A Search-Depth Reward (SDR) scores task difficulty by the search depth of successful rollouts rather than success rate alone, keeping retained tasks search-intensive. An Over-Opening Penalty (OOP) regulates tool use by discouraging excessive document opening, avoiding long but shallow browsing. Verified Proposer and Solver rollouts are then jointly optimized with GRPO. Across six deep-search benchmarks, SearchMaster improves a Qwen3.5-9B backbone from 38.19% to 51.52% average accuracy, with a 30.1-point gain on BrowseComp-Plus. These results show that grounded and regulated self-play can provide effective search-agent training data without human-labeled QA pairs or expert demonstrations. The code is available at https://github.com/WentaoTan/SearchMaster.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.01822v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.