SearchJev: 검색 에이전트를 위한 보정된 System-1 모델
SearchJev: A Calibrated System-1 Model for Search Agents
한국어 초록
검색 에이전트는 관련성, 증거 충분성, 검색 행동에 관한 짧은 결정을 반복적으로 내린다. 이러한 결정에 생성형 언어 모델을 사용하면 지연 시간이 늘고 신뢰도가 불안정해진다. 본 논문은 검색 결정을 System-2의 추론 및 생성과 분리하는 보정된 System-1 모델 SearchJev를 제시한다. 검색 상태와 결정 스키마가 주어지면 SearchJev는 자기회귀적 출력 생성 없이 유효한 선택지에 점수를 매긴다. 불확실한 지도 신호로부터 결정 확률을 학습하고 결정 신뢰도의 신뢰성을 높이기 위해 보정된 결정을 위한 소프트 라벨 학습(SLCD)을 제안한다. 이중 시스템 검색 에이전트에서 SearchJev는 짧은 결정을 처리하고 불확실한 판단은 계획, 질의 생성, 답변 작성을 담당하는 System 2에 위임한다. 또한 학습과 평가를 위해 여섯 가지 유형의 검색 결정을 통합한 벤치마크 SearchDecision-Bench를 도입한다. SearchDecision-Bench에서 SearchJev는 동일 크기의 Qwen3.5 자기회귀 모델보다 결정 품질을 향상시키고, 결정 속도가 5.2~5.3배 빠르며, 평균 기대 보정 오차를 41~74% 줄인다. BrowseComp-Plus에서 이중 시스템 에이전트는 능동 검색 시간에서 3.7~4.7배의 속도 향상을 달성하면서 답변 정확도를 45%에서 최대 54%까지 높인다.
원문 초록
Search agents repeatedly make short decisions about relevance, evidence sufficiency, and search actions. Using generative language models for these decisions introduces latency and unreliable confidence. We present SearchJev, a calibrated System-1 model that separates search decisions from System-2 reasoning and generation. Given a search state and a decision schema, SearchJev scores legal options without autoregressive output generation. We propose Soft-Label Learning for Calibrated Decisions (SLCD) to learn decision probabilities from uncertain supervision and improve the reliability of decision confidence. In a dual-system search agent, SearchJev handles short decisions and delegates uncertain judgments to System 2, which retains planning, query generation, and answer composition. We also introduce SearchDecision-Bench, a benchmark unifying six types of search decisions for training and evaluation. On SearchDecision-Bench, SearchJev improves decision quality over same-size Qwen3.5 autoregressive models, achieves 5.2-5.3 times faster decisions, and reduces average expected calibration error by 41-74%. On BrowseComp-Plus, the dual-system agents achieve a 3.7-4.7 times speedup in active search time while improving answer accuracy from 45% to up to 54%.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2610.05107v3제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.