검색 증강 언어 모델을 위한 증거 기반 크레딧 할당
Evidence-Based Credit Assignment for Search-Augmented Language Models
한국어 초록
최종 답변 보상을 이용한 강화학습은 단계별 주석 없이도 검색 증강 언어 모델이 추론과 검색을 번갈아 수행하도록 하지만, 결과 감독은 유용한 정보를 검색했는지와 무관하게 궤적 내 모든 검색에 동일한 크레딧을 부여한다. 이러한 한계는 한 질문에 대해 샘플링된 모든 롤아웃이 실패하는 경우 특히 심각하며, 궤적들이 현저히 다른 증거를 수집했더라도 그룹 중심화된 결과 이점(advantage)이 0으로 붕괴한다. 본 논문은 검색된 문서가 참조 답변의 우도를 얼마나 향상시키는지를 측정하는 학습 전용 보조 신호로 최종 결과 보상을 보강하는 증거 기반 크레딧 할당(Evidence-based Credit Assignment, ECA)을 제시한다. ECA는 전체 대화 접두사를 평가하는 대신, 질문과 지금까지 관찰된 중복 제거된 문서만을 담은 증거 전용 프롬프트 하에서 현재 정책의 고정된 스냅샷을 질의하여, 검색된 구절의 유용성을 생성된 사고나 검색 질의의 표면적 변이로부터 분리한다. 이 프레임워크 안에서, 교차 폴드 그룹 정규화, 신규성 게이팅, 검색 국소 토큰 할당과 함께 두 가지 리턴 정식화인 ECA-Step(단계별로 클리핑된 포텐셜 증분을 누적)과 ECA-Horizon(포텐셜의 망원급수형 지평 이득을 보존)을 비교한다. 7개의 Search QA 벤치마크에서 ECA-Horizon은 결과 전용 GRPO 기준선 대비 엄격한 매크로 정확 일치율을 Qwen2.5-3B-Instruct와 7B-Instruct에서 각각 1.03, 4.80 퍼센트포인트 향상시켜 RLOO와 GiGPO를 모두 능가한다. MultiHop-RAG에 대한 제로샷 평가는 다중 홉 추론 질의로의 강한 전이 성능을 추가로 보여준다.
원문 초록
Reinforcement learning from terminal answer rewards enables search-augmented language models to interleave reasoning and retrieval without step-level annotations, yet outcome supervision assigns identical credit to every search in a trajectory regardless of whether it retrieved useful information. This limitation is especially severe when all sampled rollouts for a question fail, collapsing group-centered outcome advantages to zero even when trajectories gather markedly different evidence. We present Evidence-based Credit Assignment (ECA), which augments terminal outcome rewards with a training-only auxiliary signal measuring how retrieved documents improve the likelihood of a reference answer. Rather than scoring the full dialogue prefix, ECA queries a frozen snapshot of the current policy under an evidence-only prompt containing solely the question and the deduplicated documents observed so far, isolating the utility of retrieved passages from surface variations in generated thoughts or search queries. Within this framework, we compare two return formulations, ECA-Step (which accumulates step-clipped potential increments) and ECA-Horizon (which preserves the telescoping horizon gain in potential), paired with cross-fold group normalization, novelty gating, and search-local token assignment. Across seven Search QA benchmarks, ECA-Horizon improves strict macro exact match over an outcome-only GRPO baseline by 1.03 and 4.80 percentage points on Qwen2.5-3B- and 7B-Instruct, respectively, outperforming both RLOO and GiGPO. Zero-shot evaluation on MultiHop-RAG further demonstrates strong transfer to multi-hop inference queries.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.23824v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.