정보 획득 기반 롤아웃 정책 최적화: 다중 턴 검색 에이전트를 위한 적응형 트리 구조 롤아웃 접근법
Information Gain-based Rollout Policy Optimization: An Adaptive Tree-Structured Rollout Approach for Multi-Turn Search Agents
강화학습(RL)은 최종 결과에 도달하기 전 여러 중간 결정이 필요한 장기적(long-horizon) 검색 태스크에서 대규모 언어 모델(LLM) 에이전트의 성능을 향상시킵니다. 그러나 롤아웃 예산은 중간 상태의 유용성을 평가하지 않고 할당되는 경우가 많아, 가망이 없는 분기에서 연산이 낭비될 수 있습니다. 본 논문에서는 중간 상태의 정보성(informativeness)을 중심으로 롤아웃 수집을 구성하는 프레임워크인 정보 획득 기반 롤아웃 정책 최적화(IGRPO)를 제안합니다. 구체적으로, IGRPO는 확장 확률이 노드 수준의 정보성에 의존하는 예산 인식 트리 구조 롤아웃을 수행하여, 고정된 롤아웃 예산 내에서 유익한 분기에는 더 많은 연산을 투입하고 정보성이 낮은 분기는 덜 자주 확장되도록 합니다. 학습 궤적(trajectory)이 생성되는 방식을 직접 조정함으로써, IGRPO는 더 높은 누적 정보성을 선호하는 검색 궤적에 대한 극한 교사 분포(limiting teacher distribution)를 유도합니다. 그 결과로 얻어지는 분포는 명시적인 정책 최적화 목표를 제공하여, 적응형 롤아웃 수집과 원칙에 기반한 정책 학습을 연결합니다. 7개의 검색 증강 질의응답 벤치마크에 대한 실험 결과, IGRPO는 유사한 롤아웃 예산 하에서 3B 및 7B 백본 모두에서 강력한 베이스라인보다 더 높은 평균 정확도를 달성하여, 검색 에이전트 학습을 위한 정보성 기반 궤적 생성의 유효성을 뒷받침합니다. 코드는 https://github.com/e3trange/IGRPO 에서 확인할 수 있습니다.