SPADER: 다중 정답 질의응답을 위한 단계별 동료 어드밴티지와 다양성 인식 탐험 보상
SPADER: Step-wise Peer Advantage with Diversity-Aware Exploration Rewards for Multi-Answer Question Answering
다중 정답 QA(Multi-Answer QA)에서 도구를 활용하는 에이전트가 빈번한 고빈도 엔티티에만 집중하고 조기 탐색을 멈추는 문제를 해결하기 위해, SPADER는 병렬 궤적을 결정 단계별로 정렬해 크리틱 네트워크 없이 세밀한 크레딧 할당을 수행하는 Step-wise Peer Advantage(SPA)와 희귀 엔티티 발견을 장려하는 다양성 인식 탐색 보상(diversity-aware exploration reward)을 결합한 강화학습 프레임워크를 제안한다. QAMPARI, Mintaka, WebQSP, QUEST 벤치마크 실험에서 SPADER는 프롬프팅 기반 에이전트, 결과 감독 RL, 단계별 감독 방법 대비 재현율과 F1을 전반적으로 향상시켰다.