Why Multi-Step Tool-Use Reinforcement Learning Collapses and How Supervisory Signals Fix It
다단계 도구 사용 에이전트 강화학습(RL)은 특정 제어 토큰의 확률 급등으로 도구 호출 구조가 무너지는 구조적 붕괴가 발생할 수 있으나, 추론 능력 자체는 유지된다는 점을 분석했다. 오프폴리시 감독, 힌트 기반 안내, 오류 궤적·과정 반성 감독 등 여러 감독 신호를 비교한 결과, RL과 지도 미세조정(SFT)을 교차하는 학습이 안정성을 크게 높였지만 형식·내용 분포 외(OOD) 평가에서는 성능이 떨어질 수 있음을 보였다.