PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.19636v2cs.AI

도달인가 해결인가? 체크포인트 핸드오프를 통한 에이전트 강화학습 성능 향상의 심층 분석

Reach or Solve? Deep Diving into Agentic RL Gains with Checkpoint Handoffs

강화학습(RL)은 언어 모델 에이전트(agent)를 개선하는 데 널리 사용되며, 그 성능 향상은 일반적으로 최종 작업 성공률로 측정됩니다. 그러나 에이전트의 이전 행동들은 이후 의사결정이 이루어지는 상태(state)를 형성하므로, 최종 작업 성공률은 유용한 상태에 도달하는 능력과 해당 상태에 도달한 후 작업을 완료하는 능력을 혼동하게 만듭니다. 각 에이전트가 도달한 상태에서만 에이전트들을 비교하는 것은 각 에이전트가 자신의 행동에 의해 선택된 상태에서 평가되기 때문에 이 둘을 분리해 내지 못합니다. 이러한 혼동을 해결하기 위해, 본 연구에서는 재학습 없이 도달과 완료를 분리하는 평가 프로토콜인 체크포인트 핸드오프(checkpoint handoff)를 도입합니다. 하나의 체크포인트가 핸드오프 시점까지 도달자(reacher) 역할을 수행하고, 다른 체크포인트는 재생된 동일한 히스토리로부터 해결자(solver)로서 작업을 이어받습니다. 구체적으로, (1) Reach는 재생 가능한 환경에서 성공까지 고정된 수의 행동만이 남았음이 검증된 상태에 도달자가 얼마나 자주 도달하는지를 측정하며, (2) Solve는 해당 상태들의 동일하게 복제된 사본으로부터 해결자가 작업을 얼마나 자주 완료하는지를 측정합니다. 두 개의 벤치마크와 독립적으로 공개된 두 개의 학습 파이프라인 전반에서 지도 미세조정(SFT)과 강화학습 체크포인트를 두 역할 모두에 교차 적용한 결과, 해결자를 SFT에서 강화학습으로 전환할 때 얻는 이득은 강화학습이 도달자일 때 TravelPlanner의 세 가지 모델 크기 모두와 ALFWorld의 두 분할(split) 모두에서 일관되게 더 크다는 점을 발견했습니다. ALFWorld에 대한 추가 분석은 강화학습이 Reach와 Solve를 모두 향상시킴을 보여줍니다. 강화학습 도달자 환경에서 해결자 이득이 더 큰 이유는 강화학습이 해결 가능한 상태에 더 자주 도달하기 때문이며, 별도로 측정된 Reach 및 Solve 격차는 이러한 차이의 대부분을 설명합니다. 핸드오프는 한 체크포인트의 히스토리를 다른 체크포인트 아래에서 재생하는 것만을 요구하므로, 에이전트 강화학습 평가는 최종 성공률과 함께 도달률 및 완료율을 함께 보고할 수 있습니다.