PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.19047v1cs.AI

RODS: 멀티턴 툴 사용 에이전트를 위한 보상 기반 온라인 데이터 합성

RODS: Reward-Driven Online Data Synthesis for Multi-Turn Tool-Use Agents

멀티턴 툴 사용 강화학습(RL)은 정적 데이터셋에서 유익한 샘플이 빠르게 고갈되는 병목을 겪으며, GRPO의 롤아웃 보상 분산이 성공·실패가 균형인 능력 경계에 집중된다는 점을 RODS(Reward-driven Online Data Synthesis)가 활용해 진행 보상 분산으로 경계 샘플을 탐지하고 스킬 정렬 리샘플링으로 멀티턴 변형을 합성하며 정책과 함께 진화하는 동적 리플레이 버퍼를 운영한다. 400개 인간 시드와 약 800개 활성 학습 풀만으로 1만 7천 샘플 오프라인 파이프라인과 유사한 성능을 약 20배 적은 궤적으로 달성하고, 고정 데이터 RL 및 환경 증강보다 개선된 결과를 보였다.