arXiv:2611.24697v1 cs.AI

깊이 먼저, 폭은 나중에: LLM 에이전트를 위한 이점 분해를 갖춘 역방향-순방향 커리큘럼

Depth Before Breadth: Reverse-to-Forward Curriculum with Advantage Decomposition for LLM Agent

Siyuan Du, Yuxin Liu, Meng Tang, Haoran Li, Yechao Bai, Feiyang Pan, Jia He

제출 2026-11-19

한국어 초록

강화학습(RL)은 장기 과제에서 대규모 언어 모델(LLM) 에이전트를 학습시키는 일반적인 접근법이 되었다. 그러나 희소한 최종 보상으로부터 학습하면 크레딧 할당과 탐색이 어려워진다. 본 논문은 이러한 난제에 정책 유도 능력 영역, 즉 현재 정책이 과제를 안정적으로 완료할 수 있는 상태들의 집합을 통해 접근한다. 그 경계 근처에서는 목표가 여전히 멀더라도 에이전트가 더 해결하기 쉬운 상태에 도달하는 데 몇 가지 행동만 필요할 수 있다. 이는 장기 학습을 그러한 상태에 도달하는 것과 그곳에서 과제를 완료하는 것이라는 두 개의 결합된 하위 문제로 환원한다. 본 논문은 이를 쌍을 이루는 이점과 점진적인 역방향-순방향 커리큘럼으로 다룬다. 이점은 더 해결하기 쉬운 상태에 도달하는 것과 그 상태에서 과제를 완료하는 것에 대해 별도의 신호를 제공하며, 커리큘럼은 성공한 참조 궤적을 따라 능력 영역을 뒤쪽으로 확장한 다음 온폴리시 탐색을 통해 참조 밖의 상태로 확장한다. ALFWorld와 WebShop에서 본 방법은 두 모델 규모 모두에서 경쟁력 있는 에이전트 RL 방법을 능가하며, Qwen2.5-1.5B/7B-Instruct에서 각각 90.1%/96.1%와 80.2%/82.6%의 성공률을 달성한다.

원문 초록

Reinforcement learning (RL) has become a common approach for training large language model (LLM) agents on long-horizon tasks. However, learning from sparse terminal rewards makes credit assignment and exploration difficult. We approach these challenges through a policy-induced capability region, the set of states from which the current policy can reliably complete a task. Near its boundary, an agent may need only a few actions to reach a more solvable state, even when the goal remains distant. This reduces long-horizon learning to two coupled subproblems of reaching that state and completing the task from there. We address them with paired advantages and a progressive reverse-to-forward curriculum. The advantages provide separate signals for reaching more solvable states and completing the task from them, while the curriculum expands the capability region backward along successful reference trajectories and then into off-reference states through on-policy exploration. On ALFWorld and WebShop, our method outperforms competitive agentic RL methods at both model scales, achieving success rates of 90.1%/96.1% and 80.2%/82.6% with Qwen2.5-1.5B/7B-Instruct, respectively.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.24697v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.