PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.17680v1cs.LG

EnvRL: 에이전트 강화학습에서 환경 역학 학습하기

EnvRL: Learn from Environment Dynamics in Agentic Reinforcement Learning

강화학습(RL)은 대규모 언어 모델(LLM)을 에이전트로 학습시키는 강력한 패러다임으로 부상했습니다. 그러나 장기(long-horizon) 에이전트 작업에 대한 기존 RL 방법은 종종 희소한 결과 보상(sparse outcome rewards) 문제로 어려움을 겪습니다. 직관적으로 볼 때, 이는 롤아웃 상호작용 궤적에 포함된 풍부한 환경 역학(environment dynamics) 정보를 간과하는 것입니다. 우리는 상호작용 경험이 본질적으로 암시적 감독 신호로 작용하며, 환경의 기저 전이 메커니즘을 드러내고 에이전트가 더 정확한 환경 내부 모델을 구축할 수 있게 한다고 주장합니다. 따라서 본 연구에서는 정책 학습을 개선하기 위해 이 추가 신호를 활용하는 방법을 탐구합니다. 구체적으로, 우리는 상태 예측과 역동역학(inverse dynamics)이라는 두 가지 보조 목적을 통해 환경 역학 학습을 에이전트 RL에 통합하는 EnvRL 프레임워크를 제안합니다. 주요 RL 목적과 함께 공동 최적화를 수행함으로써, 에이전트가 자신의 상호작용 경험으로부터 환경 역학을 내재화하도록 유도합니다. 두 가지 장기 에이전트 벤치마크에 대한 광범위한 실험을 통해 EnvRL이 RL 전용 기준 모델 대비 성공률에서 유의미한 향상을 달성함을 입증했습니다. 예를 들어, GRPO로 학습했을 때 ALFWorld에서 Qwen-2.5-1.5B-Instruct의 성공률을 72.8%에서 77.4%로, WebShop에서는 56.8%에서 67.0%로 상승시켰습니다.