PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2507.14897v2cs.AI

AgentFly: 통합 리소스 시스템을 통한 에이전트 강화학습의 스케일링

AgentFly: Scaling Agentic Reinforcement Learning with Unified Resource System

대규모 언어 모델(LLM) 에이전트를 구축하는 방법은 프롬프트 엔지니어링과 지도 미세조정(SFT)에서 에이전트 강화학습(agentic RL)으로 발전해 왔습니다. 그러나 에이전트 강화학습은 주변 시스템으로 인한 병목 현상을 여전히 겪고 있습니다. 에이전트는 샌드박스, 모델 서비스, 외부 API와 같은 이종 환경과 상호작용해야 하며, 이러한 환경의 할당, 재사용 및 수명 주기는 롤아웃(rollout) 비용의 대부분을 차지하고 실질적으로 학습(training) 가능한 규모를 제한합니다. 본 연구에서는 단일 엔진을 통해 스케줄링되는 개별적이고 유형화된 리소스로서 이러한 각 환경을 처리하는 통합 리소스 층(layer) 기반의 에이전트 강화학습 프레임워크인 AgentFly를 제시합니다. 이 프레임워크는 멀티턴 재사용을 위한 도구별 획득, 비동기 배압(backpressure), 롤아웃 범위 대 전역 범위의 수명 주기를 지원합니다. AgentFly는 4개 층 구조 설계를 채택합니다: (I) 에이전트, 도구, 보상 개념을 추상화하여 에이전트 강화학습을 에이전트, 도구 및 보상 함수 정의로 분해하는 에이전트 층; (II) 이들을 에이전트 루프로 구성하고 보상을 계산하는 롤아웃 층; (III) 롤아웃을 구성하고 문맥 정보를 주입하며 리소스를 배치하는 컨텍스트 층; (IV) 리소스 관리를 수행하는 저수준 리소스 층. 우리는 사전 구축된 도구 및 환경 모음을 제공하고, 여러 태스크와 모델에 걸쳐 성공적인 에이전트 학습을 입증하며, 에이전트 강화학습 프레임워크 간 최초의 통제된 처리량 비교 결과를 보고합니다.