PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.17682v1cs.CL

수련생에서 트레이너로: 다중 에이전트 추론을 위한 강화학습용 LLM 설계 학습 환경

From Trainee to Trainer: LLM-Designed Training Environment for RL with Multi-Agent Reasoning

대규모 언어 모델(LLM) 학습을 위한 강화학습 파이프라인은 종종 단계 간에 수동으로 재설계된 환경에 의존하며, 이는 실무자들이 현재 정책을 가장 잘 개선할 구성을 휴리스틱하게 추론해야 함을 요구한다. 이 과정을 자동화하기 위해, 현재 정책 모델이 실패 궤적과 맥락 정보를 함께 분석하고 다음 단계 학습 환경 구성에 대한 수정을 제안하는 LLM-as-Environment-Engineer 프레임워크를 제안한다. 또한 생성기가 다차원 환경 구성을 노출하는 제어 가능한 테스트베드인 MAPF-FrozenLake를 도입하여, 환경 재설계의 연구 및 벤치마킹에 적합하도록 한다. 이 테스트베드에서 환경 엔지니어를 정책 행동, 실패 사례, 환경 통계에 대한 구조화된 요약에 조건화하여 다음 학습 단계를 위한 구성을 생성한다. Qwen3-4B를 백본으로 사용하여, 우리 프레임워크는 벤치마크에서 최고의 종합 성능을 달성하며, 더 큰 독점 LLM(예: GPT, Gemini) 및 고정 환경 학습 베이스라인을 능가한다. 또한 어떤 형태의 맥락이 가장 효과적인지 분석한 결과, 성공적인 환경 업데이트는 실패 증거에 의존하며 이미 작동하는 구성을 유지함을 발견한다. 흥미롭게도, 현재 RL 체크포인트는 원래 베이스 모델보다 더 나은 환경 엔지니어 역할을 하며, 이는 정책 학습이 모델의 남은 약점을 진단하는 능력을 향상시킴을 시사한다.