AutoGym: 검증 가능한 에이전트 Gym의 청사진 우선 생성
AutoGym: Blueprint-First Generation of Verifiable Agent Gyms
강화학습(RL)으로 에이전트(agent)를 학습(training)시키려면 작업(task), 해당 작업을 시도할 수 있는 실행 가능한 환경(environment), 그리고 성공과 실패를 안정적으로 판별하는 검증기(verifier)로 구성된 gym이 필요합니다. 이러한 gym을 구축하는 작업은 여전히 수작업에 의존하며 비용이 많이 들고 정적입니다. 모델(model)이 발전함에 따라 작업 세트는 포화 상태에 이르고 데이터 오염에 점점 더 노출됩니다. 합성 생성을 통해 확장성을 확보할 수 있지만, 단일 패스(single-pass) 합성은 난이도가 주로 표면적인 수준에 불과한 작업을 생성합니다. 복잡한 문장 표현에도 불구하고 비슷한 수준의 성능을 가진 모델들이 이를 해결하며, 정답 여부는 신뢰할 수 없는 대규모 언어 모델(LLM) 심사위원에 의해 사후에 판별되어야 합니다. 본 논문에서는 최소한의 도메인 시드나 이전 모델의 궤적(trajectory)으로부터 완전한 gym(작업, 실행 가능한 환경, 검증기)을 생성하는 프레임워크인 AutoGym을 제시합니다. AutoGym은 세 가지 메커니즘을 도입합니다. (1) 청사진 우선(blueprint-first) 생성은 환경이 구체화되기 전에 유효한 솔루션 공간, 환경 요구 사항 및 검증 기준을 지정함으로써, 해결 가능성(solvability)을 사후에 검증하는 속성이 아닌 구축의 전제 조건으로 만듭니다. (2) 명시적 생성 파라미터는 작업 토폴로지, 상호작용 깊이, 능력 축, 질문 난독화, 방해 요소 구성을 제어하여 세밀한 난이도 조정을 가능하게 합니다. (3) 능동형 커리큘럼 합성은 모델의 능력이 발전함에 따라 성능 정보를 반영한 캘리브레이션을 활용해 이러한 파라미터에 대한 분포를 조정합니다. 생산성 및 시간적 추론 환경 전반에서 AutoGym은 프론티어 모델에 도전하는 사례를 포함하여 다양한 능력 스펙트럼에 걸친 gym을 생성합니다.