PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.12373v1cs.CL

검증 가능한 환경은 레고 블록과 같다: 추론 일반화를 위한 재귀적 합성

Verifiable Environments Are LEGO Bricks: Recursive Composition for Reasoning Generalization

검증 가능한 환경을 활용한 강화학습(RL)은 대규모 언어 모델(LLM)의 추론 능력을 향상시키는 강력한 접근 방식으로 부상했습니다. 기존 연구에서는 환경의 수를 늘리는 것이 강화학습 성능을 향상시킨다는 것을 보여주지만, 수동적이거나 개별적인 구성 방식은 선형적인 스케일링 한계에 부딪혀 확장 가능한 추론 일반화를 저해합니다. 본 논문은 검증 가능한 환경을 재귀적으로 조립할 수 있는 합성 가능한 구성 요소로 개념화하는 RACES(Recursive Automated Composition for Environment Scaling) 프레임워크를 소개합니다. 핵심 통찰은 한 환경의 공역(출력 유형)이 다른 환경의 정의역(입력 유형)과 일치할 때, 이들을 자동으로 융합하여 새로운 검증 가능한 환경을 만들 수 있으며, 이를 통해 재귀적 합성이 가능해진다는 것입니다. RACES는 300개의 개별 환경으로 구현되었으며, 다양한 추론 패턴을 유도하는 일련의 합성 연산자(SEQUENTIAL, PARALLEL, SORT, SELECT)를 정의합니다. 광범위한 실험 결과, 이러한 합성 환경에서의 강화학습 학습이 추론 일반화를 일관되게 향상시키는 것으로 나타났습니다. 구체적으로, RACES는 DeepSeek-R1-Distill-Qwen-14B의 성능을 평균 3.1점(48.2에서 51.3으로) 향상시켰으며, 학습 환경 구성 과정에서 본 적 없는 6개의 벤치마크에서 Qwen3-14B의 성능을 58.8에서 61.1로 끌어올렸습니다. 더불어, RACES는 단 50개의 기본 환경만을 사용하여 300개의 개별 환경에서 학습한 것과 유사한 성능을 달성하여, 환경 활용에 있어 상당한 효율성을 입증했습니다.