RL 사후 학습은 조합적 추론 전략을 구축한다
RL Post-Training Builds Compositional Reasoning Strategies
한국어 초록
RL 사후 학습은 기반 모델에 이미 잠재된 기본 기술을 단지 증폭하는 것인가, 아니면 기본 기술을 조합하여 새로운 상위 수준 전략을 만들 수 있는가? 본 연구는 사전학습 분포가 알려져 있고 생성된 모든 재작성을 감사할 수 있는, 완전히 관측 가능한 재작성 문법 환경에서 이 질문을 연구한다. 트랜스포머를 기본 기호 재작성 연쇄로 사전학습한 뒤, 이진 최종 답 보상만으로 트레이스 기반 추론 과제에 대해 사후 학습한다. RL은 훨씬 큰 샘플링 예산에서도 사전학습 모델이 거의 풀지 못하는 보류된 문제를 해결하는 반면, 기각 미세조정은 초기에 향상되다가 정체된다. 트레이스 분석은 RL이 단계적 조합 메커니즘을 통해 기본 역량을 재편함을 보여 준다. 즉 먼저 기본 축약을 강화하고, 이후 유효한 조합 절차를 발견한다. 여기에는 순서가 있는 기본 축약 연쇄를 하나로 압축하는 순차 조합과, 독립적인 기본 축약을 한 단계에서 결합하는 병렬 조합이 포함된다. 이러한 조합 절차는 고립된 샘플이 아니라 재사용되고 통합되어 안정적인 레퍼토리를 이룬다. RL과 기각 미세조정을 비교하면 핵심 차이는 탐색량이 아니라 선택성임을 알 수 있다. RFT는 지름길 같은 재작성을 많이 만들어 내며 그중 상당수가 유효하지 않은 반면, RL은 탐색을 유효하고 재사용 가능한 구조에 집중시킨다. 사전학습 절제 실험은 조합 전략의 출현이 기본 기술에 대한 노출만으로 결정되는 것이 아니라, 사전학습이 기본 역량을 RL이 이후 압축할 수 있는 축약 절차로 조직화하는지에 달려 있음을 보여 준다. 기반 모델은 약한 절차적 재료를 제공하고, RL은 이를 신뢰할 수 있는 상위 수준 전략으로 구축한다.
원문 초록
Does RL post-training merely amplify primitive skills already latent in a base model, or can it compose primitive skills into new higher-level strategies? We study this question in a fully observable rewrite-grammar environment where the pretraining distribution is known and every generated rewrite can be audited. A Transformer is pretrained on primitive symbol-rewrite chains and post-trained on a Trace-based reasoning task with only a binary final-answer reward. RL solves held-out problems that remain rarely solved by the pretrained model even under much larger sampling budgets, while rejection fine-tuning improves early but plateaus. Trace analysis shows that RL reorganizes primitive competence through a phased compositional mechanism: it first strengthens primitive reductions, then discovers valid composed procedures. These include sequential compositions, which collapse ordered chains of primitive contractions, and parallel compositions, which combine independent primitive contractions in a single step. The composed procedures are not isolated samples; they are reused and consolidated into a stable repertoire. Comparing RL with rejection fine-tuning shows that the key difference is not exploration volume but selectivity: RFT produces many shortcut-like rewrites, much of them invalid, whereas RL concentrates exploration into valid reusable structure. Pretraining ablations show that the emergence of compositional strategies is gated not by primitive exposure alone, but by whether pretraining organizes primitive competence into reduction procedures that RL can later compress. The base model provides weak procedural ingredients; RL builds them into reliable higher-level strategies.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2607.07646v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.