arXiv:2606.18487v1 cs.LG

RLVR 하에서 엔트로피 붕괴를 매개로 한 SFT 과도한 학습은 순위 역전을 예측합니다

SFT Overtraining Predicts Rank Inversion via Entropy Collapse Under RLVR

Siddharth Aphale, Kelly Liu

제출 2026-06-16

한국어 초록

GRPO(그룹 상대 정책 최적화)를 위해 가장 높은 pass@1을 보이는 SFT 체크포인트를 선택하는 표준적인 경험적 방법은, SFT가 롤아웃 분포를 압축할 때 실패할 수 있습니다. 이진 보상의 경우, 그룹 내 이점(advantage) 분산의 기댓값은 $p(1{-}p)(g{-}1)/g$입니다. 초기 GRPO가 $p$를 $p^*(g)$ 미만으로 낮추면, 대부분의 그룹은 동일한 보상을 갖게 되어 그룹 상대 신호를 제공하지 못합니다. 우리는 Qwen2.5-Coder-3B와 DeepSeek-Coder-6.7B에 대해 SFT 깊이 단계를 연구했습니다. Qwen2.5-Coder-3B는 5개의 깊이와 3개의 시드에 걸쳐, DeepSeek-Coder-6.7B는 이에 대응하는 4개의 깊이와 3개의 시드에 걸쳐 테스트했습니다. Qwen의 경우 RL 이전 pass@1은 SFT 깊이에 따라 증가하지만, 최대 GRPO pass@10은 $0.806$에서 $0.481$로 감소합니다(3개 시드 평균, $n{=}20$). 또한 RL 이전 엔트로피는 GRPO 결과와 양의 상관관계를 보입니다($ρ{=}{+}0.69$). DeepSeek의 경우 pass@1은 $p^*(8){=}0.083$보다 훨씬 높게 유지되며, GRPO 결과는 역전되기보다 압축되는 경향을 보입니다. RL 이전 엔트로피 선별(triage)과 초기 GRPO 엔트로피 모니터링을 결합한 2단계 진단 방식은 고위험 체크포인트를 식별하고, 실패로 이어지는 실행을 조기에 중단할 수 있습니다. 참조 모델에 대한 간단한 KL 정규화 및 레이블 스무딩 변형은 우리의 설정에서 붕괴된 Qwen 체크포인트를 복구하지 못했으며, 이는 해당 실패가 사소한 GRPO 하이퍼파라미터 인공물(artefact)이 아님을 시사합니다.

원문 초록

The standard heuristic of selecting the SFT checkpoint with the highest pass@1 for GRPO can fail when SFT compresses the rollout distribution. For binary rewards, the expected within group advantage variance is $p(1{-}p)(g{-}1)/g$; when early GRPO drives $p$ below $p^*(g)$, most groups have identical rewards and provide no group relative signal. We study SFT depth ladders for Qwen2.5-Coder-3B and DeepSeek-Coder-6.7B. We test Qwen2.5-Coder-3B across five depths and three seeds, and DeepSeek-Coder-6.7B across four matched depths and three seeds. On Qwen, pre RL pass@1 rises with SFT depth, but peak GRPO pass@10 falls from $0.806$ to $0.481$ (3 seed mean, $n{=}20$); pre RL entropy is positively associated with the GRPO outcome ($ρ{=}{+}0.69$). On DeepSeek, pass@1 remains far above $p^*(8){=}0.083$, and GRPO outcomes compress rather than invert. A two stage diagnostic, combining pre RL entropy triage with an early GRPO entropy monitor, flags high risk checkpoints and can stop failing runs early. Simple KL to reference regularisation and label smoothing variants do not rescue the collapsed Qwen checkpoint in our setting, suggesting the failure is not a trivial GRPO hyperparameter artefact.

요약

SFT를 과도하게 진행하면 롤아웃 분포가 압축되어 엔트로피 붕괴가 일어나고, pass@1이 가장 높은 체크포인트를 GRPO(그룹 상대 정책 최적화)에 쓰는 관행이 Qwen2.5-Coder-3B에서 RL 이전 성능은 오르는데 GRPO pass@10은 0.806에서 0.481로 떨어지는 순위 역전을 유발할 수 있음을 보인다. RL 이전 엔트로피 선별과 초기 GRPO 엔트로피 모니터링을 결합한 2단계 진단으로 고위험 체크포인트를 조기에 걸러낼 수 있으며, KL 정규화와 레이블 스무딩은 붕괴된 체크포인트를 복구하지 못했다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.18487v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27717v1cs.CL공통 태그 Reinforcement Learning, Deep Reinforcement Learning, Code Generation

SkillGym: 실제 문제 해결을 위해 인간의 스킬을 LLM에 내재화하기

SkillGym: Internalizing Human Skills into LLMs for Real-World Problem Solving

사람이 작성한 에이전트 스킬(skill)은 실제 문제 해결을 위한 풍부한 워크플로를 담고 있지만, 일반적으로 재사용 가능한 모델 역량으로 내재화되지 못한 채 추론 시점의 외부 지침으로만 사용된다. 본 논문에서는 이러한 스킬을 대규모 언어 모델 에이전트를 위한 실행 가능하고 검증 가능한 학습 환경으로 변환하는 프레임워크인 \texttt{SkillGym}을 소개한다. SkillGym의 스킬-태스크 파이프라인은 구체적인 태스크를 생성하고, 코드 기반 검사기로 결과를 검증하며, 대조 실행(contrastive execution)을 통해 스킬에 대한 경험적 의존도를 평가한다. 우리는 12개 범주에 걸쳐 2,756개의 환경을 구축하여 공개하고, 여러 모델과 하네스(harness)에서 성공한 궤적(trajectory) 8,364개를 수집했으며, 이 궤적은 평균 49회의 도구 호출과 6만 개가 넘는 로깅된 텍스트 토큰으로 구성된다. 이러한 자원은 검증된 워크플로에 대한 지도 미세조정과 결과 기반 보상을 사용하는 강화학습을 지원한다. Claude Code 환경에서 지도 미세조정은 Qwen3.5-35B-A3B의 성능을 GDPval-AA v2에서 199 Elo, Terminal-Bench 2.1에서 19.10%p 향상시켰으며, SkillsBench v1.1에서는 스킬을 사용한 경우와 사용하지 않은 경우 각각 28.13점과 12.38점 향상시켰다. 35B 규모의 \texttt{SkillGym-Agent}는 스킬을 활용한 SkillsBench에서 51.47\%를 달성하여 Claude Sonnet 4.6, GPT-5.4 Mini, DeepSeek V4 Pro의 보고된 점수를 넘어선다. 또한 스킬 없이도 Codex와 Claude Code 환경에서 스킬을 활용한 기본 모델들을 능가하며, 이는 재사용 가능한 절차적 역량을 시사한다.

arXiv:2609.28145v1cs.LG공통 태그 Language Modeling, Reinforcement Learning, Deep Reinforcement Learning

RL은 RL 이전에 시작된다: 더 나은 강화학습을 위한 온-정책 증류

RL Starts before RL: On Policy Distillation for Better Reinforcement Learning

강화learning(RL)은 추론을 향상시키지만, 성능은 학습이 시작되는 정책에 달려 있다. 우리는 온-정책 증류(OPD)를 RL을 위한 준비 단계로 두고 연구하며, 그 이점이 증류된 모델의 초기 정확도 개선을 넘어서는지 묻는다. 동일한 RL 설정에서 OPD로 초기화한 학생 모델은 직접 RL로 학습한 모델, 또는 지도 미세조정 뒤 RL을 적용한 모델보다 더 높은 최종 성능에 도달한다. 이 이점은 OPD가 즉각적인 정확도 향상을 거의 주지 않을 때에도 나타날 수 있다. RL 이전 Pass@k만으로는 이 이점을 완전히 설명하지 못한다: 비슷하거나 더 높은 값이 RL 이후 더 나은 성능으로 이어지지는 않을 수 있다. 행동 분석은 top-1 일치를 넘어 교사 분포와의 정렬이 가능한 설명임을 가리킨다. 이러한 정렬은 더 높은 품질의 추론 경로를 선호하면서, RL이 결과 피드백으로 더 다듬을 수 있는 대안들을 남겨 둘 수 있다. 또한 궤적 출처와 발산 목표가 이후 RL을 위한 증류의 가치에 어떻게 영향을 미치는지 살핀다. 표준 역방향 KL OPD는 RL 이전에 더 낫지만, 순방향 KL OPD는 그 이후에 앞서게 된다. 교사가 생성한 증류 궤적을 쓰면 역방향 KL은 두 단계 모두에서 앞선다. 이는 선호되는 증류 목표가 궤적 출처와 뒤이어지는 학습 모두에 달려 있음을 시사한다. 우리 결과는 OPD를 RL 준비 단계로 평가하고, 이후 학습 뒤 달성한 성능을 기준으로 증류 방식을 고르는 접근을 뒷받침한다.

arXiv:2610.13594v1cs.AI공통 태그 Reinforcement Learning, Code Generation

MENTOR: 온-정책 교육적 개입을 통한 실패로부터의 학습

MENTOR: Learning from Failure with On-Policy Pedagogical Intervention

검증 가능한 보상을 활용한 강화학습(RLVR)은 대형 추론 모델의 핵심 동력이지만, 과제 난이도가 갑자기 높아지면서 학습 신호가 사라지는 훈련 실패 현상인 "제로 보상 붕괴(zero-reward collapse)"에 취약하다. 우리는 이러한 실패한 궤적을 폐기하는 기존 방식이 낭비적이라고 주장한다. 이 궤적들은 모델의 인지적 공백에 대한 귀중한 진단 정보를 담고 있으며, 이는 회복을 위해 활용될 수 있는 긍정적인 측면이기 때문이다. 그러나 기존 해결책들은 사전 정의된 힌트 라이브러리와 같은 정적인 "오프-정책(off-policy) 방식"의 개입으로 퇴행하거나 사후적(post-hoc) 보정을 수행하는 경우가 많아, 붕괴에서 벗어나는 데 필요한 적응적이고 미래지향적인 안내를 제공하지 못한다. 이를 해결하기 위해, 우리는 온-정책(on-policy) 교육적 개입으로의 패러다임 전환을 제안하고, 실시간 멘토 역할을 하는 다중 에이전트 프레임워크인 MENTOR를 소개한다. MENTOR는 실패의 근본 원인을 실시간으로 진단하고, 학습 에이전트의 다음 시도를 안내하기 위해 목표가 명확한 교육적 프롬프트를 동적으로 생성한다. 플러그 앤 플레이 모듈로서, MENTOR는 훈련 인프라를 수정하지 않고도 GRPO와 같은 기존 정책 최적화 파이프라인에 매끄럽게 통합된다. 수학 및 코드 생성에 대한 광범위한 실험 결과, MENTOR는 제로 보상 붕괴를 효과적으로 완화하며 최신 베이스라인들을 능가하는 것으로 나타났다. 특히, Llama-3.2-3B-Instruct에서는 기본 모델 대비 평균 최대 78.3%의 상대적 성능 향상이라는 큰 폭의 개선을 달성했다.

arXiv:2609.29102v3cs.CL공통 태그 Language Modeling, Code Generation

ELF-REG: 연속형 디퓨전 언어 모델을 추론 작업으로 확장하기

ELF-REG: Scaling Continuous Diffusion Language Models to Reasoning Tasks

완전 연속형 디퓨전 언어 모델(dLMs)은 중간 이산화 과정 없이 연속적인 표현의 노이즈를 제거한 뒤, 최종 단계에서 모든 응답 토큰을 병렬로 디코딩합니다. 그러나 고난도 추론 작업에서 이들의 성능은 자기회귀(AR) 대규모 언어 모델(LLM) 및 마스크 기반 dLM에 비해 아직 덜 입증되었습니다. 본 연구에서는 GSM8K, MATH-500, HumanEval, MBPP를 대상으로 임베디드 언어 흐름(ELF)을 수학적 추론 및 코드 생성 작업으로 확장합니다. 이를 위해 표현 정렬(alignment) 및 얽힘(entanglement)(REPA+REG)을 통해 학습(training)을 개선하는 ELF-REG를 제안합니다. 여기서 동결된 AR 교사 모델은 디노이저의 중간 특징을 감독하고, 응답과 함께 공동으로 노이즈가 제거되는 전역 표현을 제공합니다. ELF-REG-L은 64회의 네트워크 함수 평가(NFE)에서 GSM8K pass@1 55.96%를 달성하고, 128 NFE에서 MATH-500 13.39%, HumanEval 22.56%를 기록했습니다. 이는 GSM8K 및 코드 작업의 pass@1에서 평가된 유사 규모의 dLM들을 능가하며, MATH-500 pass@1을 ELF-L 기준선(baseline)의 10.55%에서 ELF-REG-L을 통해 13.39%로 향상시킵니다. 적은 단계의 학습 없이도 동일한 작업별 체크포인트는 디노이징 궤적을 완료하지 않고 중간의 정제된 예측을 디코딩하는 조기 중단(early-stop)을 통해 강력한 저(low)-NFE 성능을 지원합니다. 16 NFE에서 ELF-REG-L은 41.21%의 HumanEval pass@10에 도달하여 유사한 규모의 최근 연속형 dLM들을 능가합니다.

arXiv:2610.10627v1cs.LG공통 태그 Reinforcement Learning, Deep Reinforcement Learning

콜모고로프-아놀드 네트워크의 샘플 효율성

Sample-Efficiency of Kolmogorov-Arnold Networks

심층 강화학습은 기존 제어 방식에 비해 상당한 성능 향상을 달성했습니다. 그러나 실제 응용 분야에서 학습을 진행할 때 핵심적인 과제는 비용이 많이 드는 샘플을 획득하는 것입니다. 콜모고로프-아놀드 네트워크(Kolmogorov-Arnold Networks)는 최근 제안된 구조로, 다층 퍼셉트론(Multi-Layer-Perceptron) 구조와 비교했을 때 현저히 높은 매개변수 효율성과 해석 가능성을 바탕으로 제어 문제에서의 물리적 관계를 효과적으로 학습할 수 있습니다. 본 연구에서는 파인만(Feynman) 데이터셋과 Gymnasium RL 벤치마크를 포함하는 계산 실험을 통해 샘플 효율성을 체계적으로 연구합니다. 실험 결과, 콜모고로프-아놀드 구조를 사용하면 40% 더 적은 샘플로도 유사한 성능을 달성할 수 있으며, 학습 과정에서 최대 50%의 상대적 성능 향상이 나타남을 보여줍니다. 관찰된 이득은 다양한 수준의 보상 노이즈에도 강건합니다. 이러한 결과는 보다 샘플 효율적인 강화학습을 위한 콜모고로프-아놀드 구조의 잠재력을 강조합니다. 코드: https://github.com/DerKevinRiehl/neurips26_kan_training

arXiv:2610.10878v1cs.CL공통 태그 Language Modeling, Reinforcement Learning

에이전틱 온-정책 증류를 위한 확률적 교사 개입

Stochastic Teacher Intervention for Agentic On-Policy Distillation

온-정책(on-policy) 증류(OPD)는 학생이 생성한 롤아웃(rollout)에 대한 조밀한 토큰(token) 수준 감독을 통해 더 강력한 교사로부터 학생 언어 모델(language model)로 역량을 효율적으로 전이하며, 수학적 추론과 같은 복잡한 작업에서 유망한 성과를 보여주었다. 그러나 다중 턴(multi-turn) 에이전틱 작업에서는 학생의 결정이 이후의 관측을 형성하므로 턴을 거치며 초기 오류가 누적된다. 그 결과로 생성된 궤적은 교사의 롤아웃 분포에서 벗어날 수 있어, 교사의 토큰 수준 감독이 덜 신뢰할 수 있게 되거나 OPD 학습(training)에 오히려 역효과를 낼 수도 있다. 이러한 문제를 해결하기 위해, 본 논문에서는 다중 턴 에이전틱 OPD를 위한 확률적 교사 개입 프레임워크인 STI-OPD를 제안한다. 다중 턴 상호작용 과정에서 STI-OPD는 신뢰할 수 있는 감독 정보의 획득을 극대화하기 위해 교사-학생 정책 불일치에 기반한 교사 개입을 사용하여 학생이 제안한 행동을 교사가 생성한 행동으로 대체한다. 나아가 기존 임계값 기반 또는 고정 일정 접근법의 한계를 해결하기 위해, KL 발산을 사용해 정책 불일치를 추정하고 이를 개입 확률로 매핑하는 확률적 개입 전략을 개발한다. 이 확률로부터 개입 여부를 샘플링함으로써, STI-OPD는 교사의 제어와 학생의 탐험(exploration) 사이의 균형을 적응적으로 맞춘다. 이렇게 생성된 혼합 정책 궤적으로부터 학습하기 위해, 본 논문에서는 원래의 OPD 목적 함수를 보존하도록 교사가 생성한 응답과 학생 정책 간의 토큰 샘플링 불일치를 보정하는 중요도 가중 역방향 KL(Importance-Weighted Reverse KL) 목적 함수를 도입한다. 도구 통합 추론 및 장기적(long-horizon) 상호작용 전반에 걸쳐, STI-OPD는 평가된 모든 벤치마크와 학생 크기에서 가장 강력한 기존 OPD 기준선(baseline)을 능가한다. 소거 연구(ablation)를 통해 불일치 기반 개입과 중요도 가중치가 모두 이러한 성능 향상에 기여함을 추가로 확인하였다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.