arXiv:2607.01763v2 cs.LG

더 조밀하다고 더 나은 것은 아니다: 지속적 사후 학습을 위한 온-정책 자기 증류의 한계

Denser $\neq$ Better: Limits of On-Policy Self-Distillation for Continual Post-Training

Meng Wang, Haohan Zhao, Wenzhuo Liu, Lu Yang, Geng Liu, Haiyang Guo, Guo-Sen Xie, Gaofeng Meng, Hongbin Liu, Fei Zhu

제출 2026-07-02

한국어 초록

지속적 사후 학습(continual post-training)은 파운데이션 모델이 기존 능력을 보존하면서 새로운 지식을 습득할 수 있도록 합니다. 최근 연구에서는 온-정책(on-policy) 학습이 망각을 완화할 수 있음을 시사하며, 특히 자기 증류(self-distillation)를 매력적인 접근 방식으로 제시합니다. 본 연구에서는 자기 증류 정책 최적화(SDPO)를 통해 이러한 낙관적인 주장을 재검토합니다. 실험 결과에 따르면 SDPO는 교사(teacher) 신호가 안정적이고 잘 정렬되어 있을 때 도메인 내 특화(in-domain specialization)를 가속하지만, 분포 외(out-of-distribution) 일반화에는 어려움을 겪습니다. 지속적 사후 학습에서 SDPO는 더 심한 망각을 보이며 심지어 붕괴(collapse)에 이를 수도 있는 반면, 더 확립된 온-정책 강화학습(RL) 방법인 GRPO는 더 보수적으로 적응하며 이전 능력을 더 잘 보존합니다. 추가 분석을 통해 이러한 실패 원인이 매개변수(parameter) 및 응답 공간에서의 드리프트 증가와, 자기 강화 교사-학생 루프를 통한 고주파 아티팩트(high-frequency artifacts)의 증폭과 연관되어 있음을 밝힙니다. 따라서 온-정책 데이터만으로는 지속적 학습(continual learning)에 불충분합니다. 자기 증류는 교사 타깃이 안정적이고 토큰(token) 수준의 감독이 신뢰할 수 있을 때는 효과적이지만, 지속적 사후 학습을 위한 기본적인 안정화 장치로 간주되어서는 안 됩니다. 코드는 https://github.com/Moenupa/SDPO-CL 에서 확인할 수 있습니다.

원문 초록

Continual post-training enables foundation models to acquire new knowledge while preserving existing capabilities. Recent work suggests that on-policy learning can mitigate forgetting, with self-distillation as a particularly attractive approach. We revisit this optimistic claim through self-distillation policy optimization (SDPO). Our experiments show that SDPO accelerates in-domain specialization when teacher signals are stable and well aligned, but struggles to generalize out of distribution. In continual post-training, SDPO exhibits greater forgetting and can even collapse, whereas GRPO, the more established on-policy reinforcement learning method, adapts more conservatively and better preserves prior capabilities. Further analyses link these failures to increased drift in parameter and response space, and to amplification of high-frequency artifacts through a self-reinforcing teacher-student loop. Thus, on-policy data alone is insufficient for continual learning. Self-distillation is effective when teacher targets are stable and token-level supervision is reliable, but should not be treated as a default stabilizer for continual post-training. Our code is available at https://github.com/Moenupa/SDPO-CL.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2607.01763v2
  2. arXiv:2607.01763v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13744v1cs.AI공통 태그 Knowledge Distillation, self-distillation, grpo

점수만 매기는 특권적 교사는 탐색할 수 없다: 추론을 위한 비평 조건부 온-정책 자기 증류

A Privileged Teacher That Only Scores Cannot Search: Critique-Conditioned On-Policy Self-Distillation for Reasoning

온-정책(on-policy) 자기 증류는 검증 가능한 보상(verifiable-reward) 기반 강화학습의 희소한 결과 신호를 토큰 단위의 조밀한 크레딧으로 대체할 것을 약속한다: 참조 해답에 조건화된 교사가 학생 자신의 롤아웃(rollout)을 채점하고, 그 결과로 나타나는 분포 변화가 다시 정책으로 증류된다. 우리는 이 채점 신호가 실제로 교정적 크레딧을 담고 있는지 조사한다. 학생 롤아웃 내의 정답(gold) 오류 구간을 이용하여, 자기 증류 목적함수가 사용하는 두 가지 신호, 즉 전체 분포 KL과 토큰 로그 비율(log-ratio)이 두 가지 속성, 즉 오류를 지역화(localize)하는지 여부와 학생의 오류 토큰으로부터 확률을 밀어내는지 여부를 테스트한다. 두 신호 모두 이러한 속성을 전혀 보이지 않으며, 동일한 문제 내에서 올바른 롤아웃과 잘못된 롤아웃을 신뢰성 있게 구분하지도 못한다. 우리는 이러한 실패가 구조적이라고 주장한다: 추론 과정(reasoning trace)에서 오류를 찾아내는 것 자체가 하나의 탐색(search) 문제인 반면, 채점을 수행하는 교사는 명시적으로 그러한 탐색을 수행하도록 요구받지 않는다. 동일한 모델이 동일한 특권 정보를 가지고도, 비평(critique)을 생성하도록 허용되었을 때는 오류를 훨씬 더 잘 지역화한다. 이는 \emph{비평 조건부 자기 증류(critique-conditioned self-distillation)}의 동기가 된다: 먼저 현재 롤아웃에 대한 비평을 생성한 다음, 그 비평에 채점 교사를 조건화하는 것이다. 그 결과로 나오는 신호는 오류를 지역화하고, 오류 구간 내에서 교정적이며, "Wait", "But", "Actually"와 같이 역추적(backtracking)을 시작하는 토큰 쪽으로 확률을 이동시킨다. 우리는 나아가 이 비평이 테스트 시점(test time)과 콜드 스타트(cold-start) GRPO 양쪽 모두에서 유용함을 보인다: 테스트 시점에서는 비평을 맥락에 포함한 채 잘못된 롤아웃을 재개하는 것이 샘플링만으로는 풀 수 없었던 수학 문제를 풀 수 있게 만들며, 콜드 스타트 GRPO에서는 검증 가능한 보상만으로는 전혀 이점 신호를 제공하지 못하는 프롬프트에 대해 이점(advantage) 신호를 제공한다.

arXiv:2610.15840v1cs.LG공통 태그 Knowledge Distillation, grpo

에이전틱 강화학습에서의 신용 할당을 위한 LLM 가치 함수

LLM Value Functions for Credit Assignment in Agentic RL

대규모 언어 모델(LLM) 에이전트를 위한 강화학습(RL)은 개별 행동에 신용을 할당하기 어려운 희소한 결과 보상 기반의 긴 호흡(long-horizon) 태스크에서 여전히 어려운 과제로 남아 있습니다. GRPO와 같은 방식은 모든 행동에 동일한 궤적 수준(trajectory-level)의 어드밴티지를 부여하는 반면, 크리틱(critic) 기반 방식은 비용이 많이 들고 불안정할 수 있는 별도의 가치 함수(value function) 학습을 필요로 합니다. 본 연구에서는 별도의 크리틱을 파인튜닝(fine-tuning)하지 않고 LLM의 사전학습된 지식과 문맥 내 학습(ICL) 능력을 활용하여 정책 인지적(policy-aware) 상태 가치를 추정하는 LLM 가치 함수 강화학습(LVRL)을 소개합니다. LVRL은 가치 모델을 그룹 컨텍스트에 조건화하고 초기 및 최종 상태의 기지 가치를 사용하여 예측을 캘리브레이션함으로써, 추정된 가치 차이로부터 스텝 수준(step-level)의 신용 할당을 가능하게 합니다. 나아가 이 아이디어를 온-정책(on-policy) 증류(OPD)를 통한 전문가 정책 학습으로 확장하여, 추정 가치의 감소와 관련된 행동에 교사(teacher)의 감독을 집중시키는 LLM 가치 함수 OPD(LVOPD)를 제안합니다. 우리는 AppWorld, BabyAI, SWE-bench Verified 등 다양한 에이전틱 벤치마크 전반에서 접근 방식을 평가합니다. 정책 규모(4B~32B) 전반에 걸쳐 LVRL은 GRPO와 PPO 모두를 일관되고 상당한 차이로 능가합니다. AppWorld 및 SWE-bench Verified에서 LVRL은 GRPO 대비 각각 최대 13.6 및 8.6퍼센트포인트의 절대적인 성능 향상을 달성합니다. 특히 BabyAI와 같이 확장된 탐험(exploration)이 필요한 태스크에서 LVRL은 완전한 실패에서 75.0% 성공으로 격차를 좁힙니다. 또한 LVOPD는 AppWorld에서 표준 증류 베이스라인 대비 일관된 개선을 보입니다. 마지막으로 몬테카를로 분석을 통해 우리의 고정된 크리틱이 시맨틱한 함정과 회복을 정확하게 식별함을 확인하여, LVRL이 희소한 최종 결과로부터 견고하고 정책 인지적인 스텝 수준 신용을 추출함을 입증합니다.

arXiv:2610.01548v2cs.LG공통 태그 reinforcement learning rl, grpo

Range-GRPO: 보상 구간 간 쌍별 관계를 통한 정책 최적화

Range-GRPO: Policy Optimization via Pairwise Relations among Reward Intervals

대규모 언어 모델(LLM)의 활용이 확대됨에 따라, 이를 다운스트림 작업에 적응시키기 위한 사후 학습의 중요성이 점점 커지고 있다. 그러나 특히 참조 정답이나 실행 가능한 검증기가 없는 분야에서는 신뢰할 수 있는 감독(supervision)을 확보하는 데 여전히 많은 비용이 든다. LLM-as-a-judge는 레이블이 없는 응답에 대해 확장 가능한 유사 보상(pseudo-reward)을 제공하지만, 단일 점수(point score)는 보상의 불확실성을 명시적으로 나타내지 못한다. 이는 유사 보상을 콘포멀하게 보정된(conformally calibrated) 보상 구간으로 표현하려는 동기가 된다. 우리는 제한된 레이블 데이터와 레이블이 없는 프롬프트를 결합하는 반지도(semi-supervised) 사후 학습 프레임워크인 Range-GRPO를 제안한다. Group Relative Policy Optimization(GRPO)에서는 학습 신호가 각 롤아웃 그룹 내에서의 상대적 보상 비교에 의존한다. 제안하는 목적 함수는 보상 구간을 점 보상(point reward)으로 축소하는 대신 쌍별(pairwise)로 비교함으로써, 구간 불확실성이 이러한 신호의 크기와 방향 모두에 영향을 미칠 수 있도록 한다. 이론적 분석을 통해 이러한 차이를 규명하고, 모든 보상 구간이 점으로 축소될 때 제안된 목적 함수가 Dr.GRPO의 어드밴티지(advantage)로 환원됨을 보인다. 실험적으로 Range-GRPO는 평가된 반지도 학습 방법들 중에서 분포 내(in-distribution) 및 분포 외(out-of-distribution) 평균 성능이 가장 높으면서도 더 적은 학습 자원을 필요로 한다.

arXiv:2610.02700v1cs.LG공통 태그 Knowledge Distillation, reinforcement learning rl

진화하는 오류로부터의 학습: 온-정책 증류를 위한 적응형 반복 복구

Learning from Evolving Errors: Adaptive Iterative Repair for On-Policy Distillation

온-정책 자가 증류(OPSD)는 학생 모델 자신의 정책에서 샘플링된 궤적에 대해 조밀한 토큰(token) 수준의 피드백을 제공하며, 이는 강화학습(RL)의 결과 수준 보상보다 더 풍부한 학습(training) 신호가 됩니다. 이 피드백은 학생에게는 주어지지 않는 완전한 참조 해법을 조건으로 하는 교사 모델로부터 생성됩니다. 그러나 참조 해법은 목표를 명시할 뿐 학생의 현재 오류에서 목표로 나아가는 방법을 알려주지는 않으므로, 해법 조건부 지름길 위험(solution-conditioned shortcut risk)을 초래합니다. 본 논문에서는 오류에서 복구로 이어지는 지도(supervision)를 제공하는 온-정책 증류 프레임워크인 적응형 반복 복구 AIR-OPD를 제안합니다. 실패한 응답이 주어지면 가이던스 생성기는 현재 오류에 대한 복구 가이던스를 합성합니다. 학생은 이 가이던스를 바탕으로 온-정책(on-policy) 재시도를 샘플링합니다. 재시도가 여전히 틀릴 경우, 생성기는 새롭게 관찰된 오류에 대한 새로운 복구 가이던스를 생성합니다. 각 라운드마다 고정된 교사는 특권 문맥(privileged context)으로 가이던스를 받아 최신 실패 응답 중 오류와 일치하는 영역에 대해 학생을 지도합니다. 결과 인식 단계별 가중치(Outcome-aware stage weighting)는 초기 복구 단계를 선호하며, 즉각적인 재시도가 검증을 통과한 단계에 가중치를 부여합니다. DAPO-Math-17K 데이터셋으로 AIR-OPD를 학습하고 AIME24, AIME25, HMMT25 및 분포 외(out-of-distribution) 테스트인 MMLU-Pro와 GPQA에서 평가를 진행합니다. 현재 학생 정책의 자체 가이던스와 더 큰 모델(model)의 외부 가이던스라는 두 가지 가이던스 소스를 검토합니다. Qwen3-4B와 Qwen3-8B 모두에서 AIR-OPD는 가장 높은 수학적 추론 평균을 달성하여 가장 강력한 기준선(baseline) 대비 최대 3.6점을 개선하는 동시에, 분포 외 벤치마크에서 기본 모델의 성능을 유지합니다.

arXiv:2610.01458v2cs.AI공통 태그 reinforcement learning rl, grpo

사후 집중 관점에서 본 확률 기반 강화학습의 재고

Rethinking Probability-Based Reinforcement Learning From Posterior Concentration

확률 기반 보상을 활용한 검증기 없는(verifier-free) 강화학습(RL)은 외부 검증기를 사용할 수 없는 일반 추론 태스크에서 대규모 언어 모델(LLM)을 학습(training)하기 위한 유망한 방식을 제공합니다. 그러나 특히 긴 호흡의 추론(long-horizon reasoning)에서 이러한 보상의 신뢰성은 아직 충분히 연구되지 않았습니다. 본 연구는 확률 보상에서 길이에 의존하여 발생하는 실패 모드를 규명하고, 이를 사후 집중 현상(Posterior Concentration Phenomenon, PCP)이라 명명합니다. 우리는 추론 과정(reasoning trace)이 길어짐에 따라 추론 과정을 조건부로 하는 참조 답변의 확률이 분산이 낮은 구간으로 축소되는 경우가 빈번함을 보입니다. 이 현상은 거의 구별할 수 없는 보상으로 이어져, GRPO 기반 설정에서 확률 기반 정책 최적화(policy optimization)를 불안정하고 비효율적으로 만듭니다. 이에 착안하여, 우리는 더 나은 최적화 안정성과 토큰(token) 효율성을 위해 PCP를 명시적으로 고려하는 검증기 없는 강화학습 프레임워크인 집중 인식 사후 보상 기반 강화학습(Reinforcement Learning with Concentration-aware Posterior Rewards, RLCPR)을 제안합니다. 이 프레임워크는 두 가지 구성 요소를 가집니다. 첫째는 생성 전에 집중이 발생하기 쉬운 롤아웃을 줄이는 불확실성 인식 데이터 샘플링이며, 둘째는 사후 보상이 붕괴될 때 불필요하게 긴 추론 과정에 페널티를 부여하는 집중 인식 정규화(regularization)입니다. 광범위한 실험 결과, RLCPR은 더 높은 토큰 효율성과 더불어 일반 영역 및 수학적 추론 과제를 포함한 7개 벤치마크(benchmark) 중 6개에서 기존 최고 수준의 검증기 없는 강화학습 기준선(baseline) 대비 최대 4.0% 우수한 성능을 보였습니다.

arXiv:2610.02824v1cs.AI공통 태그 reinforcement learning rl, grpo

MetaRubric: 루브릭 기반 강화학습을 위한 보상 학습

MetaRubric: Learning to Reward for Rubric-Based Reinforcement Learning

루브릭 기반 강화학습(RL)은 개별 응답 요구사항에 부분 점수를 부여함으로써 개방형 과제로 보상 기반 최적화를 확장합니다. 그러나 루브릭 판정 모델은 요구되는 정보나 행동이 응답에 없음에도 불구하고 높은 기준 점수를 부여할 수 있으며, 본 논문에서는 이러한 실패 모드를 '공허한 점수 부여(Vacuous Credit)'라고 명명합니다. 이러한 점수 부여는 필수 정보가 제거된 후에도 지속되며, 응답의 GRPO 어드밴티지 부호를 역전시킬 수 있습니다. 이 문제를 해결하기 위해, 우리는 증거 인식 정책 최적화와 응답 유도 루브릭 적응을 번갈아 수행하는 MetaRubric을 제안합니다. 우리는 각 프롬프트에서 과제와 관련된 하나의 사실을 변경하여 반사실적(counterfactual) 대응물을 구성합니다. 정책 최적화 과정에서는 응답이 요구되는 루브릭 기준을 충족하기에 충분한 증거를 포함할 때만 점수가 부여됩니다. 각 정책 최적화 단계 이후에는 현재 정책의 응답을 바탕으로 원래 기준과 반사실적 기준을 수정하며, 이때 각 프롬프트의 사실에 따라 해석되는 원래 프롬프트의 초기 루브릭 의미는 보존합니다. 또한 관찰된 정책 오류를 더 잘 해결하기 위해 단계 경계에서 기준 가중치를 조정합니다. 다양한 백본에 걸쳐 MetaRubric은 정적 판정 모델 기반 GRPO 대비 PubMedQA 정확도를 6.00~20.40% 포인트 향상시켰으며, HealthBench-Hard 및 두 개의 멀티모달 의료 벤치마크에서도 추가적인 성능 향상을 달성했습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.