arXiv:2604.20733v2 cs.LG

가까운 미래로부터의 학습: RLVR을 위한 시간적 자기 증류

Learning from the Near Future: Temporal Self-Distillation for RLVR

Chuanyu Qin, Chenxu Yang, Qingyi Si, Naibin Gu, Dingyu Yao, Zheng Lin, Peng Fu, Nan Duan, Jiaqi Wang

제출 2026-04-22

한국어 초록

검증 가능한 보상을 활용한 강화학습(RLVR)은 추론 모델을 위한 핵심 사후 학습(post-training) 기법이지만, 유용한 궤적을 발견하기 어렵거나 탐험(exploration)이 좁아질 때 순수 온-정책(on-policy) 학습은 비효율적일 수 있습니다. 기존의 자기 유도 방식들은 대체로 현재 또는 이전 단계의 학습자가 이미 보유한 역량을 재사용합니다. 우리는 그 대신 학습 과정 후반에 발현되는 역량 역시 학습에 활용할 수 있는지 질문을 던집니다. 모델이 자신의 미래 자아로부터 학습할 수 있을까요? 본 논문에서는 정책이 자신보다 더 강력한 이후 시점의 체크포인트로부터 지침을 받는 시간적 자기 증류(temporal self-distillation)를 제안합니다. 우리는 가장 유용한 시간적 교사가 반드시 가장 강력한 교사일 필요는 없다고 가설을 세웠습니다. 즉, 교사는 충분히 새로운 역량을 제공하는 동시에 해당 역량이 쉽게 전이될 수 있을 만큼 호환성을 유지해야 하며, 이는 가까운 미래 체제(near-future regime)의 필요성을 시사합니다. 우리는 상호 보완적인 두 가지 메커니즘을 통해 이 원리를 연구합니다. Near-Future Policy Optimization(NPO)은 검증된 미래 자아의 궤적을 사용하여 오프-정책(off-policy) 행동 전이를 수행하는 반면, Near-Future Policy Distillation(NPD)은 학습자가 생성한 궤적에서 온-정책 토큰 수준 전이를 수행합니다. 또한, 시간적 지침이 유용한 시점과 롤백할 거리를 적응적으로 결정하여 미래 자아 지침을 반복적인 자기 부트스트랩 과정으로 전환하는 AutoNPO를 추가로 제안합니다. 8개의 이미지-텍스트 벤치마크 전반에서 NPO는 GRPO 성능을 60.25에서 62.84로 향상시키고 AutoNPO는 63.15에 도달했으며, 텍스트 전용 및 비디오 추론에서도 일관된 성능 향상을 보였습니다. NPD 환경에서 가까운 미래 교사는 증류 직후의 성능이 더 낮음에도 불구하고 지속적인 강화학습 후 63.23에 도달하여 먼 미래 교사의 61.92를 넘어섰습니다. 종합적으로 이러한 결과는 효과적인 시간적 자기 증류가 단순히 교사의 능력치에만 의존하는 것이 아니라, 새롭게 획득한 역량과 학습자와의 호환성 간의 균형에 달려 있음을 시사합니다.

원문 초록

Reinforcement learning with verifiable rewards (RLVR) is a core post-training recipe for reasoning models, yet pure on-policy learning can be inefficient when useful trajectories are difficult to discover or exploration narrows. Existing self-guided approaches largely reuse capability already available to the current or earlier learner. We instead ask whether learning can also make use of capabilities that emerge later in training: can a model learn from its own future self? We introduce temporal self-distillation, in which a policy receives guidance from a stronger later checkpoint of itself. We hypothesize that the most useful temporal teacher need not be the strongest one: a teacher must provide sufficiently new capability while remaining compatible enough for that capability to be readily transferred, motivating a near-future regime. We study this principle through two complementary mechanisms. Near-Future Policy Optimization (NPO) performs off-policy behavioral transfer using verified future-self trajectories, while Near-Future Policy Distillation (NPD) performs on-policy token-level transfer on learner-generated trajectories. We further introduce AutoNPO, which adaptively determines when temporal guidance is useful and how far to roll back, turning future-self guidance into a repeated self-bootstrap process. Across eight image-text benchmarks, NPO improves GRPO from 60.25 to 62.84 and AutoNPO reaches 63.15, with consistent gains on text-only and video reasoning. Under NPD, a near-future teacher reaches 63.23 after continued RL versus 61.92 with a far-future teacher, despite lower immediate post-distillation performance. Together, these results suggest that effective temporal self-distillation depends not simply on teacher strength, but on a balance between newly acquired capability and learner compatibility.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2604.20733v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02359v1cs.LG공통 태그 Language Modelling, Knowledge Distillation, rlvr

사전식 다중 목적 온-정책 증류

Lexicographic Multi-Objective On-Policy Distillation

검증 가능한 보상 기반 강화학습(RLVR)은 일반적으로 정답의 정확성을 최적화하지만, 유용한 언어 모델 동작을 위해서는 고품질의 추론과 간결한 응답 또한 필요합니다. 기존의 다중 보상 사후 학습(post-training) 방법들은 대개 보상을 스칼라화하거나 명시적인 보상 우선순위를 보호하지 않고 전문가 모델들을 결합합니다. 이는 트레이드오프가 비대칭적일 때 문제가 됩니다. 예를 들어 간결성을 개선하기 위해 정확성을 희생해서는 안 됩니다. 본 논문에서는 명시적인 우선순위 하에서 보상 특화 정책들을 통합하기 위한 다중 교사 방법인 사전식 다중 목적 온-정책 증류(LMOPD)를 소개합니다. 학생 모델의 각 롤아웃(rollout)에 대해, LMOPD는 게이트가 결함을 감지한 첫 번째 목적의 전문가를 선택한 다음, 더 높은 우선순위의 전문가와 상충하는 구성 요소를 제거하도록 중심화된 로그-정책 보정을 국소적으로 투영합니다. 저자들은 3개의 수학 벤치마크에서 2개 및 4개 전문가 설정의 30B-A3B 전문가 혼합(MoE) 트랜스포머 모델을 평가하여 유지된 전문가 성능 향상을 측정합니다. 2개 전문가 설정에서 LMOPD의 점 추정치는 정확도와 추론 품질 향상을 온전히 유지하면서 간결성 향상의 $46.9\%$를 확보합니다. 4개 전문가 설정에서는 차상위 기준선(baseline)이 $\approx57\%$에 그친 것에 비해 정확도 향상과 추론 정확성 향상을 모두 $\approx90\%$ 유지합니다. 동일 조건의 4개 전문가 어블레이션 연구는 사전식 라우팅이 무작위 라우팅보다 우수하며 투영이 최우선 역량을 더욱 강화함을 보여줍니다. 두 규모 모두에서 LMOPD는 평가된 기존 기준선보다 최우선 역량을 더 효과적으로 보존하여 전문가 통합에서 명시적 우선순위의 가치를 입증합니다.

arXiv:2610.03185v1cs.AI공통 태그 Language Modelling, Knowledge Distillation, reinforcement learning rl

온-정책 증류에서의 이득과 붕괴: 강화학습 관점

Gains and Collapse in On-Policy Distillation:A Reinforcement Learning Perspective

온-정책(on-policy) 증류(OPD)는 언어 모델 사후 학습(post-training)의 중요한 접근법으로 자리 잡았습니다. 그러나 이러한 성능 향상에도 불구하고, OPD는 지나치게 길고 반복적인 생성으로 붕괴될 수 있으며, 이러한 상반된 결과를 초래하는 기본 메커니즘은 여전히 잘 이해되지 않고 있습니다. 본 연구에서는 강화학습(RL) 관점을 통해 이러한 결과를 설명합니다. 즉, 교사(teacher) 모델은 자신이 거의 보이지 않는 행동에 대해서도 학생(student)의 행동에 암묵적으로 보상을 부여합니다. 이러한 관점에서, 본 연구의 실험은 OPD가 학생 모델의 역량을 확장하지 않고도 성능을 향상시킴을 보여줍니다. 암묵적 보상 모델이 신뢰할 수 있을 때, OPD는 정답 반응을 더 쉽게 샘플링할 수 있도록 만듭니다. 반면, 선호도가 품질과 불일치할 때는 보상 해킹(reward hacking)이 발생합니다. 교사 모델은 스스로 그러한 텍스트를 거의 생성하지 않음에도 불구하고, 암묵적 보상 모델은 지나치게 길고 반복적인 학생 롤아웃(rollout)을 증폭시킵니다. 이러한 진단을 바탕으로, 학습 중 비정상적인 반응을 마스킹하고 지도 미세조정(SFT) 초기화를 사용하는 것이 각각 이러한 붕괴를 효과적으로 완화할 수 있음을 발견했습니다. 종합하면, 이러한 발견은 OPD가 교사의 암묵적 피드백이 선호하는 학생 행동을 증폭시킨다는 점을 보여주며, 초점을 교사가 얼마나 잘 생성하는지에서 학생 롤아웃을 얼마나 신뢰성 있게 평가하는지로 전환시킵니다. 코드는 https://github.com/HancCui/opd_hacking 에서 확인할 수 있습니다.

arXiv:2607.22629v3cs.AI공통 태그 Language Modelling, Knowledge Distillation, self-distillation

마스크 자기 증류: 언어 모델 내 사고의 연쇄 내재화

Masked Self-Distillation: Internalizing the Chain-of-Thought in Language Models

대규모 추론 모델은 추론(inference) 시점에 최종 답변을 생성하기 전에 중간 단계들의 길고 명시적인 연쇄를 생성합니다. 최종 답변의 정확성이 중간 추적(trace)의 정확성과 인과적으로 연결되어 있지 않고 추적 길이가 문제의 복잡성을 나타내는 신뢰할 만한 지표가 아님에도 불구하고, 이러한 중간 추적은 지연 시간, 메모리 사용량 및 서빙 비용의 대부분을 차지합니다. 이는 자연스럽게 다음과 같은 질문을 제기합니다. 이러한 중간 토큰에 표현된 계산을 언어 모델의 파라미터 내부로 내재화하여 훨씬 더 짧은 중간 추적만으로 답변을 생성하도록 만들 수 있을까요? 본 논문에서는 동일한 모델의 복제본을 교사 모델과 학생 모델(student model)로 인스턴스화하고, 학생 모델이 중간 추적의 전체 또는 일부를 내재화하도록 학습(training)시켜 추론 효율성을 높이는 지식 증류(knowledge distillation) 기반 사후 학습(post-training) 프레임워크인 마스크 자기 증류(masked self-distillation)를 제안합니다. 우리는 학생 모델이 내재화하도록 학습되는 중간 추적의 비율을 변화시키며, 완전한 내재화와 무내재화 사이를 보간합니다. 수학 및 그래프 색칠하기라는 두 가지 추론 영역에서 통제된 실험을 수행하였으며, 마스크 자기 증류 프레임워크를 사용하여 Qwen3-4B 및 8B 모델을 사후 학습시켰습니다. 실험 결과는 이 방법이 다양한 도메인과 모델 크기 전반에서 추론 효율성을 높이는 동시에 작업 성능을 향상시키는 데 사용될 수 있음을 보여줍니다. 또한 사후 학습된 모델에서 향상된 효율성 이득이 OOD(분포 외) 문제로 일반화되는지 체계적으로 분석합니다. 그 결과 마스크 자기 증류 모델은 도메인 내 OOD 문제에 대해 잘 일반화되며, 마스크 자기 증류 학습이 도메인 외 문제에서 학생 모델의 치명적 망각(catastrophic forgetting)을 유발하지 않음을 확인했습니다. 나아가 절제 연구(ablation study)를 통해 지도 미세조정(supervised fine-tuning) 역시 모델이 더 짧은 추적을 생성하도록 학습시킬 수 있지만 일반화 성능이 저하됨을 보임으로써, 마스크 자기 증류에서 온-정책(on-policy) 학습의 중요성을 강조합니다.

arXiv:2610.13536v1stat.ML공통 태그 Language Modelling, Knowledge Distillation

증류의 어둠의 기술에 대한 방어: 서브리미널 학습(subliminal learning)의 비지도 발견

Defence against the dark arts of distillation: Unsupervised discovery of subliminal learning

언어 모델(language model)이 기본 매개변수(parameter)를 공유하는 교사 모델로부터 증류(distillation)될 때, 학생 모델은 해당 특성과 의미적으로 무관한 데이터로부터도 교사 모델의 행동적 특성---정렬 실패(misalignment)를 포함하여---을 물려받을 수 있다(Cloud et al., 2026). 기존의 모든 방어 기법은 해당 특성을 미리 알아야 한다는 조건을 요구한다. 본 연구는 이러한 요구 조건을 제거하고, 서브리미널하게 전이된 특성이 단 하나의 비대칭성을 활용함으로써 감독(supervision) 없이 매개변수 업데이트만으로도 복원될 수 있음을 증명한다: 그 특성은 교사 모델이 생성한 다양한 데이터셋(dataset) 전반에서 일관되게 나타나는 반면, 과제별 능력과 공유 능력은 데이터셋마다 달라진다. 이로부터 도출되는 추정량(estimator)은 가중치(weight) 공간상의 방향을 반환하며, 이를 증폭하여 해당 특성을 발견하고 해석할 수도 있고, 투영 제거(project out)하여 그 특성의 발현을 억제할 수도 있다. (Cloud et al., 2026)의 서브리미널 학습 벤치마크(benchmark)에 적용한 결과, 본 방법은 특성 레이블(label) 없이도 전이된 동물 선호(animal-preference) 특성을 복원하며, 과제 성능에는 거의 영향을 주지 않으면서 그 발현을 억제한다.

arXiv:2610.13744v1cs.AI공통 태그 Knowledge Distillation, self-distillation

점수만 매기는 특권적 교사는 탐색할 수 없다: 추론을 위한 비평 조건부 온-정책 자기 증류

A Privileged Teacher That Only Scores Cannot Search: Critique-Conditioned On-Policy Self-Distillation for Reasoning

온-정책(on-policy) 자기 증류는 검증 가능한 보상(verifiable-reward) 기반 강화학습의 희소한 결과 신호를 토큰 단위의 조밀한 크레딧으로 대체할 것을 약속한다: 참조 해답에 조건화된 교사가 학생 자신의 롤아웃(rollout)을 채점하고, 그 결과로 나타나는 분포 변화가 다시 정책으로 증류된다. 우리는 이 채점 신호가 실제로 교정적 크레딧을 담고 있는지 조사한다. 학생 롤아웃 내의 정답(gold) 오류 구간을 이용하여, 자기 증류 목적함수가 사용하는 두 가지 신호, 즉 전체 분포 KL과 토큰 로그 비율(log-ratio)이 두 가지 속성, 즉 오류를 지역화(localize)하는지 여부와 학생의 오류 토큰으로부터 확률을 밀어내는지 여부를 테스트한다. 두 신호 모두 이러한 속성을 전혀 보이지 않으며, 동일한 문제 내에서 올바른 롤아웃과 잘못된 롤아웃을 신뢰성 있게 구분하지도 못한다. 우리는 이러한 실패가 구조적이라고 주장한다: 추론 과정(reasoning trace)에서 오류를 찾아내는 것 자체가 하나의 탐색(search) 문제인 반면, 채점을 수행하는 교사는 명시적으로 그러한 탐색을 수행하도록 요구받지 않는다. 동일한 모델이 동일한 특권 정보를 가지고도, 비평(critique)을 생성하도록 허용되었을 때는 오류를 훨씬 더 잘 지역화한다. 이는 \emph{비평 조건부 자기 증류(critique-conditioned self-distillation)}의 동기가 된다: 먼저 현재 롤아웃에 대한 비평을 생성한 다음, 그 비평에 채점 교사를 조건화하는 것이다. 그 결과로 나오는 신호는 오류를 지역화하고, 오류 구간 내에서 교정적이며, "Wait", "But", "Actually"와 같이 역추적(backtracking)을 시작하는 토큰 쪽으로 확률을 이동시킨다. 우리는 나아가 이 비평이 테스트 시점(test time)과 콜드 스타트(cold-start) GRPO 양쪽 모두에서 유용함을 보인다: 테스트 시점에서는 비평을 맥락에 포함한 채 잘못된 롤아웃을 재개하는 것이 샘플링만으로는 풀 수 없었던 수학 문제를 풀 수 있게 만들며, 콜드 스타트 GRPO에서는 검증 가능한 보상만으로는 전혀 이점 신호를 제공하지 못하는 프롬프트에 대해 이점(advantage) 신호를 제공한다.

arXiv:2610.08077v2cs.AI공통 태그 Knowledge Distillation, rlvr

자기 회고 증류: 사후 경험을 사전 예측력으로 전환하기

Self-Retrospection Distillation: Turning Post-hoc Experiences into Prior Foresight

검증 가능한 보상을 활용한 강화학습(RLVR)은 주로 상호작용 후의 스칼라 결과 보상을 통해 에이전트 경험을 학습 신호로 전환합니다. 그러나 그룹 상대적 목적 함수의 경우, 모든 롤아웃이 동일한 보상을 받으면 해당 궤적이 작업에 필요한 요소와 에이전트가 실패하는 방식에 대한 유용한 정보를 드러낼 수 있음에도 불구하고 이러한 신호가 사라집니다. 우리는 이와 상호보완적인 질문을 던집니다. 사후적 통찰(hindsight)이 에이전트에게 행동하기 전에 무엇을 예측할 수 있었는지를 가르쳐줄 수 있을까요? 우리는 상호작용 이전 시점에서의 예측을 지도하기 위해 사후 경험을 사용하는 전향적 학습(prospective learning)을 도입하고, 이를 자기 회고 증류(Self-Retrospection Distillation, SRD)로 구체화합니다. 직관적으로 완료된 궤적은 유용했을 지식과 피해야 했을 함정을 드러내며, SRD는 이 특권적 사후 통찰을 동일한 정책의 궤적 비인지 사전 예측으로 증류합니다. 사전 예측은 학습 목표로만 기능하며 추론 시 명시적으로 생성될 필요가 없습니다. 10가지 도구 통합 추론 및 장기적 에이전트 작업 전반에서, SRD는 RLVR 및 자기 증류 베이스라인을 보완하여 최대 24.2%p의 성능 향상을 달성합니다. 특히 모델 규모 전반에 걸쳐 롤아웃 그룹의 37~98%가 균일한 보상을 보여 보상 대조가 부족한 경우에도 SRD는 샘플링된 궤적으로부터 학습 신호를 활용할 수 있어 그 이점이 두드러집니다. 그룹의 98%가 전면 실패하는 2B 설정에서 RLVR 학습은 0.0%의 성공률로 끝나는 반면, 동일한 롤아웃 예산 하에서 SRD를 추가하면 60.6%에 도달합니다. 우리의 결과는 사후 에이전트 경험이 행동을 평가하거나 개선하는 것뿐만 아니라 상호작용 이전에 예측적 표현을 형성하는 데에도 유용함을 시사합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.