arXiv:2606.07082v1 cs.LG

온-정책 지식 증류의 기하학

On the Geometry of On-Policy Distillation

Zhennan Shen, Yanshu Li, Qingyu Yin, Chak Tou Leong, Zhilin Wang, Yanxu Chen, Rongduo Han, Sunbowen Lee, Yi R. Fung

제출 2026-06-05

한국어 초록

온-정책 지식 증류(OPD)는 대규모 언어 모델(LLM)의 추론을 향상시키는 데 점점 더 많이 사용되고 있지만, 그 학습 역학은 여전히 잘 이해되지 않고 있다. 우리는 매개변수 공간에서 OPD 업데이트의 궤적을 특성화하고, 이를 지도 미세조정(SFT) 및 검증 가능한 보상을 갖는 강화학습(RLVR)과 비교한다. 매개변수 공간 진단 도구 모음은 OPD를 일관되게 완화된 비주성분 영역에 위치시킨다: SFT와 비교할 때 그 업데이트는 더 적은 가중치에 영향을 미치고 주성분 방향을 더 강하게 피하는 반면, RLVR과 비교할 때는 덜 엄격하게 제약된다. 이 정적 국소화를 넘어, OPD는 부분공간 고정(subspace locking)을 보인다: 누적 업데이트가 빠르게 좁은 저차원 채널에 진입한다. 학습 초기에 형성된 업데이트 부분공간에 학습을 제한하면 OPD 성능은 유지되지만 SFT는 크게 저하되며, 이는 고정된 부분공간이 OPD에 기능적으로 충분함을 나타낸다. 대조 실험은 또한 업데이트 토큰을 희소화하고 롤아웃 생성을 오프-정책으로 전환하는 것이 랭크(rank) 역학을 보존하는 반면, OPD 목적함수를 RLVR과 혼합하면 이를 바꾼다는 것을 보여준다. 전체적으로, 이러한 결과는 OPD가 SFT와 RLVR 사이의 단순한 중간 지점이 아니라, 매개변수 공간에서 고유한 업데이트 기하학을 유발한다는 것을 시사한다.

원문 초록

On-policy distillation (OPD) is increasingly used to improve large language model reasoning, but its training dynamics remain poorly understood. We characterize the trajectory of OPD updates in parameter space and compare it with supervised fine-tuning (SFT) and reinforcement learning with verifiable rewards (RLVR). A suite of parameter-space diagnostics consistently places OPD in a relaxed off-principal regime: compared with SFT, its updates affect fewer weights and avoid principal directions more strongly, while compared with RLVR, they remain less tightly constrained. Beyond this static localization, OPD exhibits subspace locking: its cumulative updates rapidly enter a narrow low-dimensional channel. Constraining training to the update subspace formed early in training preserves OPD performance but substantially degrades SFT, indicating that the locked subspace is functionally sufficient for OPD. Control experiments further show that sparsifying the update tokens and shifting rollout generation off-policy preserve the rank dynamics, whereas mixing the OPD objective with RLVR changes them. Overall, these results suggest that OPD is not merely an intermediate point between SFT and RLVR, but induces its own update geometry in parameter space.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.07082v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13521v1cs.AI공통 태그 Knowledge Distillation, Large Language Model, on-policy distillation

도메인 라우팅 감독을 넘어서: 다중 교사 온-정책 증류를 위한 교차 교사 가딩

Beyond Domain-Routed Supervision: Cross-Teacher Guarding for Multi-Teacher On-Policy Distillation

다중 교사 온-정책 증류(multi-teacher on-policy distillation, MOPD)는 도메인별 데이터를 전문화된 교사(teacher)들에게 라우팅하고, 학생(student)이 생성한 궤적(trajectory)에 대해 토큰 단위의 밀집(dense) 감독을 통해 이들의 능력을 통합함으로써 온-정책 증류(on-policy distillation, OPD)를 확장한다. 그러나 도메인 라우팅은 서로 다른 도메인에 대한 감독 소스만을 구분할 뿐이며, 모든 도메인에서 발생하는 업데이트는 여전히 공유 파라미터에 작용한다. 교사들이 응답 스타일과 도메인 전문성에서 크게 다를 경우, 개별적으로는 효과적인 감독이라 하더라도 공동 최적화 과정에서 지속적인 그래디언트 충돌과 능력 저하로 이어질 수 있다. 이러한 문제를 해결하기 위해, 우리는 동일한 학생 궤적에 대해 라우팅되지 않은 교사들을 보조적인 교차 도메인 비평자(critic)로 도입하고, 토큰 단위의 크레딧 할당(credit assignment)과 그래디언트 업데이트를 통해 다중 교사 감독을 조율하는 Cross-Teacher Guarding for MOPD(Road MOPD)를 제안한다. 구체적으로, 교차 교사 기반 크레딧 할당(cross-teacher-guided credit assignment)은 교사 간의 합의(agreement)를 활용하여 교사들이 공동으로 지지하는 토큰 단위 보정을 강화하고 상충하는 신호를 약화시킨다. 예방적 다중 교사 그래디언트 프로젝션(preventive multi-teacher gradient projection)은 동일한 궤적에서 얻은 보조 그래디언트를 사용하여 잠재적으로 충돌하는 업데이트를 제약하며, 목표 도메인의 학습 신호를 보존하기 위해 프로젝션 강도를 적응적으로 조절한다. 실험에서 Road MOPD는 불리한 도메인에서의 성능 저하를 완화하고, 충돌이 심한 상황에서 5퍼센트포인트 이상의 향상을 얻으며, 충돌이 적은 설정과 세 가지 도메인 설정 모두에서 전반적인 성능을 향상시킨다.

arXiv:2610.10827v1cs.CL공통 태그 Language Modeling, Knowledge Distillation, Large Language Model

대규모 문법 개념 주석: 배포된 미세조정 소형 언어 모델이 프롬프트 기반 프론티어 모델을 능가하다

Grammar Concept Annotation at Scale: Deployed Fine-Tuned Small Language Models Outperform Prompted Frontier Models

교정 피드백은 제2언어 습득을 이끄는 가장 입증된 요인 중 하나이지만, 수업 중에 제공되는 교정은 문법 숙달도에 대한 실행 가능한 관점으로 축적되는 경우가 드뭅니다. 프롬프트(prompt)를 적용한 프론티어 모델(frontier model)은 학습자-튜터 수업 녹취록을 통해 이러한 관점을 제공할 수 있으나, 대규모 환경에서는 비용이 많이 듭니다. 본 연구에서는 필터링 및 재조정된 교사 생성 지도 데이터를 바탕으로 Qwen3.5 소형 언어 모델(SLM)을 미세조정(fine-tuning)한 후, 플랫폼의 모든 영어 학습자를 위한 엔드투엔드 문법 숙달도 추적기에 효율적인 0.8B 모델을 배포함으로써 이러한 격차를 해소합니다. 주석 규약을 어댑터 가중치에 내재화함으로써 장황한 지시문 대신 간결한 매칭 프롬프트와 0.8B 모델을 결합할 수 있었습니다. 사람이 큐레이션한 두 개의 벤치마크에서, 배포된 0.8B 모델과 4B 참조 비교 모델 모두 개념, 근거 범위, 정확도 등 점진적으로 엄격해지는 중첩 매칭 기준 하에서 프롬프트를 적용한 GPT-5.4 및 GPT-5.6 Sol보다 정밀도(precision)와 재현율(recall) 측면에서 우수한 성능을 보였습니다. 배포된 0.8B SLM은 서빙 비용을 약 16배 절감합니다. 기능 수준의 온라인 실험에서는 학습자 참여도(+15.8%) 및 예약 시간(+2.1%), 신규 수업 기반 GMV(+13.2%)를 포함한 주요 비즈니스 지표에서 상당한 향상을 보였습니다.

arXiv:2610.10878v1cs.CL공통 태그 Language Modeling, Knowledge Distillation, on-policy distillation

에이전틱 온-정책 증류를 위한 확률적 교사 개입

Stochastic Teacher Intervention for Agentic On-Policy Distillation

온-정책(on-policy) 증류(OPD)는 학생이 생성한 롤아웃(rollout)에 대한 조밀한 토큰(token) 수준 감독을 통해 더 강력한 교사로부터 학생 언어 모델(language model)로 역량을 효율적으로 전이하며, 수학적 추론과 같은 복잡한 작업에서 유망한 성과를 보여주었다. 그러나 다중 턴(multi-turn) 에이전틱 작업에서는 학생의 결정이 이후의 관측을 형성하므로 턴을 거치며 초기 오류가 누적된다. 그 결과로 생성된 궤적은 교사의 롤아웃 분포에서 벗어날 수 있어, 교사의 토큰 수준 감독이 덜 신뢰할 수 있게 되거나 OPD 학습(training)에 오히려 역효과를 낼 수도 있다. 이러한 문제를 해결하기 위해, 본 논문에서는 다중 턴 에이전틱 OPD를 위한 확률적 교사 개입 프레임워크인 STI-OPD를 제안한다. 다중 턴 상호작용 과정에서 STI-OPD는 신뢰할 수 있는 감독 정보의 획득을 극대화하기 위해 교사-학생 정책 불일치에 기반한 교사 개입을 사용하여 학생이 제안한 행동을 교사가 생성한 행동으로 대체한다. 나아가 기존 임계값 기반 또는 고정 일정 접근법의 한계를 해결하기 위해, KL 발산을 사용해 정책 불일치를 추정하고 이를 개입 확률로 매핑하는 확률적 개입 전략을 개발한다. 이 확률로부터 개입 여부를 샘플링함으로써, STI-OPD는 교사의 제어와 학생의 탐험(exploration) 사이의 균형을 적응적으로 맞춘다. 이렇게 생성된 혼합 정책 궤적으로부터 학습하기 위해, 본 논문에서는 원래의 OPD 목적 함수를 보존하도록 교사가 생성한 응답과 학생 정책 간의 토큰 샘플링 불일치를 보정하는 중요도 가중 역방향 KL(Importance-Weighted Reverse KL) 목적 함수를 도입한다. 도구 통합 추론 및 장기적(long-horizon) 상호작용 전반에 걸쳐, STI-OPD는 평가된 모든 벤치마크와 학생 크기에서 가장 강력한 기존 OPD 기준선(baseline)을 능가한다. 소거 연구(ablation)를 통해 불일치 기반 개입과 중요도 가중치가 모두 이러한 성능 향상에 기여함을 추가로 확인하였다.

arXiv:2610.02324v1cs.LG공통 태그 Knowledge Distillation, Large Language Model, on-policy distillation

역량 보존을 위한 느림-빠름 다중 교사 온-정책 증류

Slow-Fast Multi-Teacher On-Policy Distillation for Capability Preservation

파운데이션 멀티모달 대규모 언어 모델(MLLM)은 다양한 도메인에 걸쳐 광범위한 역량을 지원하도록 설계되었습니다. 다중 교사 온-정책 증류(Multi-teacher On-Policy Distillation, MOPD)는 도메인 특화 전문성을 단일 학생 모델로 통합하는 효과적인 프레임워크를 제공합니다. 그러나 MOPD 학습은 학생 모델을 점차 초기화 모델로부터 멀어지게 만들며, 이러한 변위가 커짐에 따라 일반 역량이 저하되어 역량 간섭(capability interference)이 발생합니다. 이에 대한 직접적인 해결책은 학생 모델이 초기화 상태에 머물도록 제약을 가하는 것이지만, 이는 도메인 전문성 획득 역시 억제합니다. 본 논문에서는 각 교사에 의해 직접 업데이트되는 현재 학생 모델인 빠른(fast) 모델과, 학생 모델의 지수 이동 평균(EMA)인 느린(slow) 모델을 결합한 느림-빠름 다중 교사 온-정책 증류(Slow-Fast Multi-Teacher On-Policy Distillation, SF-MOPD)를 제안합니다. 느린 모델은 학습 신호를 점진적으로 흡수하여 일반 파운데이션 역량과 검증된 도메인 전문성을 융합하는 이동 역량 기준점(moving capability reference) 역할을 수행합니다. 각 교사에 대해 SF-MOPD는 로그 확률 공간에서 교사가 유도한 업데이트를 계산하고, 정렬된 성분과 직교 성분은 유지하면서 빠른 모델을 느린 모델로부터 더 멀어지게 만드는 성분만을 제거합니다. 다양한 모델 규모에 걸친 실험을 통해 SF-MOPD가 역량 간섭을 효과적으로 완화하고 특화된 멀티모달 역량을 향상하며 일반 역량 벤치마크에서의 평균 성능 저하를 줄여 바닐라 MOPD를 지속적으로 능가함을 입증합니다.

arXiv:2610.02381v1cs.LG공통 태그 Knowledge Distillation, Large Language Model, on-policy distillation

Latent-MOPD: 잠재 다중 교사 온-정책 증류

Latent-MOPD: Latent Multi-Teacher On-Policy Distillation

온-정책 증류(OPD)는 학생 모델이 직접 생성한 응답을 바탕으로 학생 모델을 학습시킵니다. 기존의 대규모 언어 모델(LLM) 다중 교사 OPD는 전문가 모델들이 예측한 내용을 출력 분포를 통해 전이합니다. 본 논문에서는 우리가 아는 한 LLM을 위한 최초의 표현 수준(representation-level) 다중 교사 OPD 방법인 Latent-MOPD를 소개합니다. 이 방법은 추가적인 교사 학습 없이, 기존 전문가 모델들의 예측값뿐만 아니라 이를 계산하는 데 사용된 은닉 상태(hidden state)까지 함께 활용하여 전문가 모델들을 통합합니다. 여러 전문가 모델로부터의 표현 지도를 조율하기 위해, 교사-학생 관계에 따라 후반 층(late-layer) 타깃을 선택하고, 공유 투영(shared projection)을 통해 서로 다른 은닉 차원 너비를 연결하며, 도메인별로 업데이트를 그룹화합니다. 각 교사의 지도는 은닉 상태에서 토큰 예측으로 점진적으로 전환되며, 두 채널 모두 동일한 라우팅된 전문가 모델을 사용합니다. 주요 동일 계열(same-family) 설정에서 Latent-MOPD는 수학, 코드, 논리에 걸친 9개 벤치마크 전체에서 토큰 전용, 표현 전용 및 균일 평균화(uniform-averaging) 베이스라인보다 뛰어난 성능을 보였습니다. 각 교사와 동일한 매개변수 수를 가진 학생 모델은 이러한 벤치마크 대다수에서 벤치마크별 최고 성능 교사의 성능을 능가하기도 했습니다. 별도로 개발된 더 큰 이종 계열(cross-family) 교사를 사용한 설정에서도 Latent-MOPD는 모든 벤치마크에서 두 단일 채널 베이스라인을 모두 능가했습니다. 동일 계열의 모든 층 표현 전용 대조군은 도메인 순수 업데이트에서는 안정적으로 유지되었으나, 하나의 업데이트 내에서 교사 도메인이 교차될 때는 붕괴되었습니다. 본 연구 결과는 단일 학생 모델이 여러 전문가 모델의 출력 분포와 내부 표현 모두를 통해 이들의 역량을 성공적으로 통합할 수 있음을 보여줍니다.

arXiv:2610.02700v1cs.LG공통 태그 Knowledge Distillation, Large Language Model, on-policy distillation

진화하는 오류로부터의 학습: 온-정책 증류를 위한 적응형 반복 복구

Learning from Evolving Errors: Adaptive Iterative Repair for On-Policy Distillation

온-정책 자가 증류(OPSD)는 학생 모델 자신의 정책에서 샘플링된 궤적에 대해 조밀한 토큰(token) 수준의 피드백을 제공하며, 이는 강화학습(RL)의 결과 수준 보상보다 더 풍부한 학습(training) 신호가 됩니다. 이 피드백은 학생에게는 주어지지 않는 완전한 참조 해법을 조건으로 하는 교사 모델로부터 생성됩니다. 그러나 참조 해법은 목표를 명시할 뿐 학생의 현재 오류에서 목표로 나아가는 방법을 알려주지는 않으므로, 해법 조건부 지름길 위험(solution-conditioned shortcut risk)을 초래합니다. 본 논문에서는 오류에서 복구로 이어지는 지도(supervision)를 제공하는 온-정책 증류 프레임워크인 적응형 반복 복구 AIR-OPD를 제안합니다. 실패한 응답이 주어지면 가이던스 생성기는 현재 오류에 대한 복구 가이던스를 합성합니다. 학생은 이 가이던스를 바탕으로 온-정책(on-policy) 재시도를 샘플링합니다. 재시도가 여전히 틀릴 경우, 생성기는 새롭게 관찰된 오류에 대한 새로운 복구 가이던스를 생성합니다. 각 라운드마다 고정된 교사는 특권 문맥(privileged context)으로 가이던스를 받아 최신 실패 응답 중 오류와 일치하는 영역에 대해 학생을 지도합니다. 결과 인식 단계별 가중치(Outcome-aware stage weighting)는 초기 복구 단계를 선호하며, 즉각적인 재시도가 검증을 통과한 단계에 가중치를 부여합니다. DAPO-Math-17K 데이터셋으로 AIR-OPD를 학습하고 AIME24, AIME25, HMMT25 및 분포 외(out-of-distribution) 테스트인 MMLU-Pro와 GPQA에서 평가를 진행합니다. 현재 학생 정책의 자체 가이던스와 더 큰 모델(model)의 외부 가이던스라는 두 가지 가이던스 소스를 검토합니다. Qwen3-4B와 Qwen3-8B 모두에서 AIR-OPD는 가장 높은 수학적 추론 평균을 달성하여 가장 강력한 기준선(baseline) 대비 최대 3.6점을 개선하는 동시에, 분포 외 벤치마크에서 기본 모델의 성능을 유지합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.