데이터 없는 온-정책 지식 증류: 외부 데이터 없이 얼마나 멀리 갈 수 있는가?
Data-Free On-Policy Distillation: How Far Can We Go Without External Data?
한국어 초록
온-정책 지식 증류(On-Policy Distillation, OPD)는 프론티어 파운데이션 모델의 사후 학습(post-training)에 점점 더 많이 적용되고 있습니다. 이 분야의 기존 연구는 주로 알고리즘적 발전에 초점을 맞추었으나, OPD가 학습 질문에 얼마나 의존하는지, 특히 이러한 의존성을 어디까지 줄일 수 있는지는 여전히 불분명합니다. 두 가지 대표적인 단일 교사(single-teacher) OPD 설정에 걸쳐, 저자들은 단 8개의 실제 프롬프트로 학습해도 17,000개 문제로 학습한 것과 유사한 성능을 얻을 수 있으며, 측정된 난이도와 초기 증류 격차가 크게 다른 데이터셋들 간에도 유사한 결과를 산출함을 발견했습니다. 이러한 분석은 두 가지 상호보완적인 설명을 제시합니다. 즉, 반복 샘플링을 통해 적은 프롬프트만으로도 상당한 교사 지도(teacher supervision)를 드러낼 수 있으며, OPD가 데이터셋별 지식을 넘어 일반화 가능한 추론 능력을 전이한다는 것입니다. 이러한 관찰을 바탕으로, 저자들은 외부 데이터의 필요성을 없애고 시스템이 스스로 학습 질문을 제공할 수 있는지 조사하기 위해 데이터 없는 온-정책 지식 증류(Data-Free On-Policy Distillation, DF-OPD) 설정을 제안합니다. 시드 예시 없이 생성된 64개의 자체 생성 질문을 통해, DF-OPD는 두 단일 교사 설정 모두에서 전체 데이터를 사용한 OPD와 유사한 성능을 산출합니다. 이러한 발견은 다중 교사(multi-teacher) OPD에서도 유효하여, 수학, 코드 및 인스트럭션 추종(instruction following) 전반에 걸쳐 1,000개의 생성된 질문이 약 7,000개의 실제 사후 학습 예시로 학습한 것과 유사한 성능을 달성합니다. 나아가 저자들은 OPD가 명시적인 학습 질문 없이도 작동할 수 있는지 탐구합니다. 실험 결과 이는 학생 모델이 예상치 못하게 자체 질문을 생성하고 답변하여 프로세스가 암묵적인 형태의 DF-OPD로 귀결되는 제한적인 경우에만 효과적임을 보여줍니다. 종합적으로 이러한 발견들은 온-정책 지식 증류에서 학습 데이터의 역할에 대한 재평가를 유도합니다. 코드는 https://github.com/Ryuki661/DF-OPD 에서 이용 가능합니다.
원문 초록
On-policy distillation (OPD) is increasingly applied to frontier foundation model post-training. Prior work in this area has largely focused on algorithmic advances, yet it remains unclear how much OPD depends on its training questions and, in particular, how far this dependence can be reduced. Across two representative single-teacher OPD settings, we find that training on 8 real prompts yields performance comparable to training on 17k problems, while datasets differing substantially in measured difficulty and initial distillation gap yield similar outcomes. Our analyses suggest two complementary explanations: repeated sampling could allow even a few prompts to expose substantial teacher supervision, while OPD transfers generalizable reasoning capabilities beyond dataset-specific knowledge. Building on these observations, we next propose a data-free on-policy distillation (DF-OPD) setting to investigate whether the system can supply the training questions itself, eliminating the need for external data. With 64 self-generated questions obtained without seed examples, DF-OPD yields performance comparable to full-data OPD in both single-teacher settings. This finding also holds in multi-teacher OPD: across mathematics, code, and instruction following, 1k generated questions achieve performance comparable to training on approximately 7k real post-training examples. We further explore whether OPD can operate even without explicit training questions. The experiments show that this is effective only in limited cases, where the student unexpectedly generates and answers its own questions, thereby reducing the process to an implicit form of DF-OPD. Together, these findings invite a reassessment of the role of training data in on-policy distillation. Code is available at https://github.com/Ryuki661/DF-OPD
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.14193v4
- arXiv:2609.14193v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
도메인 라우팅 감독을 넘어서: 다중 교사 온-정책 증류를 위한 교차 교사 가딩
Beyond Domain-Routed Supervision: Cross-Teacher Guarding for Multi-Teacher On-Policy Distillation
다중 교사 온-정책 증류(multi-teacher on-policy distillation, MOPD)는 도메인별 데이터를 전문화된 교사(teacher)들에게 라우팅하고, 학생(student)이 생성한 궤적(trajectory)에 대해 토큰 단위의 밀집(dense) 감독을 통해 이들의 능력을 통합함으로써 온-정책 증류(on-policy distillation, OPD)를 확장한다. 그러나 도메인 라우팅은 서로 다른 도메인에 대한 감독 소스만을 구분할 뿐이며, 모든 도메인에서 발생하는 업데이트는 여전히 공유 파라미터에 작용한다. 교사들이 응답 스타일과 도메인 전문성에서 크게 다를 경우, 개별적으로는 효과적인 감독이라 하더라도 공동 최적화 과정에서 지속적인 그래디언트 충돌과 능력 저하로 이어질 수 있다. 이러한 문제를 해결하기 위해, 우리는 동일한 학생 궤적에 대해 라우팅되지 않은 교사들을 보조적인 교차 도메인 비평자(critic)로 도입하고, 토큰 단위의 크레딧 할당(credit assignment)과 그래디언트 업데이트를 통해 다중 교사 감독을 조율하는 Cross-Teacher Guarding for MOPD(Road MOPD)를 제안한다. 구체적으로, 교차 교사 기반 크레딧 할당(cross-teacher-guided credit assignment)은 교사 간의 합의(agreement)를 활용하여 교사들이 공동으로 지지하는 토큰 단위 보정을 강화하고 상충하는 신호를 약화시킨다. 예방적 다중 교사 그래디언트 프로젝션(preventive multi-teacher gradient projection)은 동일한 궤적에서 얻은 보조 그래디언트를 사용하여 잠재적으로 충돌하는 업데이트를 제약하며, 목표 도메인의 학습 신호를 보존하기 위해 프로젝션 강도를 적응적으로 조절한다. 실험에서 Road MOPD는 불리한 도메인에서의 성능 저하를 완화하고, 충돌이 심한 상황에서 5퍼센트포인트 이상의 향상을 얻으며, 충돌이 적은 설정과 세 가지 도메인 설정 모두에서 전반적인 성능을 향상시킨다.
역량 보존을 위한 느림-빠름 다중 교사 온-정책 증류
Slow-Fast Multi-Teacher On-Policy Distillation for Capability Preservation
파운데이션 멀티모달 대규모 언어 모델(MLLM)은 다양한 도메인에 걸쳐 광범위한 역량을 지원하도록 설계되었습니다. 다중 교사 온-정책 증류(Multi-teacher On-Policy Distillation, MOPD)는 도메인 특화 전문성을 단일 학생 모델로 통합하는 효과적인 프레임워크를 제공합니다. 그러나 MOPD 학습은 학생 모델을 점차 초기화 모델로부터 멀어지게 만들며, 이러한 변위가 커짐에 따라 일반 역량이 저하되어 역량 간섭(capability interference)이 발생합니다. 이에 대한 직접적인 해결책은 학생 모델이 초기화 상태에 머물도록 제약을 가하는 것이지만, 이는 도메인 전문성 획득 역시 억제합니다. 본 논문에서는 각 교사에 의해 직접 업데이트되는 현재 학생 모델인 빠른(fast) 모델과, 학생 모델의 지수 이동 평균(EMA)인 느린(slow) 모델을 결합한 느림-빠름 다중 교사 온-정책 증류(Slow-Fast Multi-Teacher On-Policy Distillation, SF-MOPD)를 제안합니다. 느린 모델은 학습 신호를 점진적으로 흡수하여 일반 파운데이션 역량과 검증된 도메인 전문성을 융합하는 이동 역량 기준점(moving capability reference) 역할을 수행합니다. 각 교사에 대해 SF-MOPD는 로그 확률 공간에서 교사가 유도한 업데이트를 계산하고, 정렬된 성분과 직교 성분은 유지하면서 빠른 모델을 느린 모델로부터 더 멀어지게 만드는 성분만을 제거합니다. 다양한 모델 규모에 걸친 실험을 통해 SF-MOPD가 역량 간섭을 효과적으로 완화하고 특화된 멀티모달 역량을 향상하며 일반 역량 벤치마크에서의 평균 성능 저하를 줄여 바닐라 MOPD를 지속적으로 능가함을 입증합니다.
Latent-MOPD: 잠재 다중 교사 온-정책 증류
Latent-MOPD: Latent Multi-Teacher On-Policy Distillation
온-정책 증류(OPD)는 학생 모델이 직접 생성한 응답을 바탕으로 학생 모델을 학습시킵니다. 기존의 대규모 언어 모델(LLM) 다중 교사 OPD는 전문가 모델들이 예측한 내용을 출력 분포를 통해 전이합니다. 본 논문에서는 우리가 아는 한 LLM을 위한 최초의 표현 수준(representation-level) 다중 교사 OPD 방법인 Latent-MOPD를 소개합니다. 이 방법은 추가적인 교사 학습 없이, 기존 전문가 모델들의 예측값뿐만 아니라 이를 계산하는 데 사용된 은닉 상태(hidden state)까지 함께 활용하여 전문가 모델들을 통합합니다. 여러 전문가 모델로부터의 표현 지도를 조율하기 위해, 교사-학생 관계에 따라 후반 층(late-layer) 타깃을 선택하고, 공유 투영(shared projection)을 통해 서로 다른 은닉 차원 너비를 연결하며, 도메인별로 업데이트를 그룹화합니다. 각 교사의 지도는 은닉 상태에서 토큰 예측으로 점진적으로 전환되며, 두 채널 모두 동일한 라우팅된 전문가 모델을 사용합니다. 주요 동일 계열(same-family) 설정에서 Latent-MOPD는 수학, 코드, 논리에 걸친 9개 벤치마크 전체에서 토큰 전용, 표현 전용 및 균일 평균화(uniform-averaging) 베이스라인보다 뛰어난 성능을 보였습니다. 각 교사와 동일한 매개변수 수를 가진 학생 모델은 이러한 벤치마크 대다수에서 벤치마크별 최고 성능 교사의 성능을 능가하기도 했습니다. 별도로 개발된 더 큰 이종 계열(cross-family) 교사를 사용한 설정에서도 Latent-MOPD는 모든 벤치마크에서 두 단일 채널 베이스라인을 모두 능가했습니다. 동일 계열의 모든 층 표현 전용 대조군은 도메인 순수 업데이트에서는 안정적으로 유지되었으나, 하나의 업데이트 내에서 교사 도메인이 교차될 때는 붕괴되었습니다. 본 연구 결과는 단일 학생 모델이 여러 전문가 모델의 출력 분포와 내부 표현 모두를 통해 이들의 역량을 성공적으로 통합할 수 있음을 보여줍니다.
진화하는 오류로부터의 학습: 온-정책 증류를 위한 적응형 반복 복구
Learning from Evolving Errors: Adaptive Iterative Repair for On-Policy Distillation
온-정책 자가 증류(OPSD)는 학생 모델 자신의 정책에서 샘플링된 궤적에 대해 조밀한 토큰(token) 수준의 피드백을 제공하며, 이는 강화학습(RL)의 결과 수준 보상보다 더 풍부한 학습(training) 신호가 됩니다. 이 피드백은 학생에게는 주어지지 않는 완전한 참조 해법을 조건으로 하는 교사 모델로부터 생성됩니다. 그러나 참조 해법은 목표를 명시할 뿐 학생의 현재 오류에서 목표로 나아가는 방법을 알려주지는 않으므로, 해법 조건부 지름길 위험(solution-conditioned shortcut risk)을 초래합니다. 본 논문에서는 오류에서 복구로 이어지는 지도(supervision)를 제공하는 온-정책 증류 프레임워크인 적응형 반복 복구 AIR-OPD를 제안합니다. 실패한 응답이 주어지면 가이던스 생성기는 현재 오류에 대한 복구 가이던스를 합성합니다. 학생은 이 가이던스를 바탕으로 온-정책(on-policy) 재시도를 샘플링합니다. 재시도가 여전히 틀릴 경우, 생성기는 새롭게 관찰된 오류에 대한 새로운 복구 가이던스를 생성합니다. 각 라운드마다 고정된 교사는 특권 문맥(privileged context)으로 가이던스를 받아 최신 실패 응답 중 오류와 일치하는 영역에 대해 학생을 지도합니다. 결과 인식 단계별 가중치(Outcome-aware stage weighting)는 초기 복구 단계를 선호하며, 즉각적인 재시도가 검증을 통과한 단계에 가중치를 부여합니다. DAPO-Math-17K 데이터셋으로 AIR-OPD를 학습하고 AIME24, AIME25, HMMT25 및 분포 외(out-of-distribution) 테스트인 MMLU-Pro와 GPQA에서 평가를 진행합니다. 현재 학생 정책의 자체 가이던스와 더 큰 모델(model)의 외부 가이던스라는 두 가지 가이던스 소스를 검토합니다. Qwen3-4B와 Qwen3-8B 모두에서 AIR-OPD는 가장 높은 수학적 추론 평균을 달성하여 가장 강력한 기준선(baseline) 대비 최대 3.6점을 개선하는 동시에, 분포 외 벤치마크에서 기본 모델의 성능을 유지합니다.
교사 토큰을 필요한 곳에 집중하기: 성공 참조 온-정책 지식 증류
Spend Teacher Tokens Where They Matter: Success-Referenced On-Policy Distillation
온-정책(on-policy) 지식 증류(OPD)는 학생이 생성한 롤아웃(rollout)과 교사의 조밀한 토큰 수준 감독을 결합하지만, 모든 롤아웃에 이러한 감독을 제공하려면 상당한 교사 연산량이 요구됩니다. 본 연구에서는 교사의 감독을 받을 프롬프트(prompt)와 롤아웃을 선별함으로써 이러한 비용을 줄이는 성공 참조 온-정책 지식 증류(SR-OPD)를 소개합니다. 동일한 프롬프트에 대해 학생이 성공한 롤아웃과 실패한 롤아웃을 모두 생성할 때, 성공한 롤아웃은 실패한 롤아웃을 선별하는 자연스러운 기준점이 될 수 있습니다. 따라서 SR-OPD는 이러한 프롬프트에 집중하며, 추정된 교사 입력 비용을 고려하는 동시에 성공적인 참조로부터 은닉 상태 궤적(hidden-state trajectory)의 지속적인 발산(divergence)을 보이는 실패 롤아웃을 우선적으로 선택합니다. 3가지 교사-학생 쌍과 6가지 수학적 추론 벤치마크에 걸쳐, SR-OPD는 원-패스(one-pass) 설정에서 바닐라 OPD(Vanilla OPD)가 필요로 하는 교사 입력 토큰의 3.46~5.02%만을 사용하면서도 대등한 추론 성능을 유지합니다. 바닐라 OPD의 교사 입력 예산 5%에 맞춘 통제된 설정에서의 추가 실험은 성공과 실패 롤아웃을 모두 포함하는 프롬프트에 감독을 집중시키는 것과 성공한 롤아웃을 활용해 실패 선별을 유도하는 것 모두의 핵심 설계 선택을 뒷받침합니다. 이러한 결과는 고정된 교사 입력 예산 하에서 교사의 감독을 할당할 때 학생 자신의 성공적인 행동이 유용한 기준점이 될 수 있음을 보여줍니다.
LEGO-OPD: 다중모달 온-정책 증류를 위한 요인화된 교사 모델 결합
LEGO-OPD: Factorized Teacher Composition for Multimodal On-Policy Distillation
다중모달 온-정책 증류(Multimodal On-Policy Distillation, OPD)는 언어 모델의 강력한 추론 능력을 보존하면서 시각적 그라운딩(visual grounding)을 향상시키는 것을 목표로 합니다. 최근의 다중 교사(multi-teacher) 접근 방식은 대규모 언어 모델(LLM)과 비전-언어 모델(VLM) 교사를 결합하여 상호 보완적인 지도 신호를 제공합니다. 그러나 VLM의 전체 예측 분포를 직접 사용하면 시각적 그라운딩 신호가 VLM 자체의 언어 사전 분포와 뒤얽혀, 그라운딩 정보가 독립적으로 전이되지 못하게 됩니다. 반대로 시각적 지도 신호의 강도를 높이면 인지 성능은 향상될 수 있으나, 시각적 증거를 과도하게 강조하여 언어 추론 성능을 저하시킬 수 있습니다. 이러한 트레이드오프를 해결하기 위해, 본 연구에서는 언어 전문가(Language Expert)와 그라운딩 전문가(Grounding expert)의 요인들을 하나의 교사 분포로 선택 결합하는 다중모달 OPD 방법인 LEGO-OPD를 제안합니다. 일반화된 베이시안(Bayesian) 정식화 아래에서, 언어 전문가는 후보 토큰에 대한 사전 분포(prior)를 제공하고, 그라운딩 전문가는 전체 예측 분포를 전이하는 대신 이 사전 분포를 업데이트하는 시각적 가능도(likelihood)를 제공합니다. 이러한 요인화된 결합을 통해 언어 추론과 시각적 그라운딩을 독립적으로 제어할 수 있습니다. 나아가 각 디코딩 접두 문맥(prefix)에서 시각적 가능도가 언어 사전 분포를 얼마나 강하게 업데이트해야 하는지 결정하는 적응형 보정(adaptive calibration)을 도입합니다. 구체적으로 LEGO-OPD는 그라운딩 전문가의 이미지 유도 예측 변화(prediction shift)를 접두 문맥 의존적인 기준점으로 활용하여, 시각적 지도의 부족과 과도함을 모두 방지합니다. Qwen3 모델을 사용한 실험 결과, LEGO-OPD는 다중모달 및 텍스트 전용 추론 태스크 모두에서 평가된 단일 및 다중 교사 OPD 베이스라인보다 일관되게 우수한 성능을 보였습니다. 또한 초기 학생(student) 모델의 텍스트 전용 추론 능력을 보존하면서 시각적 인지 능력을 향상시킵니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.