WDL-OPD: 혼합 제약 기반 공동 학습을 통한 약자 주도 온-정책 증류
WDL-OPD: Weak-Driven On-Policy Distillation via Mixture-Constrained Co-Training
한국어 초록
온-정책(on-policy) 증류(OPD)는 학생 모델 자체에서 샘플링된 궤적(trajectory) 상에서 학생을 교사 모델과 정렬함으로써 오프라인 증류의 학습-테스트 상태 불일치를 줄입니다. 그럼에도 불구하고 동일한 피드백 루프로 인해 불안정성이 발생할 수 있습니다. 즉, 매 업데이트마다 정책과 다음 업데이트가 계산되는 상태가 모두 변경됩니다. 본 논문에서는 두 개의 학습 가능한 정책을 사용하는 혼합 제약 기반 공동 학습(co-training) 방법인 WDL-OPD를 소개합니다. 앵커(anchor) 정책은 모든 롤아웃(rollout)을 생성하고, 보조(auxiliary) 정책은 동일하게 방문된 상태를 평가하며, 이들의 토큰(token) 분포에 대한 기하학적 혼합은 역방향 KL(reverse KL)을 통해 동결된 교사 모델과 매칭됩니다. 두 정책 모두 그래디언트(gradient)를 받습니다. 보조 정책을 동결(freezing)하면 OPD$^2$ 및 W2S-OPD와 밀접하게 관련된 앵커-플러스-대조 대리 목표를 회복하는 반면, 결합 학습은 정적 델타로는 표현할 수 없는 브랜치 수준의 자유도를 생성함을 보입니다. 1.7B 및 4B 규모에서 기록된 Qwen3 실험에서 WDL-OPD는 4개의 규모-도메인 설정 각각에서 가장 강력한 학생 체크포인트(checkpoint)를 생성합니다. 4B에서 MATH500 정확도를 0.630에서 0.685로, 1.7B에서는 0.521에서 0.585로 향상시킵니다. 코드 생성에서 7개의 단일 정책 OPD 구성은 엔트로피 증가 또는 궤적 저하를 보이는 반면, 공동 학습은 독립적으로 재평가된 개발 점수 0.637 및 0.375에 도달합니다. 여러 비교 항목이 커리큘럼이나 초기화(initialization)에서 차이를 보이므로, 이러한 결과는 보편적인 인과적 주장보다는 안정화 가설을 뒷받침합니다. 우리는 해당 가설을 검증하는 데 필요한 정확한 학습(training) 알고리즘, 실패 증거 및 통제된 비교 매트릭스를 제공합니다.
원문 초록
On-policy distillation (OPD) aligns a student with a teacher on trajectories sampled from the student itself, reducing the train-test state mismatch of offline distillation. The same feedback loop can nevertheless be unstable: each update changes both the policy and the states on which the next update is computed. We introduce WDL-OPD, a mixture-constrained co-training method with two trainable policies. An anchor policy generates every rollout, an auxiliary policy evaluates the same visited states, and a geometric mixture of their token distributions is matched to a frozen teacher by reverse KL. Both policies receive gradient. We show that freezing the auxiliary recovers an anchor-plus-contrast proxy target closely related to OPD$^2$ and W2S-OPD, whereas joint training creates branch-level degrees of freedom that a static delta cannot express. In recorded Qwen3 experiments at 1.7B and 4B scale, WDL-OPD produces the strongest student checkpoint in each of four scale-domain settings. It raises MATH500 accuracy from 0.630 to 0.685 at 4B and from 0.521 to 0.585 at 1.7B. In code generation, seven single-policy OPD configurations exhibit entropy growth or trajectory degradation, while co-training reaches independently re-evaluated development scores of 0.637 and 0.375. Because several comparisons differ in curriculum or initialization, these results support a stabilization hypothesis rather than a universal causal claim. We provide the exact training algorithm, failure evidence, and the controlled comparison matrix needed to test that hypothesis.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.09447v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.