교차 토크나이저 온-정책 증류 재고찰: 정렬 커버리지에서 감독 신뢰성으로
Rethinking Cross-Tokenizer On-Policy Distillation: From Alignment Coverage to Supervision Reliability
한국어 초록
온-정책 증류(On-Policy Distillation, OPD)는 교사 모델의 피드백을 활용하여 학생 모델이 자신의 생성 결과로부터 학습하도록 한다. 토크나이저가 서로 다른 경우, 교사와 학생의 예측을 비교하려면 시퀀스 수준과 어휘(vocabulary) 수준 모두에서 정렬이 필요하다. 본 논문에서는 이러한 정렬 커버리지를 확장하는 것이 학습(training)을 개선하는지 검토한다. 수학적 추론과 코드 생성 과제에 대한 세 가지 이질적인 교사-학생 모델 쌍에서, 엄격한 1:1 그룹은 상당한 어휘 불일치에도 불구하고 이미 학생이 생성한 토큰의 대부분을 커버한다. 증류 이전에 학생 모델로부터 샘플링한 응답에서, 공유 어휘(shared vocabulary)는 평균적으로 엄격하게 정렬된 위치에서 교사와 학생의 확률 질량(probability mass)을 거의 전부 보존한다. 각 엄격한 위치에서 역방향 KL(reverse KL)을 학생이 선택한 공유 어휘의 상위 16개 부분집합으로 제한하면 전체 공유 어휘를 사용한 OPD와 비슷한 정확도를 달성하며, 평가된 교차 토크나이저 베이스라인들을 능가한다. 불일치 그룹의 스팬(span) 로그 확률에 평균제곱오차(MSE) 감독을 추가하면 완전한 감독 커버리지를 얻을 수 있지만, 오히려 정확도는 감소한다. 엄격한 손실(loss)만으로 학습한 체크포인트에서, 스팬 그래디언트는 엄격한 그래디언트와 약하거나 음의 방향 일치도를 보이며, 그 크기는 엄격한 그래디언트에 비해 점점 커진다. 이러한 진단 결과는 스팬 감독을 추가함으로써 발생하는 정확도 저하를 설명하는 데 도움이 될 수 있다. 본 연구의 결과는 정렬 커버리지를 최대화하는 접근에서 감독 신뢰성을 우선시하는 접근으로의 전환을 시사한다: 엄격한 위치에서의 압축된 감독이, 약하게 정렬되거나 상충하는 학습 신호를 유발하는 더 넓은 커버리지보다 더 효과적일 수 있다.
원문 초록
On-Policy Distillation (OPD) trains a student on its own generations using teacher feedback. With different tokenizers, comparing teacher and student predictions requires alignment at both sequence and vocabulary levels. In this paper, we examine whether expanding this alignment coverage improves learning. Across three heterogeneous teacher--student pairs on mathematical reasoning and code generation, strict 1:1 groups already cover most student-generated tokens despite substantial vocabulary mismatch. On responses sampled from the students before distillation, the shared vocabulary retains nearly all teacher and student probability mass at strictly aligned positions on average. Restricting reverse KL to a student-selected top-16 subset of the shared vocabulary at each strict position achieves accuracy comparable to full shared-vocabulary OPD, outperforming the evaluated cross-tokenizer baselines. Adding mean squared error supervision on span log-probabilities in mismatch groups gives complete supervision coverage, yet reduces accuracy. At checkpoints from training with only the strict loss, the span gradients show weak or negative directional agreement with the strict gradients and grow in magnitude relative to them. These diagnostics may help explain the accuracy drop from adding span supervision. Our findings motivate a shift from maximizing alignment coverage to prioritizing supervision reliability: compact supervision at strict positions can be more effective than broader coverage that introduces weakly aligned or conflicting training signals.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.