arXiv:2609.23697v1 cs.CL

신뢰하는 것을 증류하라: 신뢰도 인식 다중 교사 온-정책 증류

Distill What You Trust: Reliability-Aware Multi-Teacher On-Policy Distillation

Jie Sun, Mao Zheng, Mingyang Song, Zeyuan Liu, Gengsheng Li, Houcheng Jiang, Yilin Cheng, Bichuan Feng, Yuchen Cai, Junfeng Fang, Xiang Wang

제출 2026-09-22

한국어 초록

다중 교사 온-정책(on-policy) 증류(distillation)는 학생 모델이 자체 궤적(trajectory) 상에서 상호보완적인 전문가 모델들로부터 학습(training)할 수 있도록 합니다. 그러나 도메인 라우팅 방식은 예시당 하나의 교사를 선택하고 응답 전체에 걸쳐 이를 고정합니다. 이러한 설계는 혼합 학습 말뭉치에 종종 결여되어 있는 레이블에 의존할 뿐만 아니라, 궤적 내에서 필요한 전문성이 변할 때 교사 선택을 적응적으로 조정하지 못합니다. 본 논문에서는 예시 수준의 교사 선택을 레이블이 필요 없는 토큰(token) 수준의 지도 할당으로 대체하는 \textbf{TrustMOPD}를 제안합니다. 학생 모델이 생성한 각 접두 문맥(prefix)에서, TrustMOPD는 공유된 사전 강화학습(pre-RL) 참조 모델 대비 각 전문가의 강화학습 유도 변위를 국소 신뢰도의 대리 지표로 사용하고, 교사 간에 이 점수들을 보정하여 가중 증류 목표를 구성합니다. 수학, 코드 및 인스트럭션 따르기 전반에 걸쳐 TrustMOPD는 가장 강력한 무라벨 기준선(baseline)을 능가하여, \textsc{SingleCap}에서는 복구율을 $54.4\%$에서 $91.5\%$로, \textsc{MultiCap}에서는 $54.5\%$에서 $98.0\%$로 높이는 동시에 \textsc{SingleCap}에서 레이블 기반 MOPD에 근접합니다. 학생 모델이 생성한 접두 문맥과 무관하게 토큰 수준 가중치를 무작위화하는 것은 균일 가중 방식보다 나을 바가 없었으며, 이는 점진적으로 전개되는 생성 문맥에 따라 지도를 조건화하는 것의 중요성을 뒷받침합니다.

원문 초록

Multi-teacher on-policy distillation allows a student to learn from complementary specialists on its own trajectories. Domain-routed approaches, however, select one teacher per example and keep it fixed throughout the response. This design both depends on labels that mixed training corpora often lack and cannot adapt teacher selection when the expertise required changes within a trajectory. We propose \textbf{TrustMOPD}, which replaces example-level teacher selection with label-free, token-level supervision allocation. At each student-generated prefix, TrustMOPD uses each specialist's RL-induced displacement from a shared pre-RL reference as a proxy for local reliability, calibrates these scores across teachers, and constructs a weighted distillation target. Across mathematics, code, and instruction following, TrustMOPD outperforms the strongest label-free baseline, increasing the recovery ratio from $54.4\%$ to $91.5\%$ on \textsc{SingleCap} and from $54.5\%$ to $98.0\%$ on \textsc{MultiCap}, while approaching label-based MOPD on \textsc{SingleCap}. Randomizing token-level weights independently of the student-generated prefix performs no better than uniform weighting, supporting the importance of conditioning supervision on the evolving generation context.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.23697v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.