SEAD: 엔트로피 기반 감독을 통한 역량 인식 온-정책 지식 증류
SEAD: Competence-Aware On-Policy Distillation via Entropy-Guided Supervision
온-정책 증류(OPD)는 오프라인 증류 및 강화학습(RL)에 없는 특성을 지닌다. 즉, 교사 감독의 품질이 학생의 역량에 따라 달라진다. 비일관적인 롤아웃은 잡음이 많은 그래디언트를 생성하고, 이미 숙달된 토큰은 중복된 그래디언트를 유발한다. 이로 인해 세 가지 규모(토큰, 학습 단계, 프롬프트)에서 낭비가 발생하지만, 기존 방법들은 균일하게 감독한다. 우리는 이 역량 의존적 품질 저하를 세 가지 규모에서 통합 탐침으로 엔트로피를 활용하는 SEAD를 제안한다: (1) 교사-학생 결합 엔트로피가 토큰을 맞춤형 발산을 적용하거나 제로 그래디언트(약 50% 건너뜀)를 부여하는 구역으로 분할하고, (2) 코사인 스케줄이 역량 성장에 따라 순방향 KL에서 역방향 KL로 어닐링하며, (3) 역량 게이팅 커리큘럼이 쉬운 것부터 어려운 순으로 프롬프트를 도입한다. 이 구성 요소들은 상호 의존적으로 필요하다. 토큰 선택은 일관된 롤아웃(커리큘럼)을 필요로 하고, 어닐링은 단조로운 향상(마찬가지로 커리큘럼)을 필요로 한다. OLMo-3(7B에서 32B)에서 SEAD는 여섯 개의 수학 벤치마크에서 일반 OPD 대비 평균 +4.8의 정확도 향상을 달성했으며, 소거 실험을 통해 초가산적 상호작용이 확인되었다.