Cornerstones or Stumbling Blocks? Deciphering the Rock Tokens in On-Policy Distillation
On-Policy Distillation(OPD) 과정에서 학습이 수렴한 이후에도 지속적으로 높은 손실을 보이는 "Rock Token"이 출력 토큰의 최대 18%를 차지하며 그라디언트를 독점하지만, 인과적 개입 실험을 통해 이 토큰들이 실제 추론 성능에는 거의 기여하지 않는다는 역설이 밝혀졌다. 이를 바탕으로 Rock Token의 그라디언트를 선택적으로 제거하는 window-aware 토큰 재가중 기법을 제안하여 균일한 토큰 가중치 방식의 비효율성을 해소하고 대규모 지식 증류(distillation) 파이프라인을 효율화할 수 있음을 보인다.