PowerOPD: 유계 거듭제곱 변환을 통한 온-정책 증류의 안정화
PowerOPD: Stabilizing On-Policy Distillation with Bounded Power Transformation
대규모 언어 모델(LLM)을 위한 표준 온-정책 증류(OPD)는 학생 모델이 샘플링한 토큰을 사용하여 역-KL(reverse-KL) 목적함수를 추정하며, 이는 전체 어휘에 대한 계산을 피하는 불편한 단일 샘플 몬테카를로 추정기를 제공합니다. 그러나 우리는 이 추정기가 실제로 심각한 학습(training) 병리 현상을 겪는다는 것을 보여줍니다: 샘플 비효율성, 불안정한 생성 동역학, 그리고 정확한 전체 어휘 OPD에 비해 상당한 성능 격차가 발생합니다. 보상(reward) 수준 진단은 이러한 병리 현상을 로그 비율(log-ratio) 보상으로 추적합니다. 이는 구조적으로 유계가 없어 초기 위치에 집중되고 학습(training) 내내 지속되는 매우 높은 분산의 그래디언트(gradient)를 생성합니다. 표준 사후(post-hoc) 스케일링은 왜곡이 발생한 후에만 작동하므로 실패합니다. 이 문제를 해결하기 위해 우리는 PowerOPD를 제안합니다: 이는 alpha > 0로 매개변수화된 Box-Cox 거듭제곱 변환에서 파생된 본질적으로 유계가 있고 부호 일관적인 보상(reward) 계열이며, 여기서 로그 비율은 퇴화적인 alpha -> 0 극한입니다. 6개의 수학적 추론 벤치마크와 4개의 Qwen3 교사-학생 쌍에 걸쳐, PowerOPD는 바닐라 OPD 대비 최대 +6.37/+5.71의 벤치마크 평균 Avg@8/Pass@8 향상을 달성했으며, 사후 안정화 대비 +3.01/+3.54, 전체 어휘 OPD 대비 +2.59/+8.90의 향상을 달성하는 동시에 실제 경과 시간(wall-clock time)을 59.2%, 최대 GPU 메모리를 23.1% 감소시켰습니다. 더 큰 alpha는 일반적으로 정확도를 향상시키고, 응답을 일관되게 단축시키며, 그래디언트(gradient) 노름을 바닐라 OPD보다 3,000배 이상 작게 유지합니다.