HPC 시스템에서 확장 가능한 지식 증류를 위한 교사-학생 분할 최적화
Optimizing Teacher-Student Partitioning for Scalable Knowledge Distillation on HPC Systems
지식 증류(KD)는 더 큰 교사 모델의 지도 하에 더 작은 학생 모델을 학습할 수 있게 하며, 널리 사용되는 TRL 라이브러리가 이를 구현한다. 그러나 TRL은 두 모델을 대칭적으로 취급하여, 메모리 사용량과 통신 요구사항에서의 뚜렷한 비대칭성을 활용할 기회를 놓친다. 본 논문은 교사와 학생의 분할을 효율적으로 분리하는 HPC 인식 지식 증류 방법론을 제안한다. 본 접근법은 불필요한 교사 모델 데이터 구조를 제거하고 최적의 분할 전략을 선택함으로써 TRL 대비 초당 처리 샘플 수를 최대 67% 높였다. 모델의 수직 및 수평 분할을 결합하고, 분할 방식 간 변곡점의 존재를 식별하는 분석적 표현식을 도출한다. 이러한 결과는 토폴로지 인식 병렬화를 통해 교사-학생 비대칭성을 활용하는 것이 당사의 프로덕션 HPC 클러스터에서 GKD 학습을 눈에 띄게 가속한다는 것을 보여주었다.