역량 보존을 위한 느림-빠름 다중 교사 온-정책 증류
Slow-Fast Multi-Teacher On-Policy Distillation for Capability Preservation
파운데이션 멀티모달 대규모 언어 모델(MLLM)은 다양한 도메인에 걸쳐 광범위한 역량을 지원하도록 설계되었습니다. 다중 교사 온-정책 증류(Multi-teacher On-Policy Distillation, MOPD)는 도메인 특화 전문성을 단일 학생 모델로 통합하는 효과적인 프레임워크를 제공합니다. 그러나 MOPD 학습은 학생 모델을 점차 초기화 모델로부터 멀어지게 만들며, 이러한 변위가 커짐에 따라 일반 역량이 저하되어 역량 간섭(capability interference)이 발생합니다. 이에 대한 직접적인 해결책은 학생 모델이 초기화 상태에 머물도록 제약을 가하는 것이지만, 이는 도메인 전문성 획득 역시 억제합니다. 본 논문에서는 각 교사에 의해 직접 업데이트되는 현재 학생 모델인 빠른(fast) 모델과, 학생 모델의 지수 이동 평균(EMA)인 느린(slow) 모델을 결합한 느림-빠름 다중 교사 온-정책 증류(Slow-Fast Multi-Teacher On-Policy Distillation, SF-MOPD)를 제안합니다. 느린 모델은 학습 신호를 점진적으로 흡수하여 일반 파운데이션 역량과 검증된 도메인 전문성을 융합하는 이동 역량 기준점(moving capability reference) 역할을 수행합니다. 각 교사에 대해 SF-MOPD는 로그 확률 공간에서 교사가 유도한 업데이트를 계산하고, 정렬된 성분과 직교 성분은 유지하면서 빠른 모델을 느린 모델로부터 더 멀어지게 만드는 성분만을 제거합니다. 다양한 모델 규모에 걸친 실험을 통해 SF-MOPD가 역량 간섭을 효과적으로 완화하고 특화된 멀티모달 역량을 향상하며 일반 역량 벤치마크에서의 평균 성능 저하를 줄여 바닐라 MOPD를 지속적으로 능가함을 입증합니다.