arXiv:2605.08738 cs.LG

SlimQwen: Exploring the Pruning and Distillation in Large MoE Model Pre-training

제출 2026-05-09

한국어 초록

구조적 가지치기와 지식 증류(KD)는 대규모 언어 모델을 압축하는 대표적인 기법이지만, 특히 최근의 전문가 혼합(MoE) 모델에 대해 이를 사전학습 규모에서 어떻게 적용해야 하는지는 여전히 명확하지 않습니다. 본 연구에서는 대규모 사전학습에서의 MoE 압축을 체계적으로 연구하며, 세 가지 핵심 질문에 초점을 맞춥니다. 즉, 가지치기가 처음부터 학습하는 것보다 더 나은 초기화를 제공하는지, 전문가 압축 방식의 선택이 이후 지속 학습 후 최종 모델에 어떤 영향을 미치는지, 그리고 어떤 학습 전략이 가장 효과적인지입니다. 우리의 발견은 다음과 같습니다. 첫째, 깊이, 너비, 전문가 압축 전반에 걸쳐, 사전학습된 MoE를 가지치기하는 방식은 동일한 학습 예산 하에서 목표 아키텍처를 처음부터 학습하는 것보다 일관되게 더 우수합니다. 둘째, 서로 다른 원샷 전문가 압축 방법들은 대규모 지속 사전학습 이후 유사한 최종 성능에 수렴합니다. 이를 바탕으로, 우리는 대부분의 벤치마크에서 다운스트림 성능을 개선하는 간단한 부분 보존 전문가 병합 전략을 제안합니다. 셋째, 지식 증류를 언어 모델링 손실과 결합하면 지식 집약적 작업에서 특히 지식 증류 단독보다 더 좋은 성능을 보입니다. 또한 우리는 여러 토큰 예측(MTP) 증류를 제안하며, 이는 일관된 성능 향상을 가져옵니다. 마지막으로, 동일한 학습 토큰 수를 기준으로 할 때 점진적 가지치기 스케줄은 원샷 압축보다 더 우수하며, 이는 아키텍처를 점진적으로 전환하는 방식이 더 나은 최적화 궤적을 만든다는 점을 시사합니다. 이 모든 결과를 종합하여, 우리는 Qwen3-Next-80A3B를 경쟁력 있는 성능을 유지하는 23A2B 모델로 압축합니다. 이러한 결과는 대규모 MoE 압축을 효율적으로 수행하기 위한 실용적인 지침을 제공합니다.

요약

대규모 혼합 전문가(mixture-of-experts, MoE) 언어모델을 효율적으로 압축하기 위해 구조적 가지치기(structured pruning)와 지식 증류(knowledge distillation, KD)를 프리트레이닝 규모에서 어떻게 적용해야 하는지를 체계적으로 탐구한 연구이다. 최근 MoE 모델은 높은 성능을 보이지만, 학습과 배포 비용이 매우 크기 때문에 이를 더 작은 모델로 전환하는 과정에서 어떤 압축 전략이 최적의 초기화와 학습 경로를 제공하는지가 중요한 문제로 떠오르고 있다. 저자들은 먼저 프리트레이닝된 MoE를 가지치기한 뒤 계속 학습하는 방식이, 동일한 학습 예산에서 목표 아키텍처를 처음부터 학습하는 방식보다 일관되게 우수한지 검증한다. 그 결과 깊이, 너비, 전문가 수를 줄이는 다양한 압축 설정에서 사전학습 모델을 기반으로 한 가지치기가 더 나은 출발점을 제공하며, 대규모 연속 학습을 거칠수록 이러한 이점이 더욱 분명해진다는 점을 보인다. 또한 전문가를 줄이는 여러 일회성(one-shot) 압축 방법이 최종적으로는 비슷한 수준에 수렴한다는 관찰을 바탕으로, 일부 전문가의 표현을 보존하면서 나머지를 병합하는 단순한 부분 보존(partial-preservation) 전문가 병합 전략을 제안하고, 이를 통해 다양한 다운스트림 벤치마크에서 성능 향상을 확인한다. 지식 증류 측면에서는 언어 모델링(language modeling) 손실을 함께 사용하는 것이 지식 증류 단독보다 더 효과적이며, 특히 지식 집약적 과제에서 그 차이가 두드러진다는 점을 밝힌다. 여기에 더해 다중 토큰 예측(multi-token prediction, MTP) 기반의 증류를 도입하여, 압축 이후에도 일관된 성능 이득을 얻을 수 있음을 입증한다. 학습 전략에 대한 분석에서는 동일한 토큰 수를 사용할 때 한 번에 구조를 바꾸는 방식보다 점진적으로 가지치기를 진행하는 점진적 압축(progressive pruning) 스케줄이 더 우수한 최적화 궤적을 제공한다는 사실을 보여준다. 이는 MoE 압축에서 단순히 최종 아키텍처의 크기만 줄이는 것이 아니라, 구조 전이의 속도와 학습 신호의 유지 방식이 성능에 결정적이라는 점을 시사한다. 이러한 결과를 종합하면, 압축 초기화, 전문가 병합, 증류 목표, 점진적 스케줄이라는 네 요소가 상호작용하며 효율적인 대규모 MoE 압축을 좌우한다는 사실을 정리할 수 있다. 최종적으로 저자들은 Qwen3-Next-80A3B를 23A2B 모델로 압축하면서도 경쟁력 있는 성능을 유지함으로써, 실용적 배포가 가능한 압축 경로를 제시한다. 따라서 SlimQwen은 대규모 MoE 사전학습 모델을 더 작고 효율적인 형태로 전환하기 위한 방법론적 기준을 제공하며, 향후 초대형 언어모델 경량화 연구에 중요한 방향성을 제시한다.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.