PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.08782v1cs.LG

Director: Accelerating Distributed MoE Serving via Online Proactive Expert Placement

전문가 병렬성(expert parallelism)은 전문가 혼합(MoE) 모델을 서빙하는 지배적인 패러다임으로 자리잡았다. 그 효율성은 GPU의 통신 및 연산 지연 시간에 의존하며, 이는 GPU 내 전문가 배치와 연결된다. 기존의 전문가 배치 최적화 연구들은 과거 요청의 전문가 활성화 패턴을 활용하는 데 초점을 맞추었다. 그러나 이러한 방법들은 다양하고 빠르게 변화하는 요청 패턴에 직면했을 때 한계를 드러내며, 온라인 선제적 접근 방식의 필요성을 제기한다. 이러한 접근 방식을 구현하기 위해서는 여러 과제를 해결해야 한다: 들어오는 요청의 전문가 활성화에 수반되는 불확실성, 전문가 마이그레이션 비용, 그리고 최적화의 NP-난해 복잡도가 그것이다. 이에 우리는 Director를 제시한다. Director는 예측 기반의 온라인 전문가 배치를 통해 종단간 지연 시간을 최소화하는 새로운 분산 MoE 서빙 시스템이다. Director는 들어오는 요청의 전문가 활성화 패턴을 위해 경량 캐스케이드 예측기 또는 저비트 양자화 복제본 중 하나를 활용한다. 이후 온라인 마이그레이션 모듈이 연산 집중 구간에서 마이그레이션을 실행하여 거의 제로에 가까운 다운타임으로 변경 사항을 적용하며, 중단을 최소화한다. 핵심부에는 완화(relaxation) 기반 전문가 배치 옵티마이저가 있으며, 이는 용량 제약 조건하에서 동작하고, 다항 시간 내에 실행되며, $(1+ε)$ 근사 비율을 달성한다. 마지막으로, 프로토타입을 구현하고 광범위한 실험을 통해 Mistral, DeepSeek, Qwen 등 인기 MoE 모델에서 기존 연구 대비 종단간 지연 시간을 $11\sim55\%$ 감소시킴을 입증한다.