arXiv:2503.06823

eMoE: Task-aware Memory Efficient Mixture-of-Experts-Based (MoE) Model Inference

Suraiya Tairin, Shohaib Mahmud, Haiying Shen, Anand Iyer

제출 2025-03-10

원문 초록

In recent years, Mixture-of-Experts (MoE) has emerged as an effective approach for enhancing the capacity of deep neural network (DNN) with sub-linear computational costs. However, storing all experts on GPUs incurs significant memory overhead, increasing the monetary cost of MoE-based inference. To address this, we propose eMoE, a memory efficient inference system for MoE-based large language models (LLMs) by leveraging our observations from experiment measurements. eMoE reduces memory usage by predicting and loading only the required experts based on recurrent patterns in expert routing. To reduce loading latency while maintaining accuracy, as we found using the same experts for subsequent prompts has minimal impact on perplexity, eMoE invokes the expert predictor every few prompts rather than for each prompt. In addition, it skips predictions for tasks less sensitive to routing accuracy. Finally, it has task-aware scheduling to minimize inference latency by considering Service Level Objectives (SLOs), task-specific output lengths, and expert loading latencies. Experimental results show that compared to existing systems, eMoE reduces memory consumption by up to 80% while maintaining accuracy and reduces inference latency by up to 17%. It also enables processing prompts 40x longer, batches 4.5x larger, and achieves 1.5x higher throughput.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.19539v1cs.DC공통 태그 Mixture-of-Experts, Scheduling

타일 수준 신호 및 스케줄링을 통한 전문가 혼합(MoE)의 세밀한 계산-통신 중첩

Fine-grained Computation-Communication Overlap via Tile-level Signaling and Scheduling for Mixture-of-Experts

전문가 혼합(MoE) 아키텍처는 계산 비용을 비례적으로 늘리지 않으면서 모델 용량을 키우며, 대규모 언어 모델(LLM)을 수조 매개변수 규모로 스케일링하는 핵심 구성 요소가 되었다. 이러한 MoE 모델의 효율적인 배포는 다중 GPU에 걸친 분산 실행에 의존하며, 각 MoE 층은 두 번의 all-to-all 통신을 수반한다: 토큰을 전문가 랭크로 디스패치하고 전문가 출력을 소스 랭크로 되돌리는 것이다. 기존 MoE 구현은 전문가 계산이 완료된 뒤 이 반환 all-to-all을 시작하여, 통신 지연을 크리티컬 패스에 노출시키고 GPU 활용률을 낮춘다. 우리는 타일 수준 신호 및 스케줄링을 통해 전문가 계산과 두 번째 all-to-all을 중첩하는 세밀한 접근법을 제시한다. 우리의 생산자-소비자 공동 설계는 다음을 결합한다: (1) 반복적인 커널 실행 오버헤드를 제거하고 원격-중요 타일을 우선 처리하는, 랭크 내 모든 로컬 전문가를 포괄하는 지속적인 per-rank 계산 커널(생산자), 및 (2) 타일이 준비되는 대로 세그먼트 단위 전송을 발행하는 스트리밍 멀티프로세서(SM)의 소규모 전용 파티션 상의 지속적인 통신 커널(소비자). 우리의 공동 설계는 기본 계산 연산자나 통신 원시 연산에 대한 침습적 변경을 피하여, 다중 GPU 시스템에서 분산 MoE 실행 효율을 개선하는 데 실용적이다. 4-A100 GPU 플랫폼에서 세 가지 MoE 모델에 대해 네 가지 최첨단 MoE 시스템과 비교 평가한 결과, 우리 접근법은 최대 2.64배 end-to-end 속도 향상과 2.74배 MoE-층 속도 향상을 달성한다. 기존의 비중첩 기준선과 비교하여, 우리 접근법은 다양한 GEMM 형태, 라우터 모드, 그리고 넓은 범위의 생산자/소비자 SM 파티션에 걸쳐 연산자 및 MoE-층 수준 성능을 일관되게 개선하면서 정확성을 보존한다.

arXiv:2607.10183v1cs.DC공통 태그 Mixture-of-Experts, Scheduling

소비자 기기에서의 하이브리드 CPU-GPU 대규모 언어 모델 추론을 위한 자동화 텐서 스케줄링

Automated Tensor Scheduling for Hybrid CPU-GPU LLM Inference on Consumer Devices

노트북이나 데스크톱과 같은 소비자 기기에서 대규모 언어 모델(LLM)을 실행하는 것은 모델 가중치가 GPU 메모리 용량을 초과하는 경우가 많아 CPU 메모리로 유효 모델 용량을 확장하기 위한 오프로딩 추론이 필요하다는 점에서 어려움이 있다. 그러나 기존 오프로딩 시스템은 대개 거친 층 수준 또는 전문가 수준의 스케줄링에 의존하여, 같은 층 내 텐서 간의 상당한 이질성을 간과하고 해당 기기의 변화하는 하드웨어 부하 조건에 적응하지 못한다. 본 논문은 텐서 세분성 수준에서 오프로딩을 수행하는 소비자 기기용 하이브리드 CPU-GPU 추론 시스템인 ATSInfer를 제안한다. ATSInfer는 정적 텐서 배치와 부하 인식 동적 전송을 결합하고, 비동기 CPU-GPU 협조 방식을 도입하여 이기종 백엔드 전반에 걸쳐 하드웨어 스토리지, 데이터 이동, 연산을 효율적으로 스케줄링한다. 우리는 ATSInfer를 구현하고 밀집 모델과 전문가 혼합(MoE) 모델 모두를 사용하여 대표적인 소비자 플랫폼에서 평가하였다. 기존 시스템 대비 ATSInfer는 프리필(prefill) 처리량을 최대 1.94배, 디코드(decode) 처리량을 최대 3.29배 향상시키는 동시에 GPU 활용률을 높이고 PCIe 대역폭을 더욱 효과적으로 사용한다. 이러한 결과는 ATSInfer가 개인 소비자 기기에서의 로컬 LLM 배포 사용자 경험을 크게 개선할 수 있음을 보여준다.

arXiv:2607.11586v1cs.AI공통 태그 Mixture-of-Experts, Scheduling

HCRMap: 3.5D MoE 칩렛 추론을 위한 압력 인식 핫 전문가 레지던시 매핑

HCRMap: Pressure-Aware Hot-Expert Residency Mapping for 3.5D MoE Chiplet Inference

전문가 혼합(MoE) 대규모 언어 모델(LLM)은 추론 시 소수의 전문가만 활성화하지만, 토큰 라우팅은 지속적인 전문가 핫니스 편향을 야기한다. 즉, 소수의 핫 전문가가 대부분의 토큰을 지속적으로 수신하는 반면 나머지 전문가는 경부하 상태에 놓인다. 3.5D 멀티칩렛 시스템에서 이 편향은 연산 불균형을 초래할 뿐만 아니라 통신, 메모리 대역폭, I/O, 실행 큐에 대한 압력을 증폭시킨다. 따라서 핵심 문제는 단순히 토큰 이동을 줄이는 것이 아니라, 서로 다른 메모리 계층에 걸쳐 핫 전문가 복제본을 동적으로 배치하고 재사용하는 것이다. 본 논문은 3.5D MoE 추론에서 압력 인식 전문가 복제본 관리를 위한 핫 전문가 레지던시 매핑 프레임워크인 HCRMap을 제안한다. HCRMap은 전문가 핫니스, 가중치 로딩 비용, 마이그레이션 오버헤드, 런타임 리소스 압력을 기반으로 어떤 전문가를 승격, 유지, 강등 또는 축출할지를 동적으로 결정한다. 이후 라우팅된 토큰 그룹을 적합한 상주 복제본에 매핑함으로써 통신, 메모리, 큐 병목 현상을 통합적으로 완화한다. 실험 결과, HCRMap은 프리필 및 디코드 단계에서 Hydra 대비 종단 간 지연 시간을 각각 43.6%, 43.0% 단축하고, MoEntwine 대비 각각 34.5%, 33.1%, PIMoE 대비 각각 46.7%, 46.0% 단축하는 것으로 나타났다.

arXiv:2607.08782v1cs.LG공통 태그 Mixture-of-Experts, Scheduling

Director: Accelerating Distributed MoE Serving via Online Proactive Expert Placement

전문가 병렬성(expert parallelism)은 전문가 혼합(MoE) 모델을 서빙하는 지배적인 패러다임으로 자리잡았다. 그 효율성은 GPU의 통신 및 연산 지연 시간에 의존하며, 이는 GPU 내 전문가 배치와 연결된다. 기존의 전문가 배치 최적화 연구들은 과거 요청의 전문가 활성화 패턴을 활용하는 데 초점을 맞추었다. 그러나 이러한 방법들은 다양하고 빠르게 변화하는 요청 패턴에 직면했을 때 한계를 드러내며, 온라인 선제적 접근 방식의 필요성을 제기한다. 이러한 접근 방식을 구현하기 위해서는 여러 과제를 해결해야 한다: 들어오는 요청의 전문가 활성화에 수반되는 불확실성, 전문가 마이그레이션 비용, 그리고 최적화의 NP-난해 복잡도가 그것이다. 이에 우리는 Director를 제시한다. Director는 예측 기반의 온라인 전문가 배치를 통해 종단간 지연 시간을 최소화하는 새로운 분산 MoE 서빙 시스템이다. Director는 들어오는 요청의 전문가 활성화 패턴을 위해 경량 캐스케이드 예측기 또는 저비트 양자화 복제본 중 하나를 활용한다. 이후 온라인 마이그레이션 모듈이 연산 집중 구간에서 마이그레이션을 실행하여 거의 제로에 가까운 다운타임으로 변경 사항을 적용하며, 중단을 최소화한다. 핵심부에는 완화(relaxation) 기반 전문가 배치 옵티마이저가 있으며, 이는 용량 제약 조건하에서 동작하고, 다항 시간 내에 실행되며, $(1+ε)$ 근사 비율을 달성한다. 마지막으로, 프로토타입을 구현하고 광범위한 실험을 통해 Mistral, DeepSeek, Qwen 등 인기 MoE 모델에서 기존 연구 대비 종단간 지연 시간을 $11\sim55\%$ 감소시킴을 입증한다.

arXiv:2607.02137v5cs.LG공통 태그 Scheduling

점수 기반 확산 샘플링을 위한 적응적 재매개변수화 시간

Adaptive Reparametrized Time for Score-Based Diffusion Sampling

본 논문은 학습된 역시간 동역학을 유한한 격자에서 이산화하는 점수 기반 확산 샘플링의 시간 간격 할당을 연구한다. 균일 스케줄과 수작업 스케줄이 표준으로 쓰이지만, 이들의 고정적이고 임의적인 규정은 최적이 아닐 수 있다. 본 논문은 샘플링 시계의 속도를 제어로 취급하여 시간 변환을 학습하는 연속시간 제어 정식화인 적응적 재매개변수화 시간(ART)을 제안한다. 학습된 시계에서의 균일 격자는 확산 시간에서 적응적인 시간 간격을 유도하며, 오일러 오차의 최저차 대리 지표가 할당 목적함수를 정의한다. 그 결과로 얻어지는 고차원 결정론적 제어 문제를 풀기 위해, 스케줄 학습을 연속시간 강화학습으로 전환하는 보조적 무작위 가우시안 정책 정식화인 ART-RL을 도입한다. 최적에서 ART-RL이 ART와 동등함을, 즉 최적 가우시안 정책의 평균이 ART를 푼다는 것을 증명한다. 또한 정책 평가와 정책 개선의 특성화를 확립하고, 구현 가능한 액터-크리틱 갱신을 이끄는 궤적 기반 모멘트 항등식을 유도한다. 통제된 저차원 설정부터 이미지 생성에 이르는 실험은, ART로 학습된 스케줄을 시간 격자만 바꾸어 기존 샘플러에 적용했을 때 동일한 예산에서 강력한 기준선보다 샘플 품질이 일관되게 향상됨을 보여준다. 학습된 스케줄은 또한 재학습 없이 샘플링 예산, 데이터셋, 솔버, 파이프라인, 표현 공간 전반으로 전이되는 폭넓은 일반화 능력을 보인다.

arXiv:2608.23986v4math.OC공통 태그 Scheduling

지능의 그림자 가격: LLM 추론에서의 품질 저하와 재시도 피드백

The Shadow Price of Intelligence: Quality Degradation and Retry Feedback in LLM Inference

대규모 언어 모델 제공자는 연산 자원이 제약되어 있으며, 혼잡에 대한 일반적인 대응은 서비스를 저하시키는 것이다. 즉, 질의를 더 작은 모델로 라우팅하거나, 추론 예산을 줄이거나, 컨텍스트 윈도를 단축한다. 만족스럽지 못한 답을 받은 사용자는 재시도하여 시스템이 바쁜 동안 부하를 늘리거나, 이탈하여 잠재적으로 고객 이탈로 이어진다. 우리는 추론 서비스를 서비스 품질이 제공자의 의사결정인 제어 문제로 모델링한다. 재시도를 서비스율에 포함한 2국면 유체 근사는 닫힌 형태의 궤적과 교차 시간을 제공하므로, 품질 등급에 대한 동적 계획법에 시뮬레이션이 필요하지 않다. 우리는 더 약한 등급이 작업당 에너지는 덜 쓰지만 작업당 용량은 더 쓰는 영역을 규명하고, 유체 모델에서 그러한 등급으로의 반응적 스로틀링이 큐가 해소되지 못하게 할 수 있음을 보인다. 이질적인 고객이 있는 경우 이 문제는 재시도로 부풀려진 용량 계수를 갖는 수송 문제가 되며, 최적 라우팅은 $c\mu$ 유형의 지수를 따르고, 용량 제약의 쌍대는 클래스와 시간별로 질의 하나를 더 처리하는 한계 비용을 제공한다. 우리는 공개 벤치마크 데이터로 보정한 다섯 가지 사례에서 이 방법을 예시한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.