변화량만 통신하기: 활성값 압축을 통한 효율적인 전문가 병렬화
Communicate the Change: Efficient Expert Parallelism via Activation Compression
한국어 초록
모델 규모 확대는 대규모 언어 모델(LLM)의 성공을 이끌었다. 희소 전문가 혼합(MoE) 아키텍처를 사용하면 계산량을 비례해서 늘리지 않고도 매개변수 용량을 키울 수 있다. 대규모 MoE 모델은 전문가 병렬화로 여러 기기에 전문가를 분산한다. 추론 중 각 MoE 층에는 동기식 집합 통신이 두 번 필요하다. 은닉 상태를 활성화된 전문가에게 분배하고, 각 전문가의 출력을 합친다. 연산 처리량이 연결망 대역폭보다 빠르게 늘면서 동기식 집합 통신은 MoE의 확장과 효율을 제한하는 주요 병목이 됐다. 기존 MoE 모델에 적용할 수 있는 경량 아키텍처 변경 EchoMoE를 제안한다. 처음부터 전체를 사전학습할 때의 약 8,500분의 1에 해당하는 학습 토큰을 사용한다. 트랜스포머 블록이 잔차 스트림을 조금씩 갱신한다는 점에 착안해 이전 층의 은닉 상태를 기준으로 둔다. 각 은닉 상태 전체를 전달하는 대신 현재 상태와 기준의 차이만 압축해 통신한다. EchoMoE는 기준 상태를 주기적으로 갱신하며 동기 경로에서는 압축한 차이만 보낸다. 추가 연산을 거의 발생시키지 않으면서 지연에 민감한 경로의 트래픽을 줄인다. 노드 간 통신량은 58% 줄고 처리량은 22.6% 높아졌다. 벤치마크 18개의 평균 성능 차이는 3.8%포인트 이내였다. 대역폭이 제한된 이더넷에서는 추론 처리량을 최대 2.38배 높여 광역 분산 추론의 가능성을 보였다. 통신할 표현을 양자화해도 측정 가능한 품질 손실은 없었다. 사전학습 MoE 모델에 EchoMoE를 효율적으로 적용하는 구현과 vLLM 추론 통합을 공개한다.
원문 초록
Scaling has driven the success of large language models (LLM), with sparse mixture-of-experts (MoE) architectures enabling greater parameter capacity without a proportional increase in computation. At large scales, MoE models rely on expert parallelism to distribute experts across devices. Each MoE layer requires two synchronous collective communication steps during inference: dispatching hidden states to the activated experts and combining the resulting expert outputs. As compute throughput has outpaced interconnect bandwidth, these synchronous collectives have become a major bottleneck to MoE scaling and efficiency. We address this challenge with EchoMoE, a lightweight architecture modification that retrofits existing MoE models, requiring approximately 8,500x fewer training tokens than full pretraining. Motivated by the observation that transformer blocks update the residual stream incrementally, we use a hidden state from an earlier layer as a reference and communicate only the compressed difference between it and the current state, rather than communicating each hidden state in full. EchoMoE periodically refreshes these reference states and transmits only the compressed differences synchronously, reducing the traffic on latency-critical paths without significant computational overhead. EchoMoE reduces inter-node communication volume by 58% and improves throughput by 22.6%, while preserving average performance within 3.8 percentage points across 18 benchmarks. EchoMoE further improves inference throughput by up to 2.38x over bandwidth-constrained Ethernet, paving the way for wide-area distributed inference. EchoMoE also tolerates quantization of the communicated representations without measurable quality loss. We release an efficient implementation for applying EchoMoE to pretrained MoE models, together with an inference integration for vLLM.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.22215v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.