한국어 초록
GPU는 비싸지만, 지연 시간에 민감한 대규모 언어 모델(LLM) 추론은 그 일부를 유휴 상태로 남긴다. 코로케이션은 파인튜닝과 같은 최선 노력(best-effort) 작업을 서빙과 함께 실행하여 이러한 여유 용량을 되찾는다. 현재 많은 선도적인 LLM은 Mixture-of-Experts(MoE) 아키텍처를 사용하며, 이는 새로운 유휴 시간의 원인을 추가한다. 전문가 병렬화에서는 MoE 전문가들이 GPU에 분산되는데, 라우터가 각 GPU에 서로 다른 수의 토큰을 보내기 때문에 부하가 적은 GPU는 가장 부하가 큰 GPU를 기다리게 된다. 부하 분산 해법을 적용한 후에도 이러한 버블은 여전히 프리필 시간의 8~13%를 차지한다. 본 논문에서는 전문가 병렬 버블을 파인튜닝에 활용하는 최초의 코로케이션 시스템인 BubbleTea를 제시한다. 순전파 한 번마다 모든 GPU에 대해 하나의 스케줄링 결정을 내리는 기존 코로케이션 시스템과 달리, BubbleTea는 라우터의 토큰 할당으로부터 매 레이어마다 각 GPU의 버블을 예측하고, 서빙을 위해 이미 로드된 가중치를 재사용하는 짧은 파인튜닝 작업 청크로 이를 채운다. 또한 각 모델 아키텍처를 별도의 학습 엔진으로 이식하지 않고, 서빙 중인 LLM을 있는 그대로 사용하여 이러한 청크를 자동으로 도출하는 컴파일러 패스를 도입한다. A100 GPU 4개에서 서빙한 세 가지 MoE 모델에 대한 평가에서, BubbleTea의 파인튜닝 처리량은 최신 코로케이션 시스템인 LLMStation보다 1.9~6.2$\times$ 빠르다. BubbleTea는 63개 워크로드 중 50개에서 p90 추론 지연 시간을 서빙 단독 대비 10% 이내로 유지하였으며, LLMStation은 44개였다. 버스트가 있는 실제 프로덕션 트레이스에서 BubbleTea는 LLMStation보다 3.3$\times$, CUDA MPS 아래에서 코로케이션된 기본 트레이너보다 14$\times$ 빠르게 학습하면서도 p90 추론 지연 시간을 서빙 단독 대비 7% 이내로 유지하였다.
원문 초록
GPUs are expensive, yet latency-critical large language model (LLM) inference leaves part of them idle. Colocation reclaims this capacity by running best-effort work, such as fine-tuning, alongside serving. Many leading LLMs now use a Mixture-of-Experts (MoE) architecture, which adds a new source of idle time. Under expert parallelism, MoE experts are spread across GPUs, and because the router sends uneven numbers of tokens to each GPU, lightly loaded GPUs wait for the most loaded one. Even after applying load balancing solutions, such bubbles still take 8--13% of prefill time. We present BubbleTea, the first colocation system that leverages expert-parallel bubbles for fine-tuning. Unlike existing colocation systems, which make one scheduling decision for all GPUs per forward pass, BubbleTea predicts each GPU's bubble at every layer from the router's token assignment, and fills it with short chunks of fine-tuning work that reuse the weights already loaded for serving. We also introduce compiler passes that automatically derive these chunks from the served LLM as-is, without porting each model architecture to a separate training engine. Our evaluation on three MoE models, served on four A100 GPUs, shows that fine-tuning throughput with BubbleTea is 1.9--6.2$\times$ faster than with LLMStation, a state-of-the-art colocation system. BubbleTea keeps p90 inference latency within 10% of serving alone in 50 of 63 workloads, compared to 44 for LLMStation. On bursty production traces, BubbleTea trains 3.3$\times$ faster than LLMStation and 14$\times$ faster than a stock trainer colocated under CUDA MPS, with p90 inference latency staying within 7% of serving alone.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.24496v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.