HyCoInfer: 이기종 GPU-FPGA 아키텍처에서의 대규모 언어 모델 클라우드·엣지 협력 추론
HyCoInfer: Cloud-Edge Collaborative Inference for Large Language Models on Heterogeneous GPU-FPGA Architectures
한국어 초록
대규모 언어 모델 서빙은 주로 클라우드 GPU에 의존한다. 그러나 자기회귀 디코딩은 메모리 병목이 있어 GPU 연산 장치를 충분히 활용하지 못하는 경우가 많다. 엣지 FPGA는 디코딩 효율이 높지만, 동시성이 높은 서빙 부하를 단독으로 감당하기 어렵다. 이기종 클라우드·엣지 서빙 시스템 HyCoInfer는 프리필을 클라우드 GPU에 맡기고 디코딩을 클라우드 GPU와 엣지 FPGA에 분산한다. 설계는 실제 오프로딩을 가로막는 세 가지 문제를 다룬다. 이기종 가속기 간 용량 균형, 제한된 광역망을 통과해야 하는 대용량 KV 캐시, 이기종 실행에 따른 지연이다. HyCoInfer는 FPGA의 디코딩 용량을 고려해 GPU의 프리필 및 디코딩 역할을 배분하고, 큐 부하·프롬프트 길이·네트워크 상태에 따라 요청을 배치한다. 층별 파이프라인 전송, 디코더에서의 사전 계산, 잔차 벡터 양자화에 기반해 대역폭에 맞춰 조정하는 KV 캐시 압축도 결합한다. NVIDIA V100 GPU 두 개와 AMD Xilinx Alveo U280으로 구현하고 100~1,000Mbps 링크에서 평가했다. 500Mbps에서 HyCoInfer는 클라우드 전용 vLLM 대비 유효 요청 처리량을 최대 4.11배로 높이고 평균 종단 간 지연 시간을 최대 61.1% 줄였다. 다양한 네트워크 조건과 워크로드에서 전체 서빙 용량을 늘리고 요청당 에너지 소비를 줄였으며, 통신 부하가 큰 작업에서 향상 폭이 가장 컸다.
원문 초록
Large language model (LLM) serving relies predominantly on cloud GPUs, yet autoregressive decoding is memory-bound and often leaves their arithmetic units underutilized. Edge FPGAs offer attractive decoding efficiency, but are ill suited to sustaining a high-concurrency serving workload alone. This paper presents HyCoInfer, a heterogeneous cloud-edge serving system that assigns prefill to cloud GPUs and distributes decoding across cloud GPUs and edge FPGAs. The design addresses three barriers to practical offloading: capacity balancing across heterogeneous accelerators, the large KV cache crossing a constrained wide-area link, and the latency added by heterogeneous execution. HyCoInfer incorporates FPGA decode capacity into GPU prefill/decode role partitioning and places requests according to queue load, prompt length, and network state. It further combines layer-wise pipelined transfer, decoder-side precomputation, and bandwidth-adaptive KV cache compression based on residual vector quantization. We implement HyCoInfer using two NVIDIA V100 GPUs and an AMD Xilinx Alveo U280 and evaluate it over 100-1000 Mbps links. At 500 Mbps, HyCoInfer delivers up to 4.11 times the request goodput of cloud-only vLLM and reduces mean end-to-end latency by up to 61.1%. Across different network conditions and workloads, the system improves overall serving capacity, with the largest gains on communication-intensive tasks, and reduces per-request energy.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.22086v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.