arXiv:2611.24085v1 cs.DC

LEDGE: 이기종 엣지 장치에서의 분산 LLM 서빙을 위한 효율적 시뮬레이터

LEDGE: An Efficient Simulator for Distributed LLM Serving on Heterogeneous Edge Devices

Zihao Wang, Ye Tian, Tajana Rosing, Nalini Venkatasubramanian

제출 2026-11-19

한국어 초록

이기종 엣지 장치에서 분산 대규모 언어 모델(LLM) 서빙을 평가하려면 다양한 모델 분할, 장치 배치, 네트워크 조건을 탐색해야 하므로 물리적 실험을 반복하는 데 비용이 많이 든다. 엣지 LLM 서빙을 위한 효율적인 시뮬레이터는 다양하고 세밀한 배치 구성을 지원하고, 실행 시점의 동작을 포착하며, 시뮬레이션 오버헤드를 낮게 유지하면서 실행 시간을 정확히 예측해야 한다. 본 논문은 텐서 연산을 실행하지 않고 이기종 엣지 장치에서의 분산 LLM 서빙을 빠르고 세밀하게 평가하는 경량 시뮬레이터 LEDGE를 제시한다. LEDGE는 비균일 텐서 및 파이프라인 병렬화를 지원하는 이벤트 그래프를 구성하고, 종단 간 측정으로 보정한 재사용 가능한 성능 모델로 실행 비용을 추정하며, 공유 링크 경합을 시뮬레이션한다. Jetson 및 Raspberry Pi 장치 10대로 구성된 이기종 테스트베드에서 4개 LLM 계열에 걸친 17개 모델-정밀도 조합으로 LEDGE를 평가하였다. Qwen 배포에서 LEDGE는 요청 단위 평균 절대 백분율 오차 3.6% 미만을 달성했으며 물리적 추론 대비 전체적으로 135.3배의 속도 향상을 보였다. 하나의 LLM 계열에서 보정한 성능 모델은 나머지 세 계열에서 제로샷 종단 간 지연 시간 MAPE 7.44%를 보였다. 추가 시뮬레이션은 공유 링크 경합이 배치 결정에 미치는 영향과 네트워크 토폴로지가 확장성을 제약하는 양상을 보여준다. 네 가지 엣지 환경에서 LEDGE는 26,773회의 시뮬레이션을 83.8분 만에 완료하여, 다양한 자원 조건과 서빙 목표 하에서 배포 전략을 효율적으로 탐색할 수 있게 한다. 소스 코드는 https://github.com/gdfwj/LEDGE 에서 공개되어 있다.

원문 초록

Evaluating distributed large language model (LLM) serving on heterogeneous edge devices requires exploring diverse model partitions, device placements, and network conditions, making repeated physical experiments costly. An efficient simulator for edge LLM serving must support diverse, fine-grained placement configurations, capture runtime behavior, and accurately predict execution times while keeping simulation overhead low. We present LEDGE, a lightweight simulator for fast, fine-grained evaluation of distributed LLM serving on heterogeneous edge devices without executing tensor operations. LEDGE constructs event graphs supporting non-uniform tensor and pipeline parallelism, estimates execution costs using reusable performance models calibrated from end-to-end measurements, and simulates shared-link contention. We evaluate LEDGE on a heterogeneous testbed of 10 Jetson and Raspberry Pi devices, covering 17 model--precision combinations across 4 LLM families. On Qwen deployments, LEDGE achieves request-level mean absolute percentage errors below 3.6% and a 135.3 times aggregate speedup over physical inference. Performance model calibrated on one LLM family yield 7.44% zero-shot end-to-end latency MAPE across three other families. Further simulations show how shared-link contention affects placement decisions and network topology constrains scaling. Across four edge environments, LEDGE completes 26,773 simulation runs in 83.8 minutes, enabling efficient exploration of deployment strategies under diverse resource conditions and serving objectives. The source code is publicly available at https://github.com/gdfwj/LEDGE.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.24085v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.