Hydra: 엣지 SoC 세대, 백엔드, 양자화 수준에 걸친 LLM 추론의 위상 인식 워크로드 특성화
Hydra: Phase-Aware Workload Characterization of LLM Inference across Edge SoC Generations, Backends, and Quantization Levels
한국어 초록
엣지 LLM 배포는 모델 크기와 정밀도만으로 결정되지 않으며, 추론 백엔드, 하드웨어 플랫폼, 메모리 트래픽, 전력 관리가 모두 지연 시간과 효율에 영향을 준다. 본 논문은 엣지 SoC에서의 LLM 추론을 위한 공통 스키마 기반의 위상 인식 워크로드 특성화 프레임워크인 Hydra를 제안한다. Hydra는 HuggingFace Transformers와 llama.cpp에 공유 per-prompt 타이밍 스키마를 계측하고, 해당 기록을 하드웨어 원격 측정(telemetry)과 융합하여 prefill 및 decode 위상에 걸친 성능, 시스템 자원 활용, 효율의 다차원 특성화를 가능하게 한다. Hydra를 이용해 연속된 세 세대의 엣지 시스템 온 칩(System-on-Chip, SoC)(AGX Xavier, AGX Orin, AGX Thor), 7개 계열의 인스트럭션 튜닝(instruction-tuned) LLM 13종, 다섯 가지 실행 포맷을 평가하고, 입력/출력 길이 민감도를 고려한다. 그 결과물은 약 10만 7천 건의 per-prompt 기록을 포함하며 Hydra와 함께 공개된다. 분석 결과, 집계 지연 시간만으로는 핵심 배포 효과가 가려진다: 백엔드 구조가 지연이 어디에서 발생하는지를 바꾸고, 양자화는 메모리 트래픽과 에너지를 줄이지만 전력을 단조적으로 예측하지는 않으며, SoC 세대에 따라 활용도와 효율의 해석 방식이 달라진다. 위상 수준 타이밍을 시스템 자원 활용 및 효율 지표와 연결함으로써 Hydra는 엣지 LLM 추론의 재현 가능한 위상 인식 특성화를 가능하게 한다. Hydra 소스 코드와 수집된 per-prompt trace 코퍼스는 https://github.com/amirtaherin/hydra 에서 오픈소스로 제공된다.
원문 초록
Edge LLM deployment is shaped by more than model size and precision: inference backend, hardware platform, memory traffic, and power management all affect latency and efficiency. We present Hydra, a common-schema, phase-aware workload characterization framework for LLM inference on edge SoCs. Hydra instruments HuggingFace Transformers and llama.cpp with a shared per-prompt timing schema and fuses those records with hardware telemetry, enabling a multi-dimensional characterization of performance, system-resource utilization, and efficiency across prefill and decode phases. Using Hydra, we evaluate three consecutive edge System-on-Chip (SoC) generations (AGX Xavier, AGX Orin, and AGX Thor), 13 instruction-tuned LLMs from seven families, five execution formats, and consider input/output-length sensitivity. The resulting artifact contains roughly 107K per-prompt records and is publicly released with Hydra. Our analysis shows that aggregate latency alone hides key deployment effects: backend structure changes where latency is introduced, quantization reduces memory traffic and energy but does not predict power monotonically, and SoC generation changes how utilization and efficiency should be interpreted. By connecting phase-level timing with system-resource utilization and efficiency metrics, Hydra enables reproducible, phase-aware characterization of edge LLM inference. Hydra's source code and the collected per-prompt trace corpus are available open-source at: https://github.com/amirtaherin/hydra
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.25053v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.