arXiv:2610.00465v1 cs.IT

AIR-LLM: RF 컴퓨팅을 통해 메모리 없이 엣지 LLM 추론을 수행하기 위한 무선 AI 가중치 브로드캐스팅

AIR-LLM: Broadcasting AI Weights over Radio for Memory-Free Edge LLM Inference via RF Computing

Zhihui Gao, Tingjun Chen, Dirk Englund

제출 2026-09-30

저자 비고

arXiv Comments

14 pages, 12 figures, 6 tables. Appendix: 12 pages, 7 figures, 11 tables

한국어 초록

차세대 대규모 언어 모델(LLM)이 클라우드에서 유비쿼터스 엣지 기기로 확장되고 있습니다. 그러나 엣지 기기는 일반적으로 점점 커지는 LLM 가중치(weight)를 저장할 메모리가 부족하거나, 메모리가 충분하더라도 가중치를 로드하는 데 감당하기 어려운 에너지를 소모합니다. 이에 따라 엣지 기기가 가중치를 저장하거나 로드하지 않고, 무선으로 수신하여 즉시 소비하면서 LLM을 실행할 수 있을까라는 질문을 던지게 됩니다. 무선 브로드캐스팅에서 영감을 받아, 본 논문에서는 (i) LLM 가중치를 공중으로 브로드캐스트하는 중앙 무선국(예: 5G 기지국)과 (ii) 가중치를 수신하여 RF 믹서를 사용해 무선 주파수(RF) 영역에서 직접 LLM 추론의 일반 행렬-벡터 곱셈(GEMV)을 완료하는 엣지 사용자로 구성된 엣지 기기용 LLM 추론 아키텍처인 AIR-LLM을 제시합니다. 무선 전송 시간(airtime)을 더욱 단축하기 위해, AIR-LLM은 MIMO 공간 다중화를 활용하고 엣지에서 자체 무선 채널을 보정하는 에너지 효율적인 프리코더-포스트코더 쌍을 제안합니다. 중앙 무선국은 개별 사용자를 인지하지 않으므로(user-unaware), AIR-LLM은 사용자 확장성을 갖추어 한 번의 브로드캐스트로 서비스 범위 내 무제한의 사용자에게 서비스를 제공할 수 있습니다. 본 연구에서는 두 가지 실제 도시 환경의 NVIDIA Sionna 광선 추적(ray-traced) 채널과 실제 RF 믹서의 프로파일링(profiling)을 바탕으로 AIR-LLM을 구현합니다. LLaMA-3.1-8B에서 WikiText-2 퍼플렉시티(perplexity) 저하가 4.0%에 불과한 상황에서, AIR-LLM은 FP16 및 가중치 전용 양자화(quantization) 베이스라인 대비 에너지를 각각 157.7배/40.4배 절감하며, 사용자 수가 20명일 때 무선 전송 시간을 각각 104.1배/26.0배 단축합니다.

원문 초록

Next-generation large language models (LLMs) are expanding from the cloud to ubiquitous edge devices. However, edge devices typically either lack the memory to store increasingly large LLM weights or, even with enough memory, spend unaffordable energy on loading the weights. This raises our question: can an edge device run an LLM without storing or loading its weights, but receive them over the air and consume them on the fly? Inspired by wireless broadcasting, we present AIR-LLM, an LLM inference architecture for edge devices, which is composed of: (i) a central radio (e.g., 5G base stations) that broadcasts the LLM weights into the air, and (ii) the edge user that receives the weights and completes the general matrix-vector multiplication (GEMV) of LLM inference directly in the radio frequency (RF) domain using RF mixers. To further shorten the airtime, AIR-LLM exploits MIMO spatial multiplexing and proposes an energy-efficient precoder-postcoder pair on the edge to calibrate its own wireless channel. Since the central radio stays user-unaware, AIR-LLM is user-scalable so that one broadcast serves unlimited users within its coverage. We implement AIR-LLM on the NVIDIA Sionna ray-traced channels of two real-world urban scenes and the profiling of a real RF mixer. With a WikiText-2 perplexity degradation of 4.0% on LLaMA-3.1-8B, AIR-LLM saves the energy by 157.7x/40.4x against the FP16 and weight-only quantization baselines; with 20 users, its airtime is 104.1x/26.0x shorter, respectively.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.00465v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.