한국어 초록
메모리는 엣지 디바이스가 어떤 LLM을 얼마나 빠르게 실행할 수 있는지를 결정한다. 4 GB Jetson Nano에서는 용량이, 8 GB Jetson Orin Nano Super에서는 대역폭이 제약이 된다. 배포된 형식(GPTQ, AWQ, llama.cpp의 K-quant 및 I-quant)은 행렬의 모든 정수 코드에 동일한 비트를 할당하지만, 실제 코드 분포는 균일과는 거리가 멀다. LazyWeights는 이러한 형식을 유지하면서 코드가 압축되도록 GPTQ를 조정하고, 이를 인터리브된 레인에서 허프만 부호화로 무손실 압축하며, DRAM과 L2 사이의 소형 유닛에서 요청 시 디코딩한다. 따라서 GPU 커널은 변경 없이 실행되고 DRAM은 부호화된 바이트만 전송한다. 1% 및 3.5%의 퍼플렉서티 예산에서, 부호화된 Phi-3-mini, Mistral-7B, SmolLM-1.7B는 최선의 llama.cpp 형식보다 5.7~31.4% 작다. 비트 단위로 정확한 0.21 mm^2 ASIC 디코더 유닛(1 GHz, 7 nm)은 Orin의 토큰당 지연 시간과 에너지를 각각 최대 36%, 38% 줄인다(프롬프트 룩업 추측 디코딩을 사용하면 54%, 44%). Nano에서 LazyWeights는 CPU llama.cpp 대비 토큰당 시간이 58~64%, 에너지가 53~57% 적게 들며, 가중치당 3.89비트의 스트리밍 Mistral-7B를 6.6배 빠르게 실행한다. 동일한 처리량에서 허프만 디코더는 압축률과 면적 면에서 rANS 디코더보다 우수하며, ASIC 디코더 유닛은 Zynq UltraScale+ FPGA(AMD ZCU102)에서 비트 단위로 정확하게 동작한다.
원문 초록
Memory decides which LLMs an edge device runs, and how fast: capacity on a 4 GB Jetson Nano, bandwidth on an 8 GB Jetson Orin Nano Super. Deployed formats (GPTQ, AWQ, llama.cpp's K- and I-quants) spend equal bits on every integer code of a matrix, although the codes are far from uniform. LazyWeights keeps these formats but tunes GPTQ so the codes compress, Huffman-codes them losslessly in interleaved lanes, and decodes them on demand in a small unit between DRAM and L2, so GPU kernels run unchanged and DRAM moves only coded bytes. At 1% and 3.5% perplexity budgets, coded Phi-3-mini, Mistral-7B and SmolLM-1.7B are 5.7-31.4% smaller than the best llama.cpp format. A bit-exact 0.21 mm^2 ASIC decoder unit (1 GHz, 7 nm) cuts Orin latency and energy per token by up to 36% and 38% (54% and 44% with prompt-lookup speculation). On the Nano, LazyWeights needs 58-64% less time and 53-57% less energy per token than CPU llama.cpp, and runs a streamed Mistral-7B 6.6x faster at 3.89 bits per weight. A Huffman decoder beats an rANS decoder in rate and area at equal throughput; the ASIC decoder unit runs bit-exact on a Zynq UltraScale+ FPGA (AMD ZCU102).
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.17108v2제출 시각 미확인
- arXiv:2611.17108v1
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.