TileFuse: AMD NPU에서 효율적인 양자화 LLM 추론을 위한 융합 혼합 정밀도 커널 라이브러리
TileFuse: A Fused Mixed-Precision Kernel Library for Efficient Quantized LLM Inference on AMD NPUs
한국어 초록
온디바이스 LLM 추론에 대한 수요가 증가함에 따라, 엣지 SoC는 제한된 전력 및 열 예산 하에서 성능과 에너지 효율성을 높이기 위해 점점 더 NPU를 통합하고 있습니다. 그러나 현재 클라이언트 NPU에서 실용적인 LLM 배포는 여전히 어렵습니다. AWQ와 같이 널리 사용되는 양자화 형식은 독점적이며 제한된 저수준 제어만을 제공하는 많은 기존 NPU 소프트웨어 스택에 깔끔하게 매핑되지 않기 때문입니다. 본 연구에서는 양자화된 LLM 추론에서 트랜스포머 선형 계층을 대상으로 하는 AMD XDNA2 NPU용 하드웨어 가까운 혼합 정밀도 커널 라이브러리인 TileFuse를 소개합니다. TileFuse는 모델을 NPU 특정 양자화 방식에 맞춰 재구성하도록 강요하는 대신, AWQ 스타일의 W4A16 및 W8A16과 같은 실용적인 저비트 형식을 XDNA2에 직접 가져옵니다. TileFuse는 가중치 레이아웃, 메타데이터 배치, 혼합 정밀도 마이크로커널, 그리고 배열 수준 데이터플로우를 공동 설계합니다. 구체적으로, 언패킹, 역양자화, GEMM/GEMV 실행을 단일 커널 플로우로 융합하고, 32K까지의 GEMM 차원을 지원하는 인터리브된 사전 타일링 레이아웃을 도입하며, 전체 4x8 AIE 배열을 활용하도록 GEMV 데이터플로우를 재설계합니다. 커널 수준 평가에서 TileFuse는 전체 정밀도 기준선 대비 GEMM에서 최대 121.6%, GEMV에서 281%의 성능을 향상시켰으며, GEMM에서 강력한 iGPU 기준선 대비 2배 이상의 성능 및 에너지 효율성 이득을 제공했습니다. Ryzen AI 노트북에서의 엔드투엔드 LLM 실험에서 TileFuse는 64.6% 이상 낮은 에너지 소비로 최대 2.0배 더 낮은 프리필링 지연 시간을 달성했습니다. 종합적으로, 이러한 결과는 XDNA2가 AWQ 스타일의 엣지 LLM 추론을 위한 실용적인 타겟임을 보여주며, 기성 양자화 방식에 대한 네이티브 NPU 지원이 실제 클라이언트 배포에서 NPU의 활용성을 크게 높일 수 있음을 시사합니다.
원문 초록
With the growing demand for on-device LLM inference, edge SoCs increasingly integrate NPUs to improve performance and energy efficiency under tight power and thermal budgets. However, practical LLM deployment on current client NPUs remains difficult: widely used quantization formats such as AWQ do not map cleanly onto many existing NPU software stacks, which are often proprietary and expose limited low-level control. In this work, we present \textit{TileFuse}, a close-to-metal mixed-precision kernel library for AMD XDNA2 NPUs that targets transformer linear layers in quantized LLM inference. TileFuse brings practical low-bit formats such as AWQ-style W4A16 and W8A16 directly onto XDNA2, rather than forcing the model to be reshaped around an NPU-specific quantization scheme. TileFuse co-designs weight layout, metadata placement, mixed-precision microkernels, and array-level dataflow. Specifically, it fuses unpacking, dequantization, and GEMM/GEMV execution into a single kernel flow, introduces an interleaved pre-tiling layout that supports GEMM dimensions up to 32K, and redesigns GEMV dataflow to utilize the full 4x8 AIE array. Across kernel-level evaluations, TileFuse improves performance by up to 121.6% for GEMM and 281% for GEMV over full-precision baselines, while delivering more than 2x performance and energy-efficiency gains over strong iGPU baselines on GEMM. In end-to-end LLM experiments on Ryzen AI laptops, TileFuse achieves up to 2.0x lower prefilling latency with more than 64.6% lower energy consumption. Together, these results show that XDNA2 is a practical target for AWQ-style edge LLM inference and that native NPU support for off-the-shelf quantization can make NPUs substantially more usable in real client deployments.
요약
AMD XDNA2 NPU에서 AWQ 스타일의 양자화(quantization) LLM 추론(inference)을 위한 혼합 정밀도(mixed-precision) 커널 라이브러리 TileFuse를 소개한다. 언패킹, 역양자화, GEMM 실행을 융합한 설계를 통해 전체 정밀도 대비 최대 281%의 성능 향상과 64.6% 이상의 에너지 절감을 달성했다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.11357v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
DualQuant: LLM을 위한 이중 스케일 캘리브레이션 프리 가중치 및 활성화 양자화
DualQuant: Dual-scale Calibration-free Weight-and-Activation Quantization for LLMs
네이티브 4비트를 지원하는 가속기에서 저비트 추론(inference)을 수행할 때 해당 포맷이 제공하는 전체 처리량 향상을 온전히 달성하려면 가중치(weight)와 활성화(activation)를 모두 양자화해야 합니다. 사후 학습(post-training) 가중치 양자화는 광범위하게 연구되어 왔지만, 활성화 양자화는 여전히 훨씬 더 까다로우며 일반적으로 캘리브레이션 데이터를 필요로 합니다. 본 연구에서는 가중치 재구성 평균 제곱 오차(MSE)를 직접 최소화하고, 그 직접적인 부산물로서 활성화 양자화에 앞서 채널별 활성화 재스케일링을 생성하는 이중 스케일(dual-scale) 캘리브레이션 프리 사후 학습 양자화 프레임워크인 DUALQUANT를 소개합니다. 우리의 핵심 관찰은 가중치 재구성 오차를 최소화하여 얻은 스케일링 팩터가 효과적인 활성화 재스케일링을 제공하여, 캘리브레이션 데이터 없이도 경쟁력 있는 활성화 양자화를 가능하게 한다는 점입니다. 우리는 DUALQUANT를 미분 불가능한 가중치 재구성 문제로 공식화하고, 각 하위 문제가 닫힌 형식의 해(closed-form update)를 갖는 변수 분할(variable splitting) 및 블록 좌표 강하법(block coordinate descent) 기반의 효율적인 솔버를 개발했습니다. DUALQUANT는 전체 MX 패밀리와 NVFP4를 포함한 광범위한 포맷을 지원하는 통합 알고리즘을 제공합니다. 우리가 아는 한, DUALQUANT는 MX 및 NV 블록 포맷을 공식적으로 지원하는 최초의 이중 스케일링 기법입니다. WikiText-2, C4 및 제로샷(zero-shot) 다운스트림 태스크에서 평가된 Llama 및 Qwen 모델 전반에 걸쳐, DUALQUANT는 대부분의 모델 및 포맷에서 캘리브레이션 기반 SmoothQuant의 정확도에 필적하거나 이를 능가하며, 캘리브레이션 프리 베이스라인들을 크게 능가하고 MX 및 NV 블록 포맷에 대해 큰 폭의 향상을 달성했습니다. 우리는 RTX 4090 환경에서 Llama-3.1-8B에 대한 실제 패킹된 W4A4 추론 경로를 통해 이러한 성능 향상을 검증했습니다. 그 결과 구현체는 가상 양자화(fake quantization)의 정확도와 거의 일치하면서도 BF16 대비 최대 2.61배의 메모리 절감과 최대 2.46배의 처리량 속도 향상을 제공합니다.
PlurVA-LLM-2026 공유 태스크 트랙 1: 다국어 미세조정 및 임계값 보정을 통한 대규모 언어 모델(LLM)의 다원적 가치 정렬
PlurVA-LLM-2026 Shared Task Track-1: Pluralistic Value Alignment in LLMs via Multilingual Fine-Tuning and Threshold Calibration
본 논문에서는 중국, 인도네시아, 스리랑카 맥락에서의 다원적 가치 정렬(pluralistic value alignment)에 초점을 맞춘 PlurVA-LLM 2026 공유 태스크(Shared Task) 트랙 1을 위한 시스템을 제시합니다. 이러한 자원 제약적 트랙을 위해 4비트 QLoRA를 사용하여 Llama 3.1 8B Instruct를 미세조정(fine-tuning)했습니다. 본 연구의 접근 방식은 중국어 데이터를 위한 선택지 순열 증강(option-permutation augmentation), 인도네시아어 데이터를 위한 주석자 투표 확장(annotator vote expansion), 스리랑카 데이터를 위한 이진 재구성 및 SinhalaMMLU 증강을 결합합니다. 또한 스리랑카 데이터의 예측에 조건부 임계값 보정(threshold calibration)을 적용했습니다. 최종 시스템은 중국어 0.785, 인도네시아어 0.715, 스리랑카 0.916의 정확도를 달성하여 전체 매크로 평균 정확도 0.805를 기록했습니다.
진단 예측을 위한 의료 토큰 기반 커버리지 인식 추론
Coverage-Aware Reasoning with Medical Tokens for Diagnosis Prediction
대규모 언어 모델(LLM)은 종단적 임상 근거를 통합하고 이를 자연어로 추론하는 능력을 바탕으로 다음 방문 진단 예측에서 유망한 잠재력을 보여줍니다. 그러나 LLM 추론을 위한 강화학습(RL)은 일반적으로 최종 답변의 정확성에 따라 각 궤적(trajectory)에 보상을 부여합니다. 다음 방문 진단 예측에서는 여러 진단이 동시에 유효할 수 있지만, 궤적당 하나의 진단에 독립적으로 보상을 부여하는 방식은 반복된 적중과 서로 다른 진단의 포괄(coverage)을 구별하지 못합니다. 따라서 정책(policy)이 소수의 정답 진단에만 집중하고 다른 진단들은 다루지 못하는 문제가 발생할 수 있습니다. 한편, LLM 토크나이저는 ICD 코드를 임상적 의미가 제한된 여러 일반 토큰으로 분할할 수 있어, 각 진단을 예측하기 위해 여러 디코딩 단계가 필요하고 방대한 질병 어휘에 대한 추론을 저해합니다. 이러한 두 가지 문제를 해결하기 위해, 우리는 진단을 조합형 의미론적 ID(Semantic ID, SID)로 표현하고 다중 레이블 커버리지를 위해 추론 궤적을 최적화하는 프레임워크인 CARing을 제안합니다. 구체적으로, 먼저 잔차 양자화(residual quantization)를 통해 온톨로지가 풍부한 질병 의미론을 컴팩트한 SID로 인코딩하며, 다중 태스크 정렬 및 추론 강화 학습을 통해 생성된 SID 토큰을 자연어 및 종단적 EHR 컨텍스트에 그라운딩(grounding)하여 전이 가능한 LLM 추론을 가능하게 합니다. 나아가 CARing은 강화학습을 위한 커버리지 보상과 다중 양성(multi-positive) 감독을 통해 순서가 없는 다중 레이블 예측을 개선합니다. 추론(inference) 시점에 이 모델은 효율적인 직접 제약 디코딩과 순위 융합을 결합한 다중 체인 추론을 모두 지원합니다. MIMIC-III 및 MIMIC-IV에서 CARing은 가중치 적용 F1에서 모든 EHR 학습 기반 베이스라인을 능가하며, 추론 모드에서 46.04% 및 46.52%의 R@30을 포함해 보고된 모든 컷오프에서 가장 높은 top-k 재현율(recall)을 달성합니다. 코드와 로그는 https://github.com/zmlxzyh/CARing-Codes-Logs 에서 확인할 수 있습니다.
JARQ: 양자화를 위한 결합 교차 개선 기법
JARQ: Joint Alternating Refinement for Quantization
대규모 언어 모델(LLM)을 위한 그룹별 사후 학습 양자화(quantization)기는 결과로 나오는 정수 코드에 재적합되지 않는 격자 위로 가중치를 반올림합니다. 본 논문에서는 이러한 방식이 정확도 손실을 남긴다는 점을 보입니다. 즉, 최적의 격자는 코드에 따라 달라지고, 입력 상관관계로 인해 서로 다른 그룹의 오차가 결합되며, 유용한 코드 변경은 종종 여러 코드를 한 번에 바꾸는 것과 관련됩니다. 우리는 임의의 그룹별 양자화기에서 출발하여 모든 그룹 스케일의 결합 최소제곱 적합과 현재 격자에서 한 그룹의 여러 코드를 함께 이동시키는 유계 바바이(Babai) 제안을 번갈아 수행하는 플러그인 개선 기법인 JARQ를 제안합니다. 이 문제는 이중선형 상자 제약 혼합 정수 최소제곱 문제이며, 솔버는 역전파(backpropagation)를 사용하지 않고 정확한 스케일 풀이 조건에서 층별 목적 함수를 증가시키지 않으며, 호스트의 비트 폭, 그룹, 제로 포인트 및 추론(inference) 비용을 유지합니다. RTN, GPTQ, OmniQuant, AWQ 호스트를 사용하는 Llama-2, Llama-3, Qwen 모델 전반에서 JARQ는 96개 비교 중 90개에서 퍼플렉서티(perplexity)를 낮추고, 3비트 RTN 퍼플렉서티를 최대 36%까지 줄이며, 24개 구성 중 23개에서 평균 객관식 정확도를 높이고, 7B 블록당 1분 미만의 시간으로 QEP, QuaRot, OJBKQ 출력을 개선합니다.
오프로딩된 가중치에서 더 빠른 LLM 디코딩을 위한 가중치 근사 기반 활성화 희소성
Activation Sparsity with Weight Approximation for Faster LLM Decoding on Offloaded Weights
가중치를 모두 담기에 메모리가 부족한 소비자용(consumer-grade) GPU에 LLM을 배포하면 추론 속도가 지나치게 느려질 수 있는데, 이는 디코딩 과정에서 오프로딩된 가중치를 시스템 RAM이나 플래시 스토리지에서 GPU로 반복적으로 전송해야 하며, 이 전송 대역폭이 로컬 GPU 메모리 접근보다 훨씬 낮기 때문이다. 활성화 희소성(activation sparsity)은 0이거나 0에 가까운 활성화(activation)와 연관된 가중치를 건너뜀으로써 이러한 전송을 줄인다. 그러나 더 많은 활성화 기여분을 생략할수록 모델 품질이 결국 급격히 저하되는데, 이는 작은 크기의 활성화와 연관된 가중치들이 전체적으로 모델 품질에 큰 영향을 미친다는 것을 보여준다. 본 연구에서는 활성화 희소성을 활용할 때 모델 품질과 디코딩 성능 간의 trade-off를 개선한다. 핵심 아이디어는 가중치를 읽을지 여부에 대한 이진 선택을, 완전히 유지하거나, 압축된 가중치 표현(compressed weight representation)을 사용해 근사하거나, 완전히 생략하는 세 가지 옵션으로 대체하는 것이다. SpAx는 0에 가장 가까운 활성화와 연관된 가중치를 건너뛰고, 더 작은 크기의 활성화에 대해서는 근사된 가중치를 읽으며, 가장 큰 크기의 활성화에 대해서는 원본 가중치를 읽는다. 더 작은 크기의 활성화는 근사 가중치로 인해 발생하는 오차를 완화시키며, 압축된 가중치 표현은 전송해야 할 바이트 수를 줄인다. 가중치를 CPU 메모리로 오프로딩한 경우, SpAx는 16비트 가중치에서 평균 3.86배(최대 5.57배), 4비트 가중치에서 평균 2.06배(최대 2.74배)의 디코딩 속도 향상을 달성하며, WikiText-2 퍼플렉시티(perplexity) 증가는 최대 10%에 그친다. 가중치를 플래시 스토리지로 오프로딩한 경우, 속도 향상은 평균 3.31배(최대 4.81배) 및 평균 1.54배(최대 2.03배)이다.
QATFactory: LLM의 양자화 인식 학습 및 증류를 위한 다목적 배포 정렬 프레임워크
QATFactory: A Versatile, Deployment-Aligned Framework for Quantization-aware Training and Distillation of LLMs
대규모 언어 모델(LLM) 추론은 하드웨어 가속기의 처리량을 최대한 활용하기 위해 점차 저정밀도로 전환되고 있으나, 공격적인 사후 학습 양자화(PTQ)는 모델 성능을 저하시킬 수 있습니다. 본 논문에서는 배포 환경에 정렬된 양자화 인식 증류(QAD) 및 강화학습(QARL)을 위한 오픈소스 프레임워크인 QATFactory를 제시합니다. QATFactory는 BF16으로 행렬 곱셈을 수행하면서 배포 시점의 양자화를 시뮬레이션하므로, 목표 포맷을 네이티브로 지원하는 학습 하드웨어 없이도 모델이 양자화 노이즈에 적응할 수 있도록 합니다. 예를 들어 FP4 텐서 코어가 없는 H100 GPU에서도 NVFP4 학습을 지원합니다. 이 프레임워크는 NVFP4, MXFP4, 그리고 $\text{llama}.\text{cpp}$의 Q4_K 포맷을 지원하며, 밀집(dense) 및 전문가 혼합(MoE) 모델과 전체 매개변수 및 LoRA 기반 학습을 모두 지원합니다. 또한 추가적인 손실 변환 단계나 추론 오버헤드 없이 체크포인트를 vLLM 및 $\text{llama}.\text{cpp}$로 직접 내보냅니다. QATFactory를 활용하여 8B부터 230B 매개변수에 이르는 모델을 대상으로 광범위한 실험을 수행하고 프로덕션 추론 엔진에서 내보낸 체크포인트를 평가했습니다. 다양한 모델과 포맷 전반에서 QAD는 강력한 PTQ 베이스라인 대비 배포된 모델의 품질을 일관되게 향상시킵니다. Qwen3.5-9B의 경우, QAD는 NVFP4 환경에서 68.9%, MXFP4 환경에서 66.0%의 평균 벤치마크 정확도를 달성하여 가장 우수한 PTQ 결과인 각각 65.4%와 56.4%를 능가했습니다. 실험을 통해 두 FP4 포맷 모두 배포 시 가중치와 활성화를 양자화함에도 불구하고 최적의 학습 전략은 포맷에 따라 다르다는 점을 발견했습니다. NVFP4는 학습 중 가중치만 양자화할 때 전반적으로 더 나은 성능을 보이는 반면, MXFP4는 가중치와 활성화를 모두 양자화할 때 이점을 얻습니다. 고정된 학습 토큰 예산에서, 더 많은 4K 시퀀스로 학습하는 것보다 더 적은 수의 32K 시퀀스로 학습할 때 평균 정확도가 1.9%포인트 향상됩니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.