PyTorchKR Papers

최신 논문

총 7편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.23089v1cs.AI

LLM 기반 Triton 커널 최적화를 위한 컴파일러 기반 계층적 진단

Compiler-Grounded Hierarchical Diagnosis for LLM-Based Triton Kernel Optimization

대규모 언어 모델(LLM)의 최근 발전으로 자동화된 커널 생성 및 최적화가 가능해졌지만, 기존 접근 방식의 대부분은 컴파일 피드백 및 프로파일링 지표와 같은 표면적 신호에 의존한다. 이러한 신호는 커널이 느리다는 사실은 알려주지만, 특히 NPU와 같은 신흥 가속기에서 백엔드 컴파일러가 유리한 최적화를 구현하지 못하는 이유는 밝혀주지 않는다. 따라서 우리는 소스 재작성 전에 런타임 증상을 IR 구조 및 컴파일러 동작과 연결하는 점진적 교차층 진단 문제로 커널 최적화를 공식화한다. 이러한 통찰을 바탕으로 Triton 커널을 위한 컴파일러 기반 계층적 최적화 프레임워크인 본 시스템을 제안한다. 본 시스템은 가벼운 패턴 선별 및 프로파일링 진단에서 시작하여 더 깊은 증거가 필요할 때만 IR 귀속 및 컴파일러 기반 분석으로 단계를 높인 뒤, 증거에 기반한 소스 수준 재작성을 제안한다. 본 시스템을 Ascend NPU용 Triton에 구현하고, 표준화된 NPUKernelBench 기반 Ascend 950 벤치마크에서 성공적으로 변환된 37개 항목에 대해 평가한다. 이들 항목 전체에서 시스템은 초기 Triton 커널에서 최적화된 Triton 커널까지 기하평균 4.35$\times$, 중앙값 2.73$\times$의 속도 향상을 달성한다. 37개 중 22개는 2$\times$를 초과하고 13개는 5$\times$를 초과한다. 전체 분포는 기준선에 근접한 항목부터 큰 성능 향상까지 이르는 범위를 보이며, 이는 현재 시스템의 범위와 한계를 투명하게 보고할 필요를 부각한다.

arXiv:2607.20518v1cs.AI

CANN Bench: 실제 NPU 및 알고리즘적 한계 대비 에이전트 생성 커널 벤치마킹

CANN Bench: Benchmarking Agent Generated Kernels against Real NPU and Algorithmic Limits

AI 에이전트는 이제 다양한 하드웨어 플랫폼에서 저수준 연산자(operator) 커널을 작성하고, 컴파일하며, 반복적으로 최적화할 수 있다. 그러나 기존 벤치마크는 거의 전적으로 CUDA와 Triton에 초점을 맞추어, 프로그래밍 모델 노출이 적은 하드웨어 생태계에는 공통 평가 기준선이 없다. 우리는 Huawei Ascend NPU에서 AI 생성 연산자 코드를 위한 공개 벤치마크인 CANN Bench를 제안한다. 현재 릴리스는 단순 elementwise 기본 연산부터 MoE dispatch 및 FlashAttention 커널까지, FP16, BF16, FP32, INT8 정밀도 형식을 아우르는 53개 연산자와 1060개 테스트 케이스를 네 가지 난이도 등급으로 구성한다. 평가는 컴파일, 기능적 정확성, 성능을 독립 축으로 취급하는 3차원 가중 복합 점수를 채택하여, 커널 생성 에이전트에 원칙적인 보상 신호를 제공한다. 성능은 즉시 사용 가능한 PyTorch-on-Ascend 기준선과 실제 NPU 하드웨어에서의 케이스별 분석적 Hardware-Anchored Performance(HAP) 한계에 대해 채점되어, 점수가 측정 아티팩트가 아닌 진정한 최적화 여지를 반영하도록 한다. 평가 하네스는 근본적으로 보상 해킹(reward hacking)에 저항하도록 설계되었다. CANN Bench는 공식 CANN 저장소 내에서 버전 관리되며, 장기적인 커뮤니티 공동 구축을 위해 설계되어 Ascend 생태계에 AI 연산자 작성 역량에 대한 정량적이고 재현 가능하며 지속적으로 유지되는 척도를 제공한다.

arXiv:2607.11211v1cs.LG

FastTPS: AI 가속기를 위한 LLM 토큰 단계 최적화 방법

FastTPS: An Optimized Method for LLM Token Phase for AI accelerators

대규모 언어 모델(LLM)의 인기가 높아지면서 효율적인 추론에 대한 지속적인 수요가 증가하고 있다. 그러나 디코더 전용 LLM 추론의 토큰 단계에서 토큰이 순차적으로 처리되기 때문에, 내재적인 낮은 병렬성으로 인해 처리량이 감소하고 인공지능(AI) 가속기의 연산 유닛 활용도가 저하된다. 특히 상당한 메모리 오버헤드를 수반하는 긴 시퀀스 입력을 처리할 때 이러한 문제가 두드러진다. 최근 다수의 방법이 잠재적 해결책으로 제안되었으나, 수치적 편차가 발생한다는 문제가 있다. 본 논문은 일반 AI 가속기에서 LLM 추론의 토큰 단계를 가속화하기 위한 고성능이면서 정밀도 손실이 적은 방법인 FastTPS를 제안한다. FastTPS는 세 가지 핵심 구성 요소를 포함한다: (1) 메모리 접근 오버헤드를 줄이고 어텐션의 완전 융합을 가능하게 하는 AI 가속기 기반 리로딩 없는 KV Cache 연결, (2) 타일링 최적화된 FLAT 기반의 고효율·고정밀도 'RoPE' 어텐션, (3) 세밀한 파이프라인 스케줄링을 적용한 고도 융합 MLP. 실험 결과, FastTPS는 토큰 단계의 메모리 병목 현상을 크게 완화하며, AMD Ryzen AI 300 시리즈 NPU에서 BF16 정밀도로 Phi3-mini-4k-instruct 추론 시 미융합 대비 6배의 속도 향상을 달성하면서 피크 메모리 대역폭 활용률 93%를 유지함을 확인하였다.

arXiv:2607.09385v1cs.DC

STEEL: AMD XDNA NPU에서 에너지 효율적인 긴 시퀀스 추론을 위한 희소성 인식 융합 어텐션

STEEL: Sparsity-Aware Fused Attention for Energy-Efficient Long-Sequence Inference on AMD's XDNA NPU

운영체제 워크플로우 내에서 대규모 언어 모델 기반 에이전트의 도입이 증가함에 따라, 노트북급 시스템온칩(SoC)에서의 에너지 효율적인 추론의 중요성이 높아지고 있다. 클라우드 오프로딩이 여전히 일반적이지만, 이는 에이전트 워크로드에 특히 문제가 되는 신뢰성 및 개인정보 보호 문제를 야기한다. 따라서 최근 노트북 SoC는 에너지 효율에 최적화된 신경처리엔진(NPU)을 내장하고 있으나, 아키텍처의 다양성과 명시적 데이터 이동 프로그래밍 모델로 인해 NPU에 어텐션 메커니즘을 효과적으로 매핑하는 것은 여전히 어려운 과제이다. 본 연구에서는 XDNA 계열 NPU를 대상으로 하는 FlashAttention의 최초 오픈소스 구현체인 STEEL을 제안한다. STEEL은 프리필(prefill) 어텐션의 데이터플로우 정식화를 도입하여 공간적 병렬성과 온칩 메모리의 효율적인 활용을 가능하게 한다. 또한 STEEL은 희소성 인식 파이프라인 배치를 NPU 어레이에 적용함으로써 인과적 마스크(causal mask)로 인한 부하 불균형 문제를 해결하여 동기화 오버헤드를 줄이고 활용률을 향상시킨다. AMD Ryzen AI 9 HX 370 SoC에서 STEEL을 평가하고 최적화된 CPU 및 GPU 구현체와 성능을 비교한 결과, STEEL은 CPU 및 GPU 기준 대비 평균 각각 9.17배, 1.75배의 에너지 소비 절감을 달성하였다. XDNA 1에서 STEEL은 기존 최고 수준 대비 평균 9.6배의 지연 시간 감소를 달성하였으며, XDNA 2에서는 층별 어텐션 구현 대비 평균 22.8배의 속도 향상을 제공한다.

arXiv:2607.05475v1cs.AR

당신의 NPU는 LLM을 위해 준비되었는가? 모바일 LLM 추론의 숨겨진 효율성 병목 분석

Is Your NPU Ready for LLMs? Dissecting the Hidden Efficiency Bottlenecks in Mobile LLM Inference

모바일 기기에서의 대규모 언어 모델(LLM) 추론 효율성을 분석하기 위해 5개 프레임워크와 CPU/GPU/NPU 3종 하드웨어 백엔드를 아우르는 최초의 포괄적 크로스 레이어 측정 연구를 수행하고, 백엔드별 에너지 귀인이 가능한 프로파일링 도구 PowerBench를 개발하였다. NPU는 연산 집약적 프리필링 단계에서 강점을 보이는 반면 메모리 집약적 디코딩에서는 CPU가 우위를 점하는 "단계 분리(phase split)" 현상과 스케줄링 비효율로 인한 최대 40% 에너지 낭비를 규명하여, 최적 구성 적용 시 NPU 백엔드 에너지 소비를 최대 54.8%까지 절감할 수 있음을 보였다.

arXiv:2606.11257v1cs.CL

모바일 NPU에서의 에너지 효율적인 온디바이스 검색-증강 생성(RAG): Snapdragon X Elite에서의 시스템 설계 및 벤치마크

Energy-Efficient On-Device RAG on a Mobile NPU: System Design and Benchmark on Snapdragon X Elite

검색-증강 생성(RAG) 파이프라인은 임베딩, 검색, 재순위화, 대규모 언어 모델(LLM) 생성을 결합하므로 연산 집약적입니다. 이를 완전히 온디바이스에서 실행하면 프라이버시, 지연 시간, 오프라인 사용에 이점이 있지만, CPU 추론의 에너지 비용은 주요 장벽입니다. 우리는 Snapdragon X Elite의 Qualcomm Hexagon NPU에서 모든 신경망 단계(임베딩, 재순위화, LLM 생성)를 실행하는, 우리가 아는 한 최초의 엔드-투-엔드 RAG 파이프라인을 제시합니다. Dell XPS 13 노트북에서 프로파일링을 수행하여, 인덱싱 및 쿼리 워크로드에 대해 NPU 가속 RAG를 CPU 및 OpenCL/Adreno GPU 기준선(baseline)과 비교했습니다. 인덱싱에서 NPU는 9.1배 더 높은 임베딩 처리량(throughput)과 12.3배 더 적은 시스템 에너지를 달성했습니다. 120개 쿼리의 Wikipedia 문단 벤치마크에서, NPU는 CPU 기준선(baseline) 대비 18.1배 더 빠른 LLM 프리필링(prefilling), 4.0배 더 낮은 엔드-투-엔드 쿼리 지연 시간, 그리고 4.0배 더 적은 시스템 에너지를 제공했습니다. 동일한 워크로드를 통합 GPU에서 실행했을 때는 CPU보다 1.7배 느리고 NPU보다 6.5배 더 많은 에너지를 사용했습니다. GPT-4.1 LLM-as-judge 평가 결과, NPU의 답변 품질은 평가자 노이즈 범위 내에서 CPU 및 GPU와 동등한 수준으로 나타났으며(1-10점 루브릭에서 평균 9.32 vs 8.95 vs 9.03), 86.7%의 쿼리가 세 가지 백엔드 모두에서 동일한 점수를 기록했습니다. 따라서 Snapdragon X Elite / Hexagon 클래스의 노트북 SoC에서 NPU는 품질 저하 없이 실용적이고 에너지 효율적인 온디바이스 RAG를 가능하게 합니다. 이는 소프트웨어 스택이 성숙해짐에 따라 유사한 모바일 NPU(Apple Neural Engine, Intel NPU, MediaTek APU)로 일반화될 것으로 기대되는 그린 엣지 인텔리전스(green edge intelligence)로 가는 지속 가능한 경로입니다.

arXiv:2606.11357v1cs.DC

TileFuse: AMD NPU에서 효율적인 양자화 LLM 추론을 위한 융합 혼합 정밀도 커널 라이브러리

TileFuse: A Fused Mixed-Precision Kernel Library for Efficient Quantized LLM Inference on AMD NPUs

AMD XDNA2 NPU에서 AWQ 스타일의 양자화(quantization) LLM 추론(inference)을 위한 혼합 정밀도(mixed-precision) 커널 라이브러리 TileFuse를 소개한다. 언패킹, 역양자화, GEMM 실행을 융합한 설계를 통해 전체 정밀도 대비 최대 281%의 성능 향상과 64.6% 이상의 에너지 절감을 달성했다.