arXiv:2208.03646

A Length Adaptive Algorithm-Hardware Co-design of Transformer on FPGA Through Sparse Attention and Dynamic Pipelining

Hongwu Peng, Shaoyi Huang, Shiyang Chen, Bingbing Li, Tong Geng, Ang Li, Weiwen Jiang, Wujie Wen, Jinbo Bi, Hang Liu, Caiwen Ding

제출 2022-08-07

원문 초록

Transformers are considered one of the most important deep learning models since 2018, in part because it establishes state-of-the-art (SOTA) records and could potentially replace existing Deep Neural Networks (DNNs). Despite the remarkable triumphs, the prolonged turnaround time of Transformer models is a widely recognized roadblock. The variety of sequence lengths imposes additional computing overhead where inputs need to be zero-padded to the maximum sentence length in the batch to accommodate the parallel computing platforms. This paper targets the field-programmable gate array (FPGA) and proposes a coherent sequence length adaptive algorithm-hardware co-design for Transformer acceleration. Particularly, we develop a hardware-friendly sparse attention operator and a length-aware hardware resource scheduling algorithm. The proposed sparse attention operator brings the complexity of attention-based models down to linear complexity and alleviates the off-chip memory traffic. The proposed length-aware resource hardware scheduling algorithm dynamically allocates the hardware resources to fill up the pipeline slots and eliminates bubbles for NLP tasks. Experiments show that our design has very small accuracy loss and has 80.2 $\times$ and 2.6 $\times$ speedup compared to CPU and GPU implementation, and 4 $\times$ higher energy efficiency than state-of-the-art GPU accelerator optimized via CUBLAS GEMM.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27547v1cs.LG공통 태그 GPU, CPU, Scheduling

EBRL: 다중 세분도 자원 관리를 통한 비동기 체현형 RL

EBRL: Asynchronous Embodied RL by Multi-Grained Resource Management

체현형 강화학습(RL)은 환경 시뮬레이션, 행동 생성, 모델 업데이트로 이루어진 파이프라인을 통해 모델 역량을 향상시킨다. 이러한 단계들은 서로 다른 CPU·GPU 수요를 보여 효율적인 자원 활용을 어렵게 한다. 최근 시스템은 효율을 위해 롤아웃(시뮬레이션 및 생성)과 학습을 겹치지만, 롤아웃에서 GPU를 독점 할당하고 동기화 배리어를 두는 방식은 여전히 하드웨어 자원 낭비가 크다. 본 논문에서는 두 가지 핵심 기법을 갖춘 비동기 체현형 RL 학습 시스템 EBRL을 제안한다. 비동기 파이프라인 스케줄러는 롤아웃과 학습을 겹치고, 환경 그룹 간에 시뮬레이션과 생성을 파이프라인으로 연결하며, 각 환경을 독립적으로 실행해 동기화로 인한 정체를 없앤다. 세분화된 자원 관리자는 CPU 코어와 GPU 스트리밍 멀티프로세서(SM)를 풀로 묶고, 단계별 프로파일과 런타임 피드백으로 단계 간 변하는 수요에 맞춰 자원 할당량과 배치 크기를 조정한다. EBRL을 RLinf 위에 구현하고, 이질적 GPU 테스트베드에서 체현형 정책 네 종과 시뮬레이션 벤치마크 네 종으로 평가했다. 실험 결과 EBRL은 SOTA 체현형 RL 시스템 대비 end-to-end 롤아웃 처리량 1.30–3.47배, 학습 수렴 속도 2.5배를 달성했다.

arXiv:2607.10183v1cs.DC공통 태그 GPU, CPU, Scheduling

소비자 기기에서의 하이브리드 CPU-GPU 대규모 언어 모델 추론을 위한 자동화 텐서 스케줄링

Automated Tensor Scheduling for Hybrid CPU-GPU LLM Inference on Consumer Devices

노트북이나 데스크톱과 같은 소비자 기기에서 대규모 언어 모델(LLM)을 실행하는 것은 모델 가중치가 GPU 메모리 용량을 초과하는 경우가 많아 CPU 메모리로 유효 모델 용량을 확장하기 위한 오프로딩 추론이 필요하다는 점에서 어려움이 있다. 그러나 기존 오프로딩 시스템은 대개 거친 층 수준 또는 전문가 수준의 스케줄링에 의존하여, 같은 층 내 텐서 간의 상당한 이질성을 간과하고 해당 기기의 변화하는 하드웨어 부하 조건에 적응하지 못한다. 본 논문은 텐서 세분성 수준에서 오프로딩을 수행하는 소비자 기기용 하이브리드 CPU-GPU 추론 시스템인 ATSInfer를 제안한다. ATSInfer는 정적 텐서 배치와 부하 인식 동적 전송을 결합하고, 비동기 CPU-GPU 협조 방식을 도입하여 이기종 백엔드 전반에 걸쳐 하드웨어 스토리지, 데이터 이동, 연산을 효율적으로 스케줄링한다. 우리는 ATSInfer를 구현하고 밀집 모델과 전문가 혼합(MoE) 모델 모두를 사용하여 대표적인 소비자 플랫폼에서 평가하였다. 기존 시스템 대비 ATSInfer는 프리필(prefill) 처리량을 최대 1.94배, 디코드(decode) 처리량을 최대 3.29배 향상시키는 동시에 GPU 활용률을 높이고 PCIe 대역폭을 더욱 효과적으로 사용한다. 이러한 결과는 ATSInfer가 개인 소비자 기기에서의 로컬 LLM 배포 사용자 경험을 크게 개선할 수 있음을 보여준다.

arXiv:2607.05475v1cs.AR공통 태그 GPU, CPU, Scheduling

당신의 NPU는 LLM을 위해 준비되었는가? 모바일 LLM 추론의 숨겨진 효율성 병목 분석

Is Your NPU Ready for LLMs? Dissecting the Hidden Efficiency Bottlenecks in Mobile LLM Inference

모바일 기기에 대규모 언어 모델(LLM)을 배포하면 프라이버시를 강화하고 지연 시간을 줄일 수 있지만, 하드웨어 비효율성으로 인해 심각한 병목이 발생한다. 본 연구에서는 5개의 주류 프레임워크(예: llama.cpp, GENIE)와 3개의 하드웨어 백엔드(CPU, GPU, NPU)를 아우르는 최초의 포괄적인 크로스 레이어 모바일 LLM 추론 측정 연구를 제시한다. 이 분석을 가능하게 하기 위해, 기존의 기기 수준 측정을 넘어 최초로 백엔드별 에너지 귀인을 제공하는 세밀한 프로파일링 도구인 PowerBench를 개발하였다. 본 연구는 세 가지 핵심 인사이트를 도출한다: (1) 프레임워크로 인한 성능 격차는 NPU에서 크게 증폭되며, 오프로딩 및 양자화 전략의 차이로 인해 커스텀 연산자 사용 시 최대 10배에 달한다. (2) NPU가 연산 집약적인 프리필링(prefilling)에서 뛰어난 성능을 보이는 반면, CPU는 메모리 집약적인 디코딩에서 다른 모든 백엔드를 능가하는 명확한 단계 분리를 확인하였다. 이는 디코딩의 소형 커널, 동적 특성과 충돌하는 NPU의 대형 고정 형상 워크로드 선호에 기인한다. (3) 백엔드별 프로파일링을 통해 기존 연구에서 간과된 상당한 스케줄링 여유 공간이 드러났다. 최적화되지 않은 스레드 구성, 비조율된 NPU 슬립 지연 시간, CPU 폴링 간격으로 인해 최대 40%의 에너지 낭비가 발생한다. 이러한 연구 결과를 바탕으로, 모바일 LLM 추론을 위한 에너지 중심의 모범 구성을 제시한다. 이 구성은 세 개의 데이터셋에 걸쳐 NPU 백엔드에서 에너지 소비를 최대 54.8%까지 절감할 수 있을 것으로 추정된다.

arXiv:2607.12121v3cs.DC공통 태그 GPU, Scheduling

FlashDiff: 확산 모델 서빙을 위한 효율적인 지역 실행 및 스케줄링

FlashDiff: Efficient Regional Execution and Scheduling for Diffusion Model Serving

확산 모델은 현대의 이미지, 비디오, 오디오 생성의 핵심 백본이 되었지만, 이를 효율적으로 서비스하는 것은 여전히 난제로 남아 있다. 자기 회귀(autoregressive) 디코딩과 달리, 확산 추론(inference)은 많은 노이즈 제거(denoising) 단계에 걸쳐 고차원 공간 또는 시간 잠재 변수(latent)를 반복적으로 갱신한다. 이 전체 영역(all-region) 실행 패턴은 생성 지연 시간을 높이고 서빙 처리량을 제한한다. 기존의 다중 GPU 병렬화 방법은 단계당 연산을 줄일 수 있지만, 종종 상당한 활성화(activation) 교환 오버헤드를 유발하여 통신 비용이 병렬 실행의 이점을 상쇄하거나 심지어 상회하기도 한다. 본 논문은 적응형 지역 실행 및 스케줄링을 통해 추론 효율을 향상시키는 확산 서빙 시스템 FlashDiff를 제안한다. FlashDiff는 확산 정제(refinement)가 잠재 변수 영역이나 노이즈 제거 단계 전반에 걸쳐 균일하지 않다는 관찰에 기반한다. 서로 다른 영역은 종종 서로 다른 속도로 안정화되며, 인접한 단계들은 강한 시간적 상관관계를 보인다. FlashDiff는 이러한 특성을 활용하여 추가 정제가 필요한 영역만 선택적으로 실행하고, 그로 인해 발생하는 연산 여유를 동시 서빙 요청들에 재할당한다. FlashDiff는 세 가지 메커니즘으로 구성된다. 첫째, 초기 단계 어텐션(attention) 신호를 사용하여 잠재 표현을 일관된 실행 영역으로 분해함으로써 의미 구조를 보존하면서 세밀한 병렬성을 드러낸다. 둘째, 경량 런타임 컨트롤러를 사용하여 영역 활성도를 추정하고, 추가 정제가 출력 품질에 영향을 줄 가능성이 낮을 때 영향이 적은 갱신을 우회한다. 셋째, 친화도 인식(affinity-aware) 온라인 스케줄러를 적용하여 의존적인 영역을 공동 배치(co-locate)하고, GPU 간 잔여 부하를 균형 있게 분배하며, 회수된 연산 용량을 재사용하여 서빙 효율을 향상시킨다. 실제 이미지, 비디오, 오디오 워크로드에서 FlashDiff는 종단 간 서빙 지연 시간을 30-97% 줄이고 처리량을 1.2-2.2배 향상시킨다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.