arXiv:2212.07936

A Study on the Intersection of GPU Utilization and CNN Inference

Jack Kosaian, Amar Phanishayee

제출 2022-12-15

원문 초록

There has been significant progress in developing neural network architectures that both achieve high predictive performance and that also achieve high application-level inference throughput (e.g., frames per second). Another metric of increasing importance is GPU utilization during inference: the measurement of how well a deployed neural network uses the computational capabilities of the GPU on which it runs. Achieving high GPU utilization is critical to increasing application-level throughput and ensuring a good return on investment for deploying GPUs. This paper analyzes the GPU utilization of convolutional neural network (CNN) inference. We first survey the GPU utilization of CNNs to show that there is room to improve the GPU utilization of many of these CNNs. We then investigate the GPU utilization of networks within a neural architecture search (NAS) search space, and explore how using GPU utilization as a metric could potentially be used to accelerate NAS itself. Our study makes the case that there is room to improve the inference-time GPU utilization of CNNs and that knowledge of GPU utilization has the potential to benefit even applications that do not target utilization itself. We hope that the results of this study will spur future innovation in designing GPU-efficient neural networks.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.08427v1cs.AR공통 태그 GPU, Neural Architecture Search

FPGN: 미분 가능한 LUT를 이용한 초고속 프로그래머블 게이트 기반 신경망 가속의 재정의

FPGN: Redefining Ultra-Fast Programmable Gate-based Neural Acceleration with Differentiable LUTs

심층 신경망(DNN)에서 나노초 수준의 추론 지연을 달성하는 것은 지연 시간이 중요한 애플리케이션에서 핵심 아키텍처 과제로 부상하고 있다. 필드 프로그래머블 게이트 어레이(FPGA)는 저지연 추론을 위한 유망한 기반을 제공하지만, 기존 FPGA 가속기는 여전히 산술 연산 중심으로 LUT를 주로 수치 연산자와 주변 로직의 구성 요소로만 활용한다. 이와 달리, 최근의 LUT 네이티브 신경망은 LUT를 학습 가능한 뉴런으로 취급하여 내재적 논리 표현성을 활용할 수 있는 이론적 잠재력을 보여준다. 그러나 기존 방법들은 대부분 알고리즘 최적화에 국한되어 이 이론적 잠재력을 고성능 FPGA 가속기로 실현하는 데 실패한다. 구체적으로, 이들의 미분 가능한 공식은 FPGA LUT 프리미티브와 충실히 일치하지 않고, 물리적 특성을 고려하지 않은 토폴로지는 배선 가능성과 타이밍 클로저를 저해하며, 자동화된 최적화 흐름의 부재는 체계적인 설계 공간 탐험(DSE) 및 효율적인 하드웨어 구현을 방해한다. 본 논문에서는 LUT 네이티브 학습과 지연 최적화된 FPGA 구현 간의 격차를 해소하는 종단간 물리적 인식 프레임워크인 FPGN을 제안한다. FPGN은 (i) FPGA 네이티브 LUT 뉴런 학습을 위한 하드웨어 정렬 미분 가능 공식, (ii) 배선 지역성과 타이밍 클로저를 향상시키는 스트리밍 하드웨어 아키텍처를 갖춘 구조화된 LUT 네이티브 토폴로지, (iii) 고충실도 분석적 결과 품질 모델을 활용하여 DSE와 하드웨어 생성을 자동화하는 지연 기반 컴파일러를 통해 이러한 과제를 해결한다. 실험 결과, FPGN은 대표적인 FPGA 기반 BNN 가속기 대비 최대 205배의 지연 감소와 기존 미분 가능한 LUT 네이티브 네트워크 대비 최대 30배 높은 LUT 효율을 달성하면서 경쟁력 있는 추론 정확도를 유지함을 보인다.

arXiv:2606.28372v1cs.NE공통 태그 GPU, Neural Architecture Search

자동 튜닝에서의 제약 인식 최적화

Constraint-aware Optimization in Auto-Tuning

자동 성능 튜닝(auto-tuning)은 고성능 컴퓨팅의 핵심 기법으로, 복잡하고 변화하는 하드웨어 아키텍처에 애플리케이션이 적응할 수 있도록 한다. 핵심 과제는 크고 이산적이며 제약이 있는 매개변수(parameter) 공간에서 최적화를 수행해야 한다는 점으로, 하드웨어 또는 소프트웨어 정확성 제약으로 인해 많은 후보 구성이 유효하지 않다. 차분 진화(Differential Evolution), 입자 군집 최적화(Particle Swarm Optimization), 유전 알고리즘(Genetic Algorithms)과 같은 전통적인 진화 알고리즘은 본질적으로 제약을 인식하지 못하므로, 유효하지 않은 해를 평가하는 데 계산 자원을 낭비하는 경우가 많다. 본 연구에서는 자동 튜닝을 위한 네 가지 진화 알고리즘의 제약 인식 변형을 제안하고 평가한다. 대표적인 벤치마크 모음에 대한 광범위한 실험을 통해, 제약 인식 최적화가 제약 없는 방법에 비해 더 빠른 수렴(convergence)과 향상된 성능을 달성함을 보인다. 나아가 우리의 방법이 제약 기반 자동 튜닝의 최신 프레임워크인 pyATF 방법을 능가함을 입증한다. 실험 결과는 최적화 과정에 제약 인식을 통합함으로써 실제 자동 튜닝 문제에서의 적용 가능성과 효과성이 크게 향상됨을 보여준다. 제약 인식은 탐색 공간 희소성(sparsity)과 상관관계를 가지며 평균적으로 알고리즘 효율을 약 39 향상시켰다. 본 연구에서 개발된 알고리즘은 Kernel Tuner 프레임워크에 오픈소스로 공개되어 향후 연구를 촉진하고 사용자들에게 도움을 제공한다.

arXiv:2606.29119v1cs.CL공통 태그 GPU, Neural Architecture Search

진화적 외부 루프가 도움이 되지 않을 때를 사전에 파악하기: 사전 등록된 저비용 기준선 스크리닝 규칙

Knowing in Advance When an Evolutionary Outer Loop Will Not Help: A Pre-Registered Cheap-Baseline Screening Rule

우리는 신경망 파라미터 또는 구조에 대한 진화적/집단적/수명 주기 기반 외부 루프를 구축할 가치가 있는지를 구현 전에 결정하는 사전 등록된 스크리닝 규칙을 소개한다. 이러한 외부 루프는 그래디언트 내부 루프보다 10^2~10^3배의 비용이 들지만, 저비용의 단발(single-shot) 대안을 능가하는지 여부는 대개 비용을 지불한 후에야 발견된다. 우리의 규칙은 Phase-0 게이트에서 단일 수치를 계산한다: 회수율 R = s/G, 즉 최선의 단발 그래디언트/곡률 통계의 이득 s를 평가된 임의의 저비용 방법의 최선 이득 G로 나눈 값이며, R >= 90%일 때 외부 루프를 건너뛰도록 처방한다. 우리는 사전 등록된 외부 루프 베팅의 실험실 내 일련의 사례들(분석된 두 가지 사례와 공개된 파일 서랍)에 대해 이 규칙을 검증한다: 분석된 두 사례 모두에서 정적 또는 단발 계산이 프로젝트 자체 지표에 대한 효과를 포착하였고, 게이트가 작동하였으며(두 사례 모두 R ≈ 1.0; 한 사례에서 더 엄격한 지표 기준으로는 ≈ 0.95), 외부 루프는 포기되었다. 그 중 한 사례에서는 동반된 요인 분해(factorial decomposition)가 외견상의 성능 향상을 정적 기반(substrate) 변경으로 국한시켰으며, 진화적 수명 주기는 탐지 가능한 이득을 기여하지 않는 것으로 나타났다. 한 프로젝트에서 게이트 비용은 약 50~70 GPU 시간이었으며, 추정 400+ GPU 시간(첫 번째 셀 기준)과 수 주의 구현 작업을 걸러냄으로써 6~8배의 절감 효과를 얻었다. 이 규칙은 전향적으로 반증 가능하다: R < 90%인 태스크에서 외부 루프가 여전히 단발을 능가하지 못한다면 이 규칙은 반증된다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.