arXiv:2307.04995

PowerFusion: A Tensor Compiler with Explicit Data Movement Description and Instruction-level Graph IR

Zixuan Ma, Haojie Wang, Jingze Xing, Liyan Zheng, Chen Zhang, Huanqi Cao, Kezhao Huang, Shizhi Tang, Penghan Wang, Jidong Zhai

제출 2023-07-11

원문 초록

Deep neural networks (DNNs) are of critical use in different domains. To accelerate DNN computation, tensor compilers are proposed to generate efficient code on different domain-specific accelerators. Existing tensor compilers mainly focus on optimizing computation efficiency. However, memory access is becoming a key performance bottleneck because the computational performance of accelerators is increasing much faster than memory performance. The lack of direct description of memory access and data dependence in current tensor compilers' intermediate representation (IR) brings significant challenges to generate memory-efficient code. In this paper, we propose IntelliGen, a tensor compiler that can generate high-performance code for memory-intensive operators by considering both computation and data movement optimizations. IntelliGen represent a DNN program using GIR, which includes primitives indicating its computation, data movement, and parallel strategies. This information will be further composed as an instruction-level dataflow graph to perform holistic optimizations by searching different memory access patterns and computation operations, and generating memory-efficient code on different hardware. We evaluate IntelliGen on NVIDIA GPU, AMD GPU, and Cambricon MLU, showing speedup up to 1.97x, 2.93x, and 16.91x(1.28x, 1.23x, and 2.31x on average), respectively, compared to current most performant frameworks.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2505.19912v4cs.CL공통 태그 GPU공식 코드 · Papers with Code

APE: 언어 모델 적응을 위한 수락 기준 기반 선택적 미세조정

APE: Selective Fine-tuning with Acceptance Criteria for Language Model Adaptation

본 논문에서는 모델의 안정성을 유지하면서 매개변수(parameter) 수정을 체계적으로 탐색하는 대규모 언어 모델(LLM) 적응용 선택적 미세조정(fine-tuning) 방법인 APE(Adjacent Possible Exploration)를 제시합니다. 진화적 최적화 원리에서 영감을 얻은 APE는 소규모 데이터 하위 집합에 대한 미세조정을 통해 여러 후보 매개변수 업데이트를 평가하고 성능 임계값을 초과하는 업데이트만을 수락합니다. 단일 그래디언트(gradient) 방향을 따르는 표준 미세조정과 달리, APE는 체계적인 개선을 가능하게 하면서도 모델을 불안정하게 만드는 매개변수 변화를 방지하는 필터링된 선택 프로세스를 구현합니다. 우리 방법은 최소한의 계산 자원만을 사용하면서도 뉴스 요약 태스크에서 33.9%의 BLEU 향상과 36.2%의 퍼플렉서티(perplexity) 감소를 달성합니다. 이 접근법은 성능 향상과 표현 안정성 사이의 균형을 맞추는 제어된 모델 적응을 위한 실용적인 프레임워크를 제공합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.