arXiv:2503.23817 cs.AR

MVDRAM: Enabling GeMV Execution in Unmodified DRAM for Low-Bit LLM Acceleration

제출 2025-03-31

한국어 초록

일반 행렬-벡터 곱셈(GeMV)은 양자화된 저비트 모델(quantized low-bit models)에서도 대형 언어 모델(LLM) 추론 과정에서 여전히 중요한 지연 병목 현상으로 남아 있습니다. 아날로그 인-DRAM 컴퓨팅 기술인 Processing-Using-DRAM(PUD)은 온디바이스(장치 내) DRAM을 GeMV 연산 엔진으로 재구성할 수 있는 잠재력을 지니고 있으며, 이를 통해 DRAM을 수정하지 않고도 광범위한 소비자 기기에서 고처리량(High-throughput) 처리 능력을 추가로 제공할 수 있습니다. 그러나 PUD를 LLM 추론 파이프라인 내 GeMV 연산에 적용할 경우, 인-DRAM 연산 전후에 상당한 오버헤드가 발생하여 고처리량 처리 능력의 이점을 저해하는 문제가 있습니다. 본 논문에서는 비수정 DRAM을 이용하여 저비트(under 4-bit) LLM 추론을 가속화하는 최초의 실용적 시스템인 MVDRAM(Memory-Driven DRAM)을 제안합니다. MVDRAM은 GeMV 연산의 데이터 공유 패턴과 수학적 선형성(linearity)을 활용하여, 기존 PUD 방식에서 요구되는 입력 데이터의 사전 정렬(pre-arranging)과 출력 비트 전환(bit-transposition) 비용을 제거하도록 프로세서와 DRAM을 효율적으로 조율합니다. 실험은 네 개의 DDR4 DRAM 모듈을 대상으로 수행했으며, 그 결과 MVDRAM은 저비트(4비트 미만) LLM의 GeMV 연산에서 프로세서 기반 구현과 유사하거나 더 빠른 추론 속도를 달성하였음을 보여줍니다. 특히, MVDRAM은 저비트 GeMV 연산에 대해 최대 7.29배(×7.29)의 속도 향상과 30.5배(×30.5)의 에너지 효율 향상을 이뤘습니다. 전체 LLM 추론 과정에서도 MVDRAM은 2비트 및 4비트 양자화된 저비트 모델에 대해 각각 2.18배(×2.18)와 1.31배(×1.31)의 처리량 향상과 3.04배(×3.04)와 2.35배(×2.35)의 에너지 효율 향상을 실현하였습니다. 이러한 성과는 표준 DRAM이 LLM 가속기로서의 가능성을 보여줌으로써, AI 하드웨어 분야의 지형을 재정의할 잠재력을 지니고 있습니다.

요약

Large language model (LLM) 추론에서 중요한 병목인 일반 행렬-벡터 곱셈(GeMV)의 성능 향상을 위해, 기존의 아날로그 인-DRAM 연산 기법인 Processing-Using-DRAM(PUD)의 한계를 극복하는 시스템이 제안됩니다. MVDRAM은 수정되지 않은 표준 DRAM을 활용하여, 데이터 공유 패턴과 수학적 선형성을 이용해 입력 재배열과 출력 비트 전환 비용을 제거함으로써, 저비트(4비트 이하) LLM의 GeMV 연산을 가속화합니다. 실험 결과, MVDRAM은 DDR4 DRAM 모듈에서 최대 7.29배의 속도 향상과 30.5배의 에너지 효율 개선을 달성하며, 전체 LLM 추론에서도 2.18배의 처리량 향상과 에너지 효율 향상을 보여줍니다. 이러한 성과는 표준 DRAM을 활용한 LLM 가속화 가능성을 보여주며, AI 하드웨어 분야에 새로운 전환점을 제시할 수 있습니다.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.