MIVE: 소프트맥스, LayerNorm 및 RMSNorm 가속을 위한 미니멀리스트 정수 벡터 엔진
MIVE: A Minimalist Integer Vector Engine for Softmax LayerNorm and RMSNorm Acceleration
대규모 언어 모델(LLM)의 급속한 성장은 엄격한 추론 지연 시간과 전력 제약을 만족시킬 수 있는 특화 하드웨어 가속기에 대한 수요를 더욱 강화했다. 행렬 곱셈이 전체 계산 워크로드를 지배하지만, LayerNorm, RMSNorm, 소프트맥스와 같은 비선형 벡터 정규화 연산은 중요한 하드웨어 병목이 될 수 있다. 기존 가속기들은 일반적으로 이러한 함수들을 전용 하드웨어 블록으로 구현하여 중복된 자원과 비효율적인 실리콘 활용을 초래한다. 이러한 한계를 해결하기 위해, 통합 데이터 경로 내에서 세 연산을 모두 실행할 수 있는 프로그래머블 아키텍처인 미니멀리스트 정수 벡터 엔진(MIVE)을 제안한다. LayerNorm, RMSNorm, 소프트맥스에 걸친 공통 계산 패턴을 활용함으로써, 제안된 벡터 엔진은 구현 오버헤드를 줄이면서 하드웨어 공유를 최대화한다. 물리적 ASIC 구현 결과에 따르면, MIVE는 포괄적인 다기능 지원을 제공하면서 대부분의 최신 독립형 가속기보다 더 높은 면적 및 하드웨어 효율성을 달성한다.