엣지 기기에서 비전-언어 모델(VLM)의 배포는 메모리 대역폭으로 인한 심각한 병목 현상을 겪고 있어, 공격적인 8비트 미만 양자화(quantization)가 필수적입니다. 엣지 가속기는 면적과 전력에 엄격한 제약이 있으므로 엔드투엔드 양자화 모델을 필요로 합니다. 그러나 멀티모달 토큰 간의 극단적인 동적 범위 격차로 인해 표준 블록 포맷은 단 하나의 거대한 이상치(outlier)가 공유 지수를 독점하여 주변 요소를 언더플로우시키고 어텐션(attention) 맵을 파괴하는 '마이크로스케일링 붕괴(microscaling collapse)'를 겪게 됩니다. 이러한 병목 현상을 해결하기 위해, 우리는 마이크로스케일링 패러다임을 수학적으로 역전시킨 새로운 포맷인 마이크로 역스케일링(MiX, Micro-Inverted-Scaling)을 제안합니다. MiX는 하나의 공유 지수 아래에 여러 가수를 그룹화하는 대신, 단일 공유 가수 아래에 요소별 개별 지수를 그룹화합니다. 비대칭적인 VLM 이상치 토폴로지를 처리하기 위해 적응형 듀얼 포맷(MiX-MX) 추론(inference) 프레임워크를 도입합니다. 공유된 MiX 가수를 대수적으로 인수분해함으로써, 이 프레임워크는 커스텀 가속기에 매핑되어 곱셈기를 효율적인 시프터로 대체합니다. 여러 VLM에서 엔드투엔드로 평가한 결과, 4.5비트 MiX 구성은 멀티모달 벤치마크에서 NVFP4와 동등하거나 우수한 정확도를 보였습니다. 동시에 MiX 가속기는 NVFP4 기준선(baseline) 대비 25% 향상된 면적 효율성을 제공하고, 최첨단 가속기인 Focus와 비교하여 여러 모델에 걸쳐 2.3~4.5배의 속도 향상과 1.4~2.9배의 에너지 절감을 달성하여 역스케일링 데이터패스가 효율적인 VLM 배포에 물리적으로 우수함을 입증했습니다.
기존 가속기에서 텐서(tensor) 내 이종 정밀도 지원이 제한적이기 때문에, 신경망(neural network) 양자화(quantization)는 주로 텐서별 정밀도 할당에 국한되어 왔다. 본 논문에서는 가중치(weight) 프로젝션 블록에 독립적인 비트 폭을 할당함으로써 각 텐서 내에서 혼합 정밀도(mixed-precision) 양자화를 가능하게 하는 하드웨어-소프트웨어 통합 설계 프레임워크인 ShatterQuant를 제시한다. ShatterQuant는 정밀도 단위와 PE(Processing Element) 구성을 결합하여 각 정밀도가 유효 블록 높이를 결정하도록 한다. 우리는 (1) 블록 수준의 표준편차와 가중치 민감도를 기반으로 텐서 내 정밀도를 할당하는 하드웨어 인식 사후 학습(post-training) 기법, (2) 1/2/4/8비트 가중치 정밀도, 정밀도 의존적 PE 구성, 블록 재스케일링, 통합된 소프트맥스(softmax) 및 구분적 선형 비선형성을 지원하는 ShatterQuant 트랜스포머 가속기, 그리고 (3) 1 GHz로 동작하는 TSMC 16nm PDK 구현을 통해 모델-하드웨어 트레이드오프를 평가하여 1.5 TOPS, 760 GOPS/$mm^2$ 면적 효율, 2.8 TOPS/W 에너지 효율을 달성한 결과를 소개한다. DeiT 및 ImageNet-1K에서 ShatterQuant는 2비트 더 낮은 유효 비트 폭을 사용하면서도 최신 혼합 정밀도 기법 대비 $3.3\%$ 이내의 정확도를 달성하며, PixelDiT에 대해서는 동등한 수준의 생성 품질을 보여준다. ShatterQuant는 하드웨어-소프트웨어 통합 설계를 통해 미세한 텐서 내 혼합 정밀도가 어떻게 실현될 수 있는지를 입증한다.
비트 직렬 가속기는 비트 수준 희소성을 활용하여 DNN 추론 비용을 줄이지만, 기존 설계는 한쪽 피연산자에서만 희소성을 활용하여 속도 향상에 한계가 있다. 희소성 활용을 양쪽 피연산자 모두에 동시에 확장하면 부분 곱이 복합적으로 감소하지만, 중요한 새로운 병목인 워크로드 불균형이 발생한다. 동시에 처리되는 각 가중치-활성화 쌍의 실행 비용은 독립적으로 변하는 두 피연산자의 비영 비트 수의 곱에 따라 달라지므로, 함께 완료되어야 하는 쌍들이 크게 다른 시점에 끝나 더 빠른 연산이 유휴 상태로 남는다. 기존 양측 설계에서 이로 인해 PE 활용률이 56-64%로 제한됨을 보인다. 본 논문은 이 병목을 직접 겨냥하는 하드웨어-소프트웨어 공동 설계 양측 비트 직렬 희소 가속기인 BRIM을 제시한다. BRIM은 두 가지 통합 메커니즘을 결합한다: 1) Cyclic-Balanced Pruning(CBP) — 프로파일링된 활성화 통계에 기반하여 가중치 표현을 재구성하고, 동시에 처리되는 쌍들 간 기대 워크로드를 오프라인에서 균등화하는 사후 학습 가중치 최적화; 2) Pairwise Slot Donation — 잔여 런타임 불균형을 미미한 면적 오버헤드로 흡수하는 경량 하드웨어 메커니즘. 동일 면적(iso-area) 제약 하에서 CNN, ViT, LLM에 대해 평가한 결과, BRIM은 기존 양측 설계 대비 PE 활용률 90% 이상, 최대 2.37배 속도 향상, 최대 1.63배 에너지 효율 개선을 달성한다.
BitFair는 XR 웨어러블의 초저전력·저지연 요구를 충족하기 위해 학습 가능한 비트 수준 조기 종료(early termination)와 적응형 비트 순서를 결합한 소프트웨어-하드웨어 공동 설계 비트 직렬 CNN 가속기로, ReLU 출력이 0이 될 것을 부분 합으로 예측해 불필요한 비트 연산을 생략한다. GlobalFoundries 12nm FinFET으로 구현한 결과 IBM DVS128 Gesture와 N-MNIST에서 각각 96.5%, 97.7% 정확도를 달성하며 기존 XR 비전 가속기 대비 에너지 효율을 최대 22.1배 향상시켰다.
하드웨어 가속기는 이제 온라인 서빙의 크리티컬 패스에 자리한다. GPU, FPGA, 그리고 점점 증가하는 원격 서비스—하드웨어 보안 모듈, 포스트-퀀텀 KEM, 추론 서버 등이 그 예다. 세밀한 오프로드(수 마이크로초에서 수 밀리초)에서 발생하는 스톨에 대한 고전적인 두 가지 대응책은 모두 실패한다: 컨텍스트 스위치는 오프로드만큼의 비용이 들고, 바쁜 대기(busy-wait)는 코어를 낭비한다. 오프로드를 다른 요청과 중첩(overlap)하는 것이 해결책이며, 기존 시스템들은 동시성을 추가하는 방식으로 이를 달성했다—비동기 프레임워크 재작성, 새로운 런타임 또는 데이터플레인 OS 도입, 혹은 수작업으로 조율된 포인트 통합이 그 방법이다. 우리는 동시성이 이미 존재한다는 사실을 관찰한다: 동시 요청을 처리한다는 것은 요청을 중단(suspend)하고 재개(resume)하는 것이므로, 모든 서버는 중첩에 필요한 메커니즘을 이미 내장하고 있다. 따라서 중첩은 재작성 문제가 아니라 라우팅 문제다: 오프로드를 실행기(executor)에 제출하고, 서버 자체의 지연 응답(deferred-response) 프리미티브로 요청을 중단한 뒤, 완료 시 재개하면 된다. 모든 프로덕션 동시성 모델을 아우르는 10개의 범용 서버에 걸쳐, 이 방법은 22~138줄 추가, 최대 1줄 수정만으로 실제 하드웨어에서 1.2~5.4배의 성능을 회복한다; 서버의 동시성 모델과 오프로드의 가중치가 두 수치를 사전에 예측하며, 성능 이득은 장치 처리량과 서버 자체의 중첩 용량에 의해 제한된다. 극단적인 경우, LD_PRELOAD 파이버 런타임이 수정되지 않은 스레드-연결당(thread-per-connection) 바이너리에 재라우팅을 주입하여 특성화된 범위 내에서 17.3배의 성능을 달성한다. 재라우팅은 실행-완료(run-to-completion) 원자성을 중단시키는데, 측정된 분류 체계(taxonomy)가 위험 요소를 잠금 없는 공유 집계(unlocked shared aggregates)로 국한시키며, 투명한 페이지 보호 감지기가 해당 부분을 정확히 보호한다—이는 표준 Redis에서 검증되었다.
대규모 언어 모델(LLM)의 급속한 성장은 엄격한 추론 지연 시간과 전력 제약을 만족시킬 수 있는 특화 하드웨어 가속기에 대한 수요를 더욱 강화했다. 행렬 곱셈이 전체 계산 워크로드를 지배하지만, LayerNorm, RMSNorm, 소프트맥스와 같은 비선형 벡터 정규화 연산은 중요한 하드웨어 병목이 될 수 있다. 기존 가속기들은 일반적으로 이러한 함수들을 전용 하드웨어 블록으로 구현하여 중복된 자원과 비효율적인 실리콘 활용을 초래한다. 이러한 한계를 해결하기 위해, 통합 데이터 경로 내에서 세 연산을 모두 실행할 수 있는 프로그래머블 아키텍처인 미니멀리스트 정수 벡터 엔진(MIVE)을 제안한다. LayerNorm, RMSNorm, 소프트맥스에 걸친 공통 계산 패턴을 활용함으로써, 제안된 벡터 엔진은 구현 오버헤드를 줄이면서 하드웨어 공유를 최대화한다. 물리적 ASIC 구현 결과에 따르면, MIVE는 포괄적인 다기능 지원을 제공하면서 대부분의 최신 독립형 가속기보다 더 높은 면적 및 하드웨어 효율성을 달성한다.