BRIM: 워크로드 균형 양측 비트 직렬 희소 추론 가속기
BRIM: Workload-Balanced Dual-Sided Bit-Serial Sparse Inference Accelerator
비트 직렬 가속기는 비트 수준 희소성을 활용하여 DNN 추론 비용을 줄이지만, 기존 설계는 한쪽 피연산자에서만 희소성을 활용하여 속도 향상에 한계가 있다. 희소성 활용을 양쪽 피연산자 모두에 동시에 확장하면 부분 곱이 복합적으로 감소하지만, 중요한 새로운 병목인 워크로드 불균형이 발생한다. 동시에 처리되는 각 가중치-활성화 쌍의 실행 비용은 독립적으로 변하는 두 피연산자의 비영 비트 수의 곱에 따라 달라지므로, 함께 완료되어야 하는 쌍들이 크게 다른 시점에 끝나 더 빠른 연산이 유휴 상태로 남는다. 기존 양측 설계에서 이로 인해 PE 활용률이 56-64%로 제한됨을 보인다. 본 논문은 이 병목을 직접 겨냥하는 하드웨어-소프트웨어 공동 설계 양측 비트 직렬 희소 가속기인 BRIM을 제시한다. BRIM은 두 가지 통합 메커니즘을 결합한다: 1) Cyclic-Balanced Pruning(CBP) — 프로파일링된 활성화 통계에 기반하여 가중치 표현을 재구성하고, 동시에 처리되는 쌍들 간 기대 워크로드를 오프라인에서 균등화하는 사후 학습 가중치 최적화; 2) Pairwise Slot Donation — 잔여 런타임 불균형을 미미한 면적 오버헤드로 흡수하는 경량 하드웨어 메커니즘. 동일 면적(iso-area) 제약 하에서 CNN, ViT, LLM에 대해 평가한 결과, BRIM은 기존 양측 설계 대비 PE 활용률 90% 이상, 최대 2.37배 속도 향상, 최대 1.63배 에너지 효율 개선을 달성한다.