명령 기반 희소화: 다중 작업 추론 가속기를 위한 작업 조건부 연산 건너뛰기
Sparse by Command: Task-Conditional Compute Skipping for Multi-Task Inference Accelerators
다중 작업 추론 모델은 다양한 작업에 걸쳐 단일 백본(backbone)을 공유하지만, 어떤 작업이 활성화되어 있든 동일한 연산을 수행하여 작업과 무관한 연산에 에너지와 사이클을 낭비한다. 우리는 추론이 시작되기 전에 일반적으로 이용 가능한 작업 명령(task command)이 하드웨어 수준에서 불필요한 연산을 건너뛰는 데 활용할 수 있는 무료 신호를 제공한다는 것을 관찰한다. 우리는 백본과 공동 학습되는 경량 게이팅 네트워크가 작업 입력에 조건부로 타일별 이진 실행 마스크를 예측하는 HW/SW 공동 설계 접근법을 제안한다. 각 타일은 고정된 출력 채널 그룹(가속기의 고유 스케줄링 단위)에 대응하므로, 마스크된 타일을 오버헤드 없이 건너뛸 수 있다. 이는 작업 의존적 연산 감소를 달성하며, 각 명령은 모델 아키텍처나 추론 파이프라인을 변경하지 않고도 네트워크에서 필요한 부분집합만 활성화한다. 우리는 전체 시스템 스택을 공동 설계한다: 희소성 목표 하에서 하드웨어 정렬 타일 마스크를 학습하는 명령 조건부 학습 절차; 명령어가 타일별 비트마스크 필드를 포함하여 소프트웨어 개입 없이 하드웨어가 마스크된 타일을 건너뛸 수 있게 하는 명령어 집합 아키텍처(ISA); 그리고 구성 가능한 병렬성, 이중 버퍼 메모리, 희소 타일 실행을 기본 지원하는 INT8 데이터 경로를 갖춘 타일 기반 추론 가속기. 우리는 AMD/Xilinx Alveo U50 FPGA에 프로토타입을 구현하고 CARLA 자율주행 시뮬레이터의 폐루프(closed-loop) 시각-운동(visuomotor) 주행 작업에서 평가한다. 작업 조건부 희소성은 주행 품질을 유지하면서 FLOPs를 66-76% 감소시킨다. 온디바이스 지연시간은 51-59% 감소하여 9.12 ms에서 3.74-4.44 ms로 줄어들며(2.1-2.4배 가속), 추론당 에너지는 263 mJ에서 108-128 mJ로 감소한다.