MicroQonv: 학습 및 추론에서 효율적인 마이크로스케일링을 위한 합성곱 텐서 재구성
MicroQonv: Reshaping Convolution Tensors for Efficient Microscaling in Training and Inference
마이크로스케일링(microscaling) 양자화(quantization) 기법은 완전 정밀도(full-precision)에 가까운 정확도를 유지하면서 신경망(neural network) 파라미터를 8비트 이하로 표현하기 위해 점점 더 널리 사용되고 있습니다. 그러나 이러한 방법을 합성곱(convolution) 계층에 효율적으로 적용하는 것은 간단하지 않습니다. 순진한(naive) 접근법은 완전 정밀도 가중치와 활성화를 연산 장치로 전송하고 각 텐서(tensor)를 두 번 양자화하여 예상보다 훨씬 더 많은 메모리 이동을 초래합니다. 추가적인 오버헤드는 양자화 전에 적용되는 im2col 변환으로 인해 크기가 크게 증가하는 활성화 텐서에서 발생합니다. 우리는 각 텐서를 한 번만 양자화하고, 변형된 버전의 im2col인 channel-batch-first im2col을 적용하기 전에 활성화 텐서를 양자화함으로써 합성곱 계층의 순전파 및 역전파 연산과 마이크로스케일링을 결합하는 방법인 MicroQonv를 제안합니다. MicroQonv는 무시할 수 있는 수준의 정확도 손실만으로 가중치와 기울기(gradient)에 대한 양자화 비용을 $\times2$배, 활성화에 대해서는 최대 $\times9$배 줄입니다. 완전 정밀도 대상과 비교하여 메모리 이동과 스토리지를 최대 $\times7.53$배 줄입니다. 이러한 방식으로 MicroQonv는 최첨단 객체 검출(object detection) 모델인 YOLOV8nano에서 마이크로스케일링 양자화된 활성화 메모리 이동을 $\times3.5$배, YOLOV26nano에서는 $\times2.2$배 감소시킵니다. 또한 엣지 환경의 연속 학습(continual learning)을 위한 양자화 잠재 리플레이(quantized latent replay) 전략에서 4비트 마이크로스케일링을 가능하게 하여 정확도를 +5.7%에서 +11%까지 향상시킵니다.