PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.19683v2cs.AR

MiX: 엔드투엔드 저비트 비전-언어 모델 가속을 위한 마이크로 역스케일링

MiX: Micro-Inverted-Scaling for End-to-End Low-Bit Vision-Language Model Acceleration

엣지 기기에서 비전-언어 모델(VLM)의 배포는 메모리 대역폭으로 인한 심각한 병목 현상을 겪고 있어, 공격적인 8비트 미만 양자화(quantization)가 필수적입니다. 엣지 가속기는 면적과 전력에 엄격한 제약이 있으므로 엔드투엔드 양자화 모델을 필요로 합니다. 그러나 멀티모달 토큰 간의 극단적인 동적 범위 격차로 인해 표준 블록 포맷은 단 하나의 거대한 이상치(outlier)가 공유 지수를 독점하여 주변 요소를 언더플로우시키고 어텐션(attention) 맵을 파괴하는 '마이크로스케일링 붕괴(microscaling collapse)'를 겪게 됩니다. 이러한 병목 현상을 해결하기 위해, 우리는 마이크로스케일링 패러다임을 수학적으로 역전시킨 새로운 포맷인 마이크로 역스케일링(MiX, Micro-Inverted-Scaling)을 제안합니다. MiX는 하나의 공유 지수 아래에 여러 가수를 그룹화하는 대신, 단일 공유 가수 아래에 요소별 개별 지수를 그룹화합니다. 비대칭적인 VLM 이상치 토폴로지를 처리하기 위해 적응형 듀얼 포맷(MiX-MX) 추론(inference) 프레임워크를 도입합니다. 공유된 MiX 가수를 대수적으로 인수분해함으로써, 이 프레임워크는 커스텀 가속기에 매핑되어 곱셈기를 효율적인 시프터로 대체합니다. 여러 VLM에서 엔드투엔드로 평가한 결과, 4.5비트 MiX 구성은 멀티모달 벤치마크에서 NVFP4와 동등하거나 우수한 정확도를 보였습니다. 동시에 MiX 가속기는 NVFP4 기준선(baseline) 대비 25% 향상된 면적 효율성을 제공하고, 최첨단 가속기인 Focus와 비교하여 여러 모델에 걸쳐 2.3~4.5배의 속도 향상과 1.4~2.9배의 에너지 절감을 달성하여 역스케일링 데이터패스가 효율적인 VLM 배포에 물리적으로 우수함을 입증했습니다.

arXiv:2610.03218v1cs.CV

VisionMX: 비전 모델을 위한 마이크로스케일링 사후 학습 양자화 구현

VisionMX: Unlocking Microscaling Post-Training Quantization for Vision Models

마이크로스케일링(Microscaling, MX) 포맷은 효율적인 학습(training) 및 추론(inference)을 위한 하드웨어 지원 접근법으로 주목받고 있습니다. 이 방식은 저정밀도(low-precision) 요소와 공유 블록 스케일을 결합하지만, 비전 모델에 미치는 영향은 아직 충분히 연구되지 않았습니다. 본 연구에서는 다양한 비전 모델 및 작업 전반에 걸쳐 사후 학습(post-training) MX 양자화(quantization)를 체계적으로 조사합니다. 직접 변환에 대한 분석을 통해 세 가지 오차 원인을 확인했습니다. 즉, 블록 스케일 표현, 일부 소형 합성곱 가중치(weight) 텐서와 비균일 요소 그리드 간의 불량한 정렬, 그리고 비음수 활성화 값에 의한 부호 있는 코드의 불충분한 활용입니다. 이러한 발견을 바탕으로, 유계 가중치 반올림(bounded weight rounding)을 최적화하고 활성화 값에 접을 수 있는 아핀 보정(foldable affine correction)을 적용하는 사후 학습 MX 양자화 방법인 VisionMX를 제안합니다. 여러 MX 스타일 포맷을 사용하여 이미지 분류(image classification), 객체 검출(object detection), 시맨틱 분할(semantic segmentation), 저조도 이미지 향상 작업 전반에서 VisionMX를 평가했습니다. VisionMX는 직접 변환 및 평가된 사후 학습 양자화 기준 모델들을 개선하며, MX 변환에 가장 민감한 아키텍처에서 가장 큰 폭의 성능 복구를 달성합니다.

arXiv:2609.28358v1cs.AR

MicroQonv: 학습 및 추론에서 효율적인 마이크로스케일링을 위한 합성곱 텐서 재구성

MicroQonv: Reshaping Convolution Tensors for Efficient Microscaling in Training and Inference

마이크로스케일링(microscaling) 양자화(quantization) 기법은 완전 정밀도(full-precision)에 가까운 정확도를 유지하면서 신경망(neural network) 파라미터를 8비트 이하로 표현하기 위해 점점 더 널리 사용되고 있습니다. 그러나 이러한 방법을 합성곱(convolution) 계층에 효율적으로 적용하는 것은 간단하지 않습니다. 순진한(naive) 접근법은 완전 정밀도 가중치와 활성화를 연산 장치로 전송하고 각 텐서(tensor)를 두 번 양자화하여 예상보다 훨씬 더 많은 메모리 이동을 초래합니다. 추가적인 오버헤드는 양자화 전에 적용되는 im2col 변환으로 인해 크기가 크게 증가하는 활성화 텐서에서 발생합니다. 우리는 각 텐서를 한 번만 양자화하고, 변형된 버전의 im2col인 channel-batch-first im2col을 적용하기 전에 활성화 텐서를 양자화함으로써 합성곱 계층의 순전파 및 역전파 연산과 마이크로스케일링을 결합하는 방법인 MicroQonv를 제안합니다. MicroQonv는 무시할 수 있는 수준의 정확도 손실만으로 가중치와 기울기(gradient)에 대한 양자화 비용을 $\times2$배, 활성화에 대해서는 최대 $\times9$배 줄입니다. 완전 정밀도 대상과 비교하여 메모리 이동과 스토리지를 최대 $\times7.53$배 줄입니다. 이러한 방식으로 MicroQonv는 최첨단 객체 검출(object detection) 모델인 YOLOV8nano에서 마이크로스케일링 양자화된 활성화 메모리 이동을 $\times3.5$배, YOLOV26nano에서는 $\times2.2$배 감소시킵니다. 또한 엣지 환경의 연속 학습(continual learning)을 위한 양자화 잠재 리플레이(quantized latent replay) 전략에서 4비트 마이크로스케일링을 가능하게 하여 정확도를 +5.7%에서 +11%까지 향상시킵니다.