PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2506.11784v2cs.CV

GPLQ: Vision Transformer를 위한 범용·실용·고속 QAT 방법

GPLQ: A General, Practical, and Lightning QAT Method for Vision Transformers

비전 Transformer(ViT)는 컴퓨터 비전(CV)에서 필수적이지만 계산 비용도 매우 크다. 모델 양자화, 특히 4-bit와 같은 낮은 비트 폭으로의 양자화는 이러한 부담을 줄이려 하지만, 기존 사후 학습 양자화(PTQ)와 양자화 인지 학습(QAT) 방법은 뚜렷한 한계를 보인다. PTQ는 종종 큰 정확도 하락을 겪는 반면, QAT는 높은 정확도를 얻지만 과도한 계산 비용, 다운스트림 과제로의 제한된 일반화, 학습 불안정성, 오픈소스 코드베이스 부재 등의 문제가 있다. 이를 해결하기 위해 본 논문은 ViT 양자화를 위해 설계된 효율적이고 효과적인 새로운 프레임워크인 General, Practical, and Lightning Quantization(GPLQ)를 제안한다. GPLQ는 두 가지 핵심 실증적 통찰에 기반한다: 활성화 양자화의 최우선적 중요성, 그리고 일반화를 유지하기 위해 모델의 원래 최적화 ``basin''을 보존해야 한다는 필요성. 따라서 GPLQ는 순차적인 ``활성화 우선, 가중치 후순'' 전략을 따른다. 1단계에서는 가중치를 FP32로 유지한 채 특징 모방 손실로 활성화만 양자화하며, 단 1 에포크만으로 동일한 ``basin''에 머물게 하여 일반화를 보존한다. 2단계에서는 PTQ 방법으로 가중치를 양자화한다. 그 결과 GPLQ는 기존 QAT 방법보다 100배 빠르고, 메모리 사용량을 FP32 학습보다도 낮은 수준으로 낮추며, ImageNet 정확도와 세밀한 시각 분류 및 객체 검출을 포함한 다양한 다운스트림 과제로의 일반화 모두에서 FP32 모델과 매우 경쟁력 있는 4-bit 모델 성능을 달성한다. 여러 비전 과제를 지원하는 사용하기 쉬운 오픈소스 툴킷을 공개할 예정이다.