4비트 미만 비전 CNN이 붕괴하는 이유와 혼합 정밀도 복구가 멈추는 지점
Why Sub-4-Bit Vision CNNs Collapse and Where Mixed-Precision Recovery Stops
한국어 초록
자원이 제한된 환경에서 동작하는 심층 비전 모델은 저비트 양자화에 크게 의존하지만, 가중치를 4비트 미만으로 압축하면 종종 치명적인 정확도 붕괴가 발생한다. 혼합 정밀도 복구 전략은 고정밀도 매개변수를 선별적으로 유지하여 정확도를 되살리려 하지만, 이러한 모델이 어디에서 왜 붕괴하는지에 대한 근본적인 메커니즘은 여전히 잘 이해되지 않고 있다. 본 연구에서는 ImageNet-1k 검증 이미지 전체 50,000장으로 평가한 표준 비전 CNN(ResNet 및 EfficientNet 백본 포함) 전반에 걸쳐 양자화 붕괴의 해부학적 구조를 체계적으로 분석한다. 첫째, 성능 저하의 진행을 정확히 도식화하여 붕괴가 매우 비선형적이며 후반 단계의 점별 투영과 깊이별 계층에 집중됨을 보인다. 둘째, 선택적 정수 정밀도(INT4/INT8)와 선택적 부동소수점 스케일을 평가하는 구조화된 다단계 복구 워터폴을 도입한다. 핵심 계층 활성화의 5% 미만을 8비트 정밀도로 유지하면 공격적인 4비트 미만 압축으로 손실된 정확도의 최대 92%를 회복함을 보인다. 마지막으로 표준 ARM 및 x86 CPU 아키텍처에서 배포 성능을 평가하여 하드웨어 현실의 간극을 메운다. 저비트 양자화가 메모리 저장 요구량을 줄이는 반면, 표준 런타임 소프트웨어의 비트 언패킹은 배치 크기에 따라 1.48배에서 21.5배의 실행 속도 저하를 초래함을 보이며, 이는 모델 크기와 실제 엣지 처리량 사이의 중대한 상충 관계를 부각한다. 본 연구 결과는 하드웨어 성능을 희생하지 않고 4비트 미만 배포의 한계를 탐색하기 위한 실용적인 청사진을 제공한다.
원문 초록
Deep vision models operating in resource-constrained environments depend heavily on low-bit quantization, yet compressing weights below 4 bits frequently induces catastrophic accuracy collapse. While mixed-precision recovery strategies aim to rescue accuracy by selectively retaining high-precision parameters, the fundamental mechanics of where and why these models collapse remain poorly understood. In this study, we systematically analyze the anatomy of quantization collapse across standard Vision CNNs (including ResNet and EfficientNet backbones) evaluated on the full 50,000-image ImageNet-1k validation set. First, we map the exact progression of degradation, demonstrating that collapse is highly non-linear and concentrated in late-stage pointwise projections and depthwise layers. Second, we introduce a structured, multi-step recovery waterfall that evaluates selective integer precision (INT4/INT8) and selective floating-point scales. We show that keeping less than 5% of critical layer activations in 8-bit precision recovers up to 92% of the accuracy lost during aggressive sub-4-bit compression. Finally, we bridge the hardware reality gap by evaluating deployment performance on standard ARM and x86 CPU architectures. We show that while low-bit quantization reduces memory storage requirements, standard runtime software bit-unpacking introduces a 1.48x to 21.5x execution slowdown depending on batch size, highlighting a critical trade-off between model footprint and actual edge throughput. Our findings provide a practical blueprint for navigating the limits of sub-4-bit deployment without sacrificing hardware performance.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.23445v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.