PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.22238v2cs.LG

혼합 정밀도 양자화를 위한 태스크 인지 QUBO 할당

Task-Aware QUBO Allocation for Mixed-Precision Quantization

혼합 정밀도(mixed-precision) 양자화(quantization)는 가중치(weight) 및 활성화 비트 폭(bit-width)의 이산적 할당과 선택된 네트워크의 복구 과정을 필요로 합니다. 본 연구에서는 분리된 가중치 및 활성화 프로파일, 비트 연산(BOP) 비용, 그리고 선택된 구조적 사전 정보를 포함하는 태스크 인지 2차 무제약 이진 최적화(QUBO) 대리 모델(surrogate)을 개발합니다. QUBO는 직접적인 검증(validation) 기반 PROTES 탐색을 통해 미세 조정될 수 있는 네트워크 전반의 할당을 제공합니다. 소형 NAFBlock 기반 디노이저에서 정제된 경로는 HAWQ 스타일 기준선(baseline)의 4.101%에서 37.092 dB 대비, 4.035% 라우팅 층(layer) BOP에서 LSQ+ 적용 후 37.192 dB를 달성합니다. 반복 탐색 주요 실험에 따르면 LSQ+는 QUBO 할당과 비용이 많이 드는 직접 정제 간의 품질 격차를 대부분 좁히는 것으로 나타났습니다. 추가적인 복원 아키텍처에서는 더 큰 복구 이득을 유지하여, 정제의 효용이 아키텍처와 복구 방식에 따라 달라짐을 보여줍니다. 본 연구에서는 품질, 달성된 비용, 라우팅 안정성 및 최적화 비용을 종합적으로 평가합니다. 배포 측정은 가짜 양자화(fake-quantized) 부동소수점 구현을 특성화하며, BOP 감소는 해석적 할당 절감 효과를 나타냅니다.