PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.12876v1cs.LG

가산 코드북을 활용한 대규모 언어 모델의 다중 비트폭 양자화

Multi-Bitwidth Quantization for LLMs Using Additive Codebooks

재학습 없이 대규모 언어 모델(LLM)의 가중치 정밀도를 유연하게 조절할 수 있는 다중 비트폭 사후학습 양자화 프레임워크인 Drop-by-Drop를 제안한다. 가산 코드북과 마트료시카 스타일 감독을 통해 단일 모델로 다양한 비트폭을 지원하여 저장 공간과 메모리 오버헤드를 줄이면서도 주요 아키텍처에서 경쟁력 있는 성능을 달성했다.