가산 코드북을 활용한 대규모 언어 모델의 다중 비트폭 양자화
Multi-Bitwidth Quantization for LLMs Using Additive Codebooks
재학습 없이 대규모 언어 모델(LLM)의 가중치 정밀도를 유연하게 조절할 수 있는 다중 비트폭 사후학습 양자화 프레임워크인 Drop-by-Drop를 제안한다. 가산 코드북과 마트료시카 스타일 감독을 통해 단일 모델로 다양한 비트폭을 지원하여 저장 공간과 메모리 오버헤드를 줄이면서도 주요 아키텍처에서 경쟁력 있는 성능을 달성했다.