PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.13054v1cs.LG

TWLA: 사후학습 양자화를 통한 LLM의 3진 가중치 및 저비트 활성화 달성

TWLA: Achieving Ternary Weights and Low-Bit Activations for LLMs via Post-Training Quantization

대규모 언어 모델(LLM)의 활성화 분포 문제를 해결하여 1.58비트 가중치와 4비트 활성화 양자화를 달성하는 사후학습 양자화(PTQ) 프레임워크인 TWLA를 제안한다. 가중치를 3진 분포로 재구성하고 활성화 이상치를 억제하는 최적화 기법을 통해 높은 정확도를 유지하면서 추론 속도를 크게 향상시킨다.