PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2505.18610v2cs.CL공식 코드 · Papers with Code

PM-KVQ: 긴 사고의 연쇄(Long-CoT) 대규모 언어 모델을 위한 점진적 혼합 정밀도 KV 캐시 양자화

PM-KVQ: Progressive Mixed-precision KV Cache Quantization for Long-CoT LLMs

최근 긴 사고의 연쇄(Chain-of-Thought, CoT) 기법을 통해 추론 능력을 갖춘 대규모 언어 모델(LLM) 개발에 있어 상당한 진전이 이루어졌다. 그러나 이 긴 CoT 추론 과정은 대용량 Key-Value(KV) 캐시로 인해 상당한 메모리 오버헤드를 유발한다. 사후 학습 KV 캐시 양자화는 유망한 압축 기법으로 부상하여 짧은 컨텍스트 시나리오에서 광범위하게 연구되어 왔다. 그러나 기존 방법을 긴 CoT LLM에 직접 적용하면 다음 두 가지 이유로 심각한 성능 저하가 발생한다: (1) 큰 누적 오류: 기존 방법들은 가용 메모리를 충분히 활용하지 못하며, 각 디코딩 단계에서 KV 캐시를 직접 양자화하여 큰 누적 양자화 오류를 초래한다. (2) 짧은 컨텍스트 보정: 회전 위치 임베딩(Rotary Positional Embedding, RoPE)으로 인해 보정 시 짧은 컨텍스트 데이터를 사용하면 Key 캐시 내 출현 빈도가 낮은 채널의 분포를 반영하지 못해 성능 손실이 발생한다. 우리는 위의 문제를 두 가지 측면에서 해결하기 위해 긴 CoT LLM을 위한 점진적 혼합 정밀도 KV 캐시 양자화(Progressive Mixed-Precision KV Cache Quantization, PM-KVQ)를 제안한다: (1) 누적 오류를 줄이기 위해 각 블록에서 KV 캐시의 비트 폭을 점진적으로 낮추는 점진적 양자화 전략을 설계한다. 이어서 민감도가 높은 트랜스포머 블록에 더 높은 비트 폭을 할당하는 블록 단위 메모리 할당을 제안한다. (2) 추가 오버헤드 없이 보정 길이를 늘리기 위해, 짧은 보정 데이터에 위치 보간(positional interpolation)을 적용하여 긴 컨텍스트 데이터의 분포를 근사하는 새로운 보정 전략을 제안한다. 7B~70B 규모의 긴 CoT LLM에 대한 광범위한 실험 결과, PM-KVQ는 동일한 메모리 예산 하에서 최신 기법(SOTA) 대비 추론 벤치마크 성능을 최대 8% 향상시키며, 원래 16비트 LLM 대비 2.73~5.18배의 처리량을 달성한다.