QuantWM: 월드 모델 및 비디오 생성을 위한 시간적으로 일관된 2비트 KV 캐시 양자화
QuantWM: Temporally Consistent 2-Bit KV Cache Quantization for World Models and Video Generation
KV 캐시 메모리는 비디오 생성과 월드 모델 배포의 주요 병목이 되었으며, 이는 효율을 위한 저비트 양자화 연구를 촉진한다. 기존 2비트 KV 캐시 양자화 방법은 VBench와 같은 비디오 벤치마크에서 거의 무손실에 가까운 성능을 달성할 수 있지만, 우리는 이들이 여전히 심각한 시간적 깜박임과 시각적 저하를 일으킨다는 것을 발견했다. 한편, 더 깊은 분석은 Key 양자화가 Value보다 더 작은 재구성 오류를 만들지만, 놀랍게도 훨씬 더 큰 출력 저하로 이어진다는 것을 보여준다. 우리는 이러한 불일치를 어텐션으로 추적한다. 작은 Key perturbation은 어텐션 logit, 즉 QK^\top을 바꿀 수 있고, Query가 선택하는 시간-공간 토큰을 이동시킬 수 있다. 이러한 관찰은 시각적 저하 문제를 완화하기 위해 KV 캐시 양자화 동안 어텐션 logit과 시간-공간 토큰 선택을 명시적으로 보존하도록 동기를 부여한다. 이 문제를 해결하기 위해, 우리는 무학습(training-free)이며 엄격하게 인과적인 2비트 KV 캐시 양자화 프레임워크인 QuantWM을 제안한다. QuantWM은 어텐션 이동을 완화하기 위해 두 가지 상보적 기법을 도입한다. 첫째, 양자화 민감도 인식 클러스터링(QSAC)은 과거 Query 민감도와 잔차 범위를 함께 고려하여 INT2에 적합한 Key 중심을 선택하고, 어텐션에 더 중요한 채널에서 양자화 오류를 줄인다. 또한, 주성분 부분공간 어텐션 보상(PSAC)은 저랭크 투영을 사용하여 지배적 Query 부분공간을 따라 남은 Key 오류를 복원하며, 어텐션 logit을 안정화하기 위한 직접적이고 효율적인 보정을 제공한다. Causal-Forcing, LingBot-World-v2, HY-World 1.5, Matrix-Game-2, Longcat-Video에 대한 광범위한 실험은 QuantWM이 시각적 품질과 시간적 일관성을 크게 개선하며, 최대 6.20배 KV 캐시 메모리 압축과 제한적인 추가 오버헤드 하에서 이미지 및 비디오 품질 지표 전반에서 기존 방법을 능가함을 보여준다.