KV-캐시 압축을 위한 어블레이션, 통계적 추론 및 검증
Ablation, Statistical Inference, and Validation for KV-Cache Compression
본 연구는 Turbo-Quant와 SpectralQuant KV-캐시 압축을 체계적으로 비교하며, Beta Lloyd-Max 및 QJL과 결합된 WHT 회전을 포함한 비지배 방식들을 통계적 검증 방법론을 통해 평가한다. 이 방법론은 체계적인 코덱 차이와 구현 분산을 분리한다. 주요 발견으로는, 고유기저 기반 방법이 공분산 불안정성으로 인해 중꼬리 분포 데이터에서 실패하는 반면, 구조적 체계에서는 우수한 성능을 보임을 확인하였다. 또한 유효 의미 차원($d_{eff}$)이 실제 데이터 랭크가 아닌 보정 예산에 따라 적응함을 밝혔다. (this is an abstract of the abstract thank you )