변위는 방향이 아니다: 양자화된 LLM 배포를 위한 충실도 메트릭 평가
Displacement Is Not Direction: Evaluating Fidelity Metrics for Quantized LLM Deployment
고정밀도 참조 모델에 대한 토큰별 KL 발산(KLD)과 같은 충실도 메트릭은 실무에서 벤치마크 품질에 대한 저비용 대리 지표로 자주 사용됩니다. 우리는 Qwen3.6-35B-A3B의 28개 양자화 그룹과 Devstral-Small-2-24B의 41개 양자화 그룹에 대해 다양한 다운스트림 벤치마크를 통해 이 관행을 테스트했습니다. 전체 그룹에서 KLD는 벤치마크 점수와 강한 상관관계가 있음을 발견했습니다 (Qwen에서 $ρ=-0.72$, Devstral에서 $ρ=-0.86$, 모두 $p<0.001$). 그러나 이 관계는 기준선 근처의 침묵 영역(silent zone)에서 유의미하지 않은 수준으로 붕괴됩니다 (Qwen에서 $ρ=+0.00$, Devstral에서 $ρ=-0.24$, $p=0.36$). 이러한 붕괴 현상은 서로 다른 KLD 집계 방식, 혼란도(perplexity) 공식, Top-1 일치율, 보정 말뭉치, 컨텍스트 길이를 포함한 14가지 측정 변형에 걸쳐 지속됩니다. 프롬프트 수준에서 살펴보면, KLD는 코드에 대한 실패 예측력이 약하며, LiveCodeBench의 5개 모델에서 실패-통과 기하 평균 비율이 $[1.08,1.22]$ 범위에 있고, 불일치 프롬프트에서 정확도 42.3%-49.4%만을 기록하여 모델 간 라우터로서의 역할을 수행하지 못했습니다. 우리는 이러한 붕괴의 원인을 구조적 분해를 통해 추적했습니다: KLD는 주로 참조 모델과의 불일치의 크기를 측정하는 것으로, 침묵 영역에서의 복합 $ρ$ 값은 Qwen에서 +0.94($p<0.001$), Devstral에서 +0.55($p=0.03$)에 달하지만, 불일치의 방향과의 관계는 약하고 과제 의존적입니다.