언어 모델 가지치기에서 추론 중요도 추정의 취약성
The Fragility of Reasoning-Importance Attribution for Pruning Language Models
한국어 초록
기여도 기반 가지치기는 각 구성 요소의 인과적 기여를 점수화해 중요한 요소를 보호한다. 사고 과정을 훼손하지 않고 추론 언어 모델을 압축하는 데 점점 더 많이 쓰인다. 이 방법의 신뢰성은 추론 중요도를 충실히 측정할 수 있다는 검증되지 않은 가정에 달려 있다. 소형 추론 모델 네 개에서 가지치기 결정을 바꾸는 세 가지 측정 문제를 확인했다. 첫째, 일반적으로 사용하는 최종 답변 토큰 점수는 시험한 모든 사고 과정 모델에서 포화됐다. 모델이 추론 과정에 이미 답을 적기 때문에 답변 토큰의 음의 로그 가능도(NLL)는 $10^{-4}$~$10^{-3}$이었다. 시드 다섯 개로 검정력을 확보한 두 모델에서 최종 답변 토큰으로 헤드 가지치기를 유도하면 추론 토큰을 채점할 때보다 정확도가 각각 27.6점과 32.2점 낮았다. 펄플렉서티는 거의 달라지지 않았고 70억 매개변수 모델에서는 변화 방향이 반대였다. 둘째, 인과적 중요도를 개별 유닛에서 찾기 어렵다. 뉴런 하나의 효과는 측정 하한 수준이고 데이터 분할 간 순위는 잡음에 가깝다. 효과는 서로 상쇄된다. 그룹 전체를 제거했을 때의 효과는 그룹의 90%에서 개별 구성원의 효과를 합한 값과 부호가 달랐다. 재현 가능한 중요도는 뉴런 $\sim 100$개의 그룹에서야 나타났다. 셋째, 대조 방식으로 분리한 ‘추론 특화’ 중요도는 일반 중요도와 분리할 수 없었으며, 이를 기준으로 보호하는 방식은 원래 중요도를 기준으로 보호하는 것보다 성능이 낮았다. 증류에 따른 중요도 집중이 가지치기 비용을 예측한다는 가설도 사전 등록했으나 근거를 얻지 못했다. 실험 조합에서 집중도와 모델 규모의 효과가 섞여 있으므로 반증으로 해석하기보다 결론을 유보한다. 결과를 바탕으로 추론 토큰을 채점하고, 더 큰 단위에서 기여도를 산정하며, 펄플렉서티 대신 정확도로 평가하는 측정 원칙을 제시한다.
원문 초록
Attribution-guided pruning scores components by their causal contribution and protects the important ones, and it is increasingly applied to compress reasoning language models without destroying their chain of thought. Its reliability rests on an unexamined assumption: that reasoning importance can be faithfully measured. Across four small reasoning models, we show this measurement is fragile in three ways, each of which changes pruning decisions. First, scoring final-answer tokens, the natural choice, saturates in every chain-of-thought model we test (answer-token negative log-likelihood, NLL, of $10^{-4}$--$10^{-3}$) because the model states its answer inside its own reasoning; guiding head pruning with this target costs 27.6 and 32.2 accuracy points relative to scoring reasoning tokens on the two models we power with five seeds, while perplexity barely moves and even reverses sign at 7B. Second, causal importance is not localizable to single units: single-neuron effects sit at the measurement floor, their cross-split ranking is noise, and they cancel: a group's ablation effect disagrees in sign with the summed effects of its members in 90\% of groups. Reproducible importance emerges only at groups of $\sim 100$ neurons. Third, contrastively isolated ``reasoning-specific'' importance is not separable from generic importance, and protecting it is worse than protecting raw importance. We additionally pre-registered the hypothesis that distillation-induced concentration of importance predicts the pruning cost; it is not supported, and since our grid confounds concentration with scale, we report it as unresolved rather than reversed. The result is a short set of measurement rules: score reasoning tokens, attribute at coarse granularity, and evaluate with accuracy rather than perplexity.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.22234v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.