인과 귀속(Causal Attribution)을 통한 가지치기(Pruning)는 대규모 언어 모델(LLM)의 추론 성능을 보존한다
Pruning via Causal Attribution Preserves Reasoning Performance in Large Language Models
대규모 언어 모델(LLM)은 다단계 추론(multi-step reasoning)에 탁월하지만 상당한 추론(inference) 비용이 발생합니다. 우리는 추론 작업에 대한 인과적 영향을 측정하여 중요한 어텐션(attention) 헤드를 식별하고, 이 헤드 수준 점수를 사용하여 세밀한 가중치(weight) 가지치기(pruning)를 안내하는 학습(training)이 필요 없는 방법인 인과 귀속 가지치기(Causal Attribution Pruning, CAP)를 소개합니다. 각 어텐션 헤드에 대해 CAP는 소규모 추론 문제 보정(calibration) 세트에 대한 순전파(forward pass) 중 헤드가 마스크(mask)될 때 예상되는 성능 저하를 추정합니다. 이러한 인과 점수는 해당 투영 행렬(projection matrices)에 대한 가중치 수준 중요도 값으로 변환됩니다. 크기 기반(magnitude-only)이나 활성화 기반(activation-based) 기준과 달리, CAP의 개입 측정(interventional measurement)은 각 헤드의 기능적 기여를 직접 포착하여 20% 희소성(sparsity)에서 ARC-Challenge 벤치마크(benchmark)상 Wanda 대비 최대 61%의 상대적 정확도 향상을 이끌어냅니다. 우리는 10%, 20%, 50% 희소성에서 Llama-3-8B-Instruct 및 Mistral-7B-Instruct를 사용하여 GSM8K, StrategyQA, ARC-Challenge에서 CAP를 평가했습니다. 중간 수준의 희소성(10-20%)에서 CAP는 대부분의 모델-벤치마크 구성에서 Wanda보다 우수한 성능을 보였으며, 특히 Llama-3의 ARC-Challenge에서 큰 향상을 보였습니다. 우리의 결과는 동등한 희소성에서 어텐션 헤드 수준의 인과 귀속이 상관관계 기반 가지치기 기준보다 다운스트림 벤치마크(downstream benchmarks)에서 추론 성능을 더 잘 보존할 수 있음을 시사하지만, 50% 희소성에서는 거친 MLP 귀속(coarse MLP attribution)에 의해 여전히 제한됨을 보여줍니다.