Weight Pruning Amplifies Bias: A Multi-Method Study of Compressed LLMs for Edge AI
한국어 초록
가중치 프루닝(weight pruning)은 자원이 제한된 IoT 및 엣지 디바이스에 대규모 언어 모델(LLM)을 배포하기 위한 방법으로 널리 권장되지만, 모델 공정성에 미치는 영향은 여전히 충분히 이해되지 않고 있습니다. 우리는 3개의 인스트럭션 튜닝된 모델(Gemma-2-9b-it, Mistral-7B-Instruct-v0.3, Phi-3.5-mini-instruct)을 대상으로, 3가지 프루닝 방법(Random, Magnitude, Wanda)과 4개 희소성 수준(10~70%)을 적용하고, 5개의 무작위 시드를 사용하여 BBQ 편향 벤치마크 항목 12,148개에 대해 통제된 실증 연구를 수행했으며, 총 2,368,860개의 추론 기록을 분석했습니다. 그 결과 우리는 스마트 프루닝 역설(Smart Pruning Paradox)을 확인했습니다. 즉, 활성화 인식 프루닝(Wanda)은 퍼플렉시티를 거의 완벽하게 유지했으며(Mistral-7B에서 50% 희소성일 때 증가율은 단 3.5%), 동시에 가장 큰 편향 증폭을 초래했습니다. 구체적으로, 고정관념 의존 점수(Stereotype Reliance Score)는 83.7% 증가했고, 70% 희소성에서는 이전에 편향이 없던 항목의 47~59%가 새로운 고정관념적 행동을 보였습니다. 반면 Random 프루닝은 퍼플렉시티가 10^4를 넘고 10^8에 도달할 정도로 언어 능력을 완전히 파괴했지만, 편향은 무작위 수준에 그쳤습니다. 또한 우리는 비구조화 프루닝이 실제 엣지 하드웨어에서 저장 공간 절감도, 추론 지연 감소도 전혀 제공하지 않음을 보여주었으며, 이는 IoT 배포에서 이 방법을 사용하는 주요 동기를 약화시킵니다. 180개의 dense-vs-pruned 비교 중 141개(78.3%)가 유의미했으며($p < 0.05$), 평균 $|h| = 0.305$였습니다. 공개된 양자화 연구들은 응답의 최대 21%가 편향 상태와 비편향 상태 사이를 전환한다고 보고하는데, 우리의 프루닝 결과는 전환율이 거의 3배 더 높음(47~59%)을 보여 주며, 프루닝이 양자화보다 정렬(alignment)에 본질적으로 더 큰 위험을 초래함을 시사합니다. 이러한 결과는 퍼플렉시티 기반 평가는 행동적 동등성에 대한 잘못된 확신을 제공하며, IoT 배포 파이프라인은 엣지에서 프루닝된 모델을 배포하기 전에 편향 인식 검증을 요구함을 보여 줍니다.
요약
사물인터넷(Internet of Things, IoT)과 엣지 AI 환경에서 대규모 언어 모델(Large Language Model, LLM)을 활용하려는 요구가 커지면서, 모델 압축은 필수적인 배포 전략으로 자리 잡고 있습니다. 그러나 기존 연구가 주로 퍼플렉서티(perplexity)나 메모리 사용량 같은 효율 지표에 집중해 온 반면, 압축 이후 모델이 여전히 공정하고 안전하게 작동하는지에 대해서는 충분히 검증되지 않았습니다. 이러한 문제의식에서 출발한 이 연구는 가중치 프루닝(weight pruning)이 단순한 성능 저하를 넘어 편향을 어떻게 변화시키는지 체계적으로 분석합니다. 저자들은 Gemma-2-9b-it, Mistral-7B-Instruct-v0.3, Phi-3.5-mini-instruct 세 개의 지시 미세조정 모델에 Random, Magnitude, Wanda(Weights AND Activations) 세 가지 프루닝 방법을 적용하고, 10%에서 70%까지 네 단계 희소도(sparsity)를 변화시키며 12,148개의 BBQ(Bias Benchmark for Question Answering) 문항을 다섯 개 시드로 반복 평가했습니다. 그 결과 총 2,368,860개의 추론 기록을 확보하여, 프루닝 방식과 희소도, 모델 크기 사이의 상호작용을 정밀하게 비교할 수 있는 실증 기반을 마련했습니다. 분석의 핵심은 저자들이 “Smart Pruning Paradox”라고 부르는 역설적 현상입니다. 활성값을 함께 고려하는 Wanda는 언어 생성 능력을 거의 그대로 보존해, 예를 들어 Mistral-7B에서 50% 희소도일 때도 퍼플렉서티 증가가 3.5%에 불과했지만, 동시에 Stereotype Reliance Score(SRS)를 크게 악화시켜 편향을 오히려 증폭시켰습니다. 특히 70% 희소도에서는 이전에 무편향이던 항목의 47~59%가 새롭게 고정관념적 응답으로 전환되었는데, 이는 압축이 단순히 정확도만 조금 흔드는 것이 아니라 모델의 행동 양식을 질적으로 바꿀 수 있음을 보여줍니다. 반대로 Random 프루닝은 퍼플렉서티를 극단적으로 악화시켜 언어 능력을 사실상 붕괴시키지만, 편향은 무작위 수준에 머무는 양상을 보였습니다. 이러한 대비는 표준 평가 지표가 모델의 실제 행동 변화를 충분히 드러내지 못하며, 퍼플렉서티가 낮다고 해서 안전 정렬(alignment)까지 유지된다고 볼 수 없다는 점을 분명히 합니다. 방법론적으로도 이 연구는 의미가 큽니다. 저자들은 단순한 집계 평균이 아니라 항목 수준의 전이 분석을 수행해, dense 모델에서는 무편향이던 사례가 프루닝 이후 새롭게 편향으로 이동하는 비율을 정량화했습니다. 또한 Unknown Selection Rate(USR)를 함께 살펴 모델이 “모른다”고 말하는 에피스테믹 겸손(epistemic humility)이 희소도 증가와 함께 약화된다는 점을 보여주었습니다. 이는 프루닝이 불확실성 인식 능력을 먼저 훼손하고, 그 결과 모델이 가장 강한 통계적 사전(prior)에 의존하면서 고정관념적 응답을 선택하게 된다는 해석을 뒷받침합니다. 더 나아가 Apple Silicon과 MLX 프레임워크를 활용해 저장 공간과 추론 지연까지 실제로 측정한 결과, 비구조적(unstructured) 프루닝은 실질적인 저장 절감도 속도 향상도 제공하지 못해 IoT 배포의 핵심 명분마저 약하다는 점이 확인되었습니다. 종합하면, 이 논문은 프루닝을 단순한 압축 기술이 아니라 모델의 정렬된 행동을 선택적으로 훼손할 수 있는 개입으로 재해석합니다. 특히 정교한 프루닝 방법일수록 언어 능력은 잘 보존하면서도 안전성과 공정성은 더 크게 해칠 수 있다는 점에서, 성능 지표 중심의 검증이 얼마나 제한적인지를 설득력 있게 드러냅니다. 따라서 엣지 AI와 IoT 배포에서는 퍼플렉서티만이 아니라 편향 변화, 항목 수준 행동 전이, 불확실성 인식까지 포함한 편향 인식 검증(bias-aware validation)이 반드시 병행되어야 한다는 것이 이 연구의 핵심 메시지입니다.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.