상호 보완적 어텐션 헤드 가지치기를 통한 효율적인 트랜스포머
Complementary Attention Head Pruning for Efficient Transformers
한국어 초록
자연어 처리(NLP)에서 트랜스포머 기반 모델의 획기적인 성공은 아키텍처 스케일링에서 비롯되었으나, 이는 많은 수의 파라미터를 초래하여 자원 제약 환경에서의 배포를 방해합니다. 구조적 가지치기(pruning)는 압축의 방법을 제공하지만, 기존 최신 방법들은 종종 그래디언트 기반 중요도 순위나 확률적 게이팅에 의존하여 불안정성, 구조적 퇴화, 그리고 광범위한 수동 하이퍼파라미터 튜닝의 필요성이라는 문제를 겪습니다. 본 논문에서는 헤드 선택을 전역 그래프 이론적 문제로 재정의하는 새로운 사후(post-hoc) 프레임워크인 CAHP(Complementary Attention Head Pruning)를 소개합니다. CAHP는 헤드를 개별적으로 평가하는 대신, 그래프 기반 클러스터링과 정보 이론적 거리 측정을 결합하여 위상적으로 다양한 상호 보완적 어텐션 헤드의 부분 집합을 식별하고 보존합니다. 미리 정의된 희소성(sparsity) 수준이나 가지치기 비율 없이도, 해당 프레임워크는 추가 헤드 가지치기가 선택된 다항식 차수에 따라 결정되는 성능의 급격한 저하로 이어지는 한계 성능 감소 곡선을 식별하여, 레이어 전체에서 선택된 어텐션 헤드의 수를 자동으로 결정합니다. 다양한 트랜스포머 모델 스케일에 걸친 SST-5 및 MNLI 벤치마크에 대한 광범위한 평가 결과, CAHP는 특히 고압축 영역에서 경쟁 베이스라인을 일관되게 능가함을 입증합니다. 또한, 구조적 분석을 통해 CAHP는 출력에 가까운 레이어의 헤드를 주로 보존하는 경향이 있는 그래디언트 기반 가지치기 방법의 '근접성 바이어스(proximity bias)'를 피하고, 대신 모델의 중간 레이어에서 기능적으로 중요한 어텐션 헤드 집합을 유지함을 보여줍니다.
원문 초록
The remarkable success of Transformer-based models in natural language processing stems from architectural scaling, which leads to a large number of parameters and hinders deployment in resource-constrained environments. While structured pruning offers a pathway to compression, existing state-of-the-art methods often rely on gradient-based importance ranking or stochastic gating, which suffer from instability, structural degeneration, and the need for extensive manual hyperparameter tuning. In this paper, we introduce CAHP (Complementary Attention Head Pruning), a novel post-hoc framework that redefines head selection as a global graph-theoretical problem. Rather than evaluating heads in isolation, CAHP utilizes graph-based clustering combined with information-theoretic distance measures to identify and preserve a topologically diverse subset of complementary attention heads. Without requiring a predefined sparsity level or pruning ratio, the framework automatically determines the number of selected attention heads across layers by identifying a diminishing marginal performance curve, where pruning additional heads leads to a sharp degradation in performance, as determined by the chosen polynomial degree. Extensive evaluations on the SST-5 and MNLI benchmarks, across different Transformer model scales, demonstrate that CAHP consistently outperforms competitive baselines, particularly in high-compression regimes. Furthermore, our structural analysis shows that CAHP avoids the "proximity bias" of gradient-based pruning methods, which tend to preserve heads mainly in layers close to the output, and instead retains a functionally critical set of attention heads in the model's intermediate layers.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.19150v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
KV$^2$: 자체 정제형 키-값(KV) 캐시
KV$^2$: A Self-Refining KV Cache
키-값(KV) 캐시의 메모리 점유 공간은 긴 문맥(long-context) 모델의 실용적 활용을 제약하며, 사전 채움(prefilled)된 단일 문맥이 이후 여러 다양한 질의를 처리해야 할 때 비용의 대부분을 차지합니다. 이러한 재사용 환경에서 질의 무관(query-agnostic) 압축은 비용과 품질 간의 트레이드오프를 가집니다. 경량 추정기는 연산 비용이 저렴하지만 정확도가 낮고, 전체 문맥 재구성 점수 산정 방식은 더 정확하지만 전체 프롬프트(prompt)를 다시 처리해야 합니다. 본 연구에서는 선택적 재구성을 기반으로 한 질의 무관 KV 캐시 압축 기법인 KV$^2$를 소개합니다. KV$^2$는 먼저 경량 프록시 점수 산정기를 사용하여 문맥 내 유익한 토큰을 식별한 다음, 이 하위 집합만을 다시 처리하여 최종 축출(eviction) 점수를 계산합니다. RULER, Needle-in-a-Haystack, LongBench 벤치마크에서 KV$^2$는 예산이 빠듯해질수록 기준선(baseline) 대비 마진(margin) 격차를 넓힙니다. 2%의 KV 캐시 예산을 사용한 RULER 16K에서 차상위 기준선 대비 평균 점수를 40%p 이상 향상시켰으며, LongBench에서는 2%~10% 예산 전반에 걸쳐 전체 문맥 재구성 방식보다 압축 단계의 실행 시간 및 피크 메모리를 낮추면서도 가장 높은 평균 점수를 달성했습니다. 따라서 재사용 가능한 KV 캐시 압축은 전체 문맥을 다시 처리할 필요가 없습니다. 본 연구의 코드는 https://anonymous.4open.science/r/KVsquared-0B97 에서 확인할 수 있습니다.
대규모 언어 모델을 위한 출력 인지 잔차 스트림 가지치기
Output-aware Residual Stream Pruning for Large Language Models
잔차 스트림(residual stream) 가지치기 기법은 모델의 은닉 차원을 축소하여 추론 비용을 줄이지만, 기존 접근 방식들은 일반적으로 활성화 재구성 오차(activation reconstruction error)를 최소화하는 방식으로 이러한 차원을 선택합니다. 이 기준은 다운스트림 레이어의 민감도를 무시한 채 모든 섭동 방향을 동일하게 중요한 것으로 암묵적으로 취급합니다. 본 논문에서는 이러한 방향 의존적 민감도를 직접 고려하는 잔차 스트림 가지치기용 민감도 인지(sensitivity-aware) 접근 방식을 제안합니다. 출력 KL 발산(KL divergence)에 대한 2차 근사를 사용하여 활성화 공분산과 모델 출력의 국소적 민감도 모두를 통해 잔차 스트림 섭동의 영향을 특성화합니다. 그 결과 도출된 부분공간(subspace) 선택 목적 함수는 이 두 양을 결합하지만 직접 최적화하기는 어렵습니다. 이에 본 연구는 부분공간 선택을 민감도 가중 공분산 행렬의 고유값 분해(eigendecomposition)로 단순화하는 다루기 쉬운 스펙트럼 상한(tractable spectral upper bound)을 도출하여, 회전 기반 가지치기 기법의 효율성과 구조적 단순성을 그대로 유지합니다. 여러 인스트럭션 튜닝(instruction-tuned) 언어 모델 계열 전반에 걸쳐, 본 방법은 활성화 정보만을 사용하는 가지치기에 비해 캘리브레이션 KL 발산을 일관되게 줄이고 다양한 압축 수준에서 퍼플렉서티(perplexity) 및 다운스트림 태스크 성능을 개선합니다. 연구 결과는 잔차 스트림 가지치기에서 활성화 에너지만 보존하는 것으로는 불충분하며, 섭동이 모델 출력으로 전파되는 방식을 명시적으로 고려하는 것이 제거할 차원을 선택하는 데 훨씬 효과적인 기준을 제공함을 보여줍니다.
RAMP: 엣지 CPU 비전 모델을 위한 강건한 적응형 혼합 정밀도 양자화
RAMP: Robust Adaptive Mixed-Precision Quantization for Edge CPU Vision Models
엣지 CPU에 심층 학습 모델을 배포할 때는 계산 및 메모리 제약이 병목이 된다. 혼합 정밀도 양자화는 정확도를 유지하면서 추론 지연을 줄일 수 있다고 기대된다. 그러나 양자화는 층 유형마다 서로 다르게 영향을 미치므로, 정확도 손실이 최소화되고 지연 감소가 최대화되는 위치를 찾는 것이 중요하며, 그 효과는 전체 배포에 걸쳐 누적되어 상당한 이득 또는 허용 불가능한 과제 성능 저하로 이어진다. 이러한 식별은 민감도 지표, 즉 모든 후보 정책의 과제 정확도를 평가하지 않고 층별 열화를 추정하는 대리 지표에 의존한다. 그럼에도 널리 쓰이는 지표는 최신 아키텍처에서 체계적으로 실패한다. 우리는 서로 뚜렷이 다른 네 개의 신경망에 걸친 층별 INT8 양자화에 대한 13개 민감도 지표의 체계적 실증 연구를 제시하고, 그로부터 얻은 정책을 두 ARM64 플랫폼에서 검증한다. 그래디언트 기반 민감도 방법은 8개 모델-하드웨어 구성 중 4개에서 실패하고, 가중치 기반 통계는 2개에서 실패한다. 반면 Jensen-Shannon Divergence는 치명적 실패가 전혀 없으며, 안전하게 양자화할 수 없는 층을 안정적으로 분리한다. 민감도 지표만으로는 정책이 정의되지 않으며, 그 단계에 흔히 쓰이는 고정 임계값은 최신 아키텍처의 고도로 치우친 분포에서 취약하다. 우리는 K-Means 클러스터링으로 이를 해결하여 거의 무손실 정확도와 전체 정밀도 모델 대비 평균 $1.81\times$ 속도 향상을 달성한다. 마지막으로, 민감도와 관계없이 속도 향상이 미미한 층을 양자화에서 제외하는 것이 역효과를 낼 수 있음을 밝힌다. 이는 계산 그래프 단편화를 유발하고 연산자 융합(operator fusion)을 비활성화하기 때문이다. 우리 결과는 GPU 접근이나 그래디언트 계산 없이 이질적 엣지 CPU에 양자화된 비전 모델을 배포하는 실무자와 연구자에게 구체적인 할당 정책을 제공한다.
KDFP: 대규모 언어 모델의 지식 증류를 위한 제1원리적 접근법
KDFP: A first-principles approach to knowledge distillation in large language models
지식 증류(knowledge distillation)는 더 크고 성능이 뛰어난 교사 모델의 표현(representation)을 활용해 작고 효율적인 학생 모델을 학습(training)시킴으로써 그 역량을 향상시키는 잘 정립된 기법입니다. 대규모 언어 모델(LLM) 증류에 관한 최근 연구의 상당수는 지시사항 준수(instruction following), 사고의 연쇄(Chain-of-Thought) 추론, 도구 사용 등 사후 학습(post-training) 과정에서 습득된 능력을 증류하는 데 집중되어 왔습니다. 이로 인해 엣지 기기 배포에 적합한 효율적이고 프라이버시가 보장되는 시스템을 개발하는 데 필수적인 LLM의 일반 지식 증류 연구에는 큰 공백이 남게 되었습니다. 본 연구에서는 이전 연구들의 교훈을 평가하고 새로운 탐색을 수행하는 제1원리적(first-principles) 접근법을 취하여 현대 LLM에 적합한 증류 방법론을 개발합니다. 본 논문에서는 LLM의 화이트박스 일반 지식 증류를 위한 새로운 방법론인 KDFP를 제시합니다. 실험을 통해 KDFP가 임시 매개변수(parameter) 감축을 통해 학습 효율성을 최대 99.1%까지 향상시키면서, 9개 벤치마크 전반에서 기존 기법들을 1.6% $-$ 4.9% 능가함을 입증합니다.
하드웨어 효율적인 대규모 언어 모델을 위한 자원 제약 조건 하의 이종 구조적 가지치기
Heterogeneous Structured Pruning Under Resource Constraints for Hardware-Efficient Large Language Models
학습이 필요 없는(training-free) 가지치기는 사전학습된 대규모 언어 모델(LLM)에서 가중치를 제거하여 배포 비용을 줄입니다. 그러나 기존 접근 방식들은 일반적으로 유지되는 가중치의 총 개수만을 고려합니다. 결과적으로 이러한 방식의 가지치기 결정은 대상 하드웨어가 해당 가중치를 어떻게 저장하고 처리하는지를 반영하지 못합니다. 또한 서브레이어 전반에서 각 구조가 가지치기 오차와 지연 시간 및 메모리 간의 트레이드오프를 어떻게 형성하는지 고려하지 않고, 희소성(sparsity) 구조를 사전에 선택하여 모든 프로젝션에 일률적으로 적용합니다. 본 논문에서는 두 가지 구성요소를 결합한 하드웨어 인식 가지치기 프레임워크인 이종 구조적 가지치기(HSP, Heterogeneous Structured Pruning)를 제안합니다: (i) 밀집(dense), 비구조적(unstructured), 2:4, 블록 희소(block-sparse), 헤드/채널(H/C) 가지치기 옵션으로 이루어진 이종 탐색 공간, (ii) 지연 시간 및 메모리 모델에 기반한 구조 정규화 제약 조건. 본 연구의 기여는 기존의 중요도 기반 방법들을 일반화한 것으로, 글로벌 솔버가 자원 예산 하에서 대리 가지치기 손실(proxy pruning loss)을 최소화하도록 서브레이어당 하나의 옵션을 선택함으로써 각 프로젝션에 구조와 밀도를 할당합니다. NVIDIA Jetson Orin Nano Super 엣지 디바이스를 대상으로 OPT 및 LLaMA 모델에서 HSP를 평가하였으며, 학습이 필요 없는 베이스라인 대비 품질-자원 프론티어를 개선함을 확인했습니다. 프로젝트 페이지 및 관련 코드의 업데이트된 링크는 cameronbarker.me/publications/hsp 에서 관리됩니다.
유리 함수 기반으로 선형화된 다층 퍼셉트론
Rationally Linearized MLPs
본 논문에서는 표준 활성화 함수의 저차수 유리 근사(rational approximation)를 활용하여 다층 퍼셉트론(MLP)을 효율적으로 선형화하는 새로운 접근법인 RaLiMPs(Rationally Linearized Multilayer Perceptrons)를 제시합니다. 다항식 기반 MLP 선형화에서 영감을 받아, 유리 근사가 훨씬 낮은 차수에서도 정확한 표현을 제공할 수 있음을 보입니다. RaLiMPs는 이러한 근사를 활용하여 좁은 병목(bottleneck)을 갖는 커널(kernel) 표현을 구성함으로써 MLP 계층 전반에 걸친 효율적인 합성을 가능하게 합니다. 또한 도출된 근사에 대한 이론적 보장을 제공하며, 암시적 3D 모델부터 대규모 언어 모델(LLM)에 이르는 다양한 응용 분야에서 RaLiMPs를 평가합니다. 실험 결과, RaLiMPs가 추론 비용을 대폭 줄이면서도 경쟁력 있거나 향상된 정확도를 달성하여 유리한 정확도-효율성 트레이드오프를 보여줌을 입증합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.