Top-Theta 어텐션: 보상된 임계값 적용을 통한 트랜스포머 희소화
Top-Theta Attention: Sparsifying Transformers by Compensated Thresholding
본 논문에서는 추론(inference) 과정에서 트랜스포머 어텐션(attention)을 희소화하는 학습(training)이 필요 없는 방법인 Top-Theta (Top-$θ$) 어텐션을 제안합니다. 핵심 통찰은 정적이고 헤드별(per-head) 임계값을 조정하여 각 어텐션(attention) 행마다 원하는 개수만큼의 유의미한 요소를 유지할 수 있다는 점입니다. 이 접근 방식은 재학습 없이 콘텐츠 기반 희소성(sparsity)을 가능하게 하며, 다양한 데이터 도메인에서 견고한 성능을 유지합니다. 또한, 적극적인 희소화(sparsification) 상황에서 정확도를 보존하기 위한 보상 기법을 도입하여, 어텐션(attention) 임계화(thresholding)를 top-k 어텐션에 대한 실용적이고 원칙적인 대안으로 자리 잡게 합니다. 자연어 처리(NLP) 작업에 대한 광범위한 평가를 통해 Top-$θ$가 추론(inference) 시 V-cache 사용량을 3~10배 줄이고 어텐션(attention) 요소를 최대 10배 줄이면서도 정확도 저하는 1% 이내로 유지됨을 확인했습니다.