PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.10871v1cs.CL

희소 어텐션은 행렬 근사이지 값들의 주머니에서 선택하는 것이 아니다

Sparse Attention Is Matrix Approximation, Not Choosing from a Bag of Values

대규모 언어 모델(LLM)은 여러 영역에서 뛰어난 성능을 보이지만, 프롬프트 길이에 따른 어텐션(attention)의 이차 시간 복잡도(quadratic cost)로 인해 효율성이 제한됩니다. 희소 어텐션(sparse attention)은 전체 어텐션 행렬을 근사하기 위해 쿼리-키 상호작용의 일부만 유지함으로써 이러한 비용을 줄입니다. 그러나 기존 방법들은 수학적으로 잘못된 관점에 갇혀 있습니다. 즉, 어텐션 행렬에서 단순히 큰 스칼라 값이나 질량이 높은 영역만을 유지합니다. 이는 어텐션 행렬이 값 벡터(value vector)와의 곱셈을 통해 어텐션 출력을 공동으로 결정하는 구조화된 행렬로 사용된다는 점을 무시한 채, 어텐션 행렬을 단순한 값들의 집합(bag of values)으로 취급하는 것입니다. 우리는 이것이 핵심적인 개념적 문제라고 주장합니다. 희소 어텐션은 단순히 원소 주머니에서 가장 큰 값을 맹목적으로 고르는 것이 아니라 행렬 근사(matrix approximation)로 정식화되어야 합니다. 이러한 관점을 바탕으로, 본 논문에서는 행렬 근사 희소 어텐션(MASA, Matrix Approximation Sparse Attention)을 제안합니다. MASA는 단순 어텐션 질량 순위 책정을 각 희소 단위가 행렬곱 근사 오차를 얼마나 줄이는지 측정하는 닫힌 형식(closed-form) 점수로 대체합니다. 이론에 기반한 플러그인 보정 방식인 MASA는 기존 희소 커널이나 예산을 변경하지 않고도 기존 희소 어텐션 프레임워크에 추가될 수 있습니다. 여러 희소 어텐션 방법, 벤치마크, LLM 백본에 걸친 광범위한 실험을 통해 일관된 정확도 향상을 입증하였으며, 이는 MASA와 희소 어텐션에 대한 행렬 근사 관점 모두를 뒷받침합니다.