희소 어텐션은 행렬 근사이지 값들의 주머니에서 선택하는 것이 아니다
Sparse Attention Is Matrix Approximation, Not Choosing from a Bag of Values
한국어 초록
대규모 언어 모델(LLM)은 여러 영역에서 뛰어난 성능을 보이지만, 프롬프트 길이에 따른 어텐션(attention)의 이차 시간 복잡도(quadratic cost)로 인해 효율성이 제한됩니다. 희소 어텐션(sparse attention)은 전체 어텐션 행렬을 근사하기 위해 쿼리-키 상호작용의 일부만 유지함으로써 이러한 비용을 줄입니다. 그러나 기존 방법들은 수학적으로 잘못된 관점에 갇혀 있습니다. 즉, 어텐션 행렬에서 단순히 큰 스칼라 값이나 질량이 높은 영역만을 유지합니다. 이는 어텐션 행렬이 값 벡터(value vector)와의 곱셈을 통해 어텐션 출력을 공동으로 결정하는 구조화된 행렬로 사용된다는 점을 무시한 채, 어텐션 행렬을 단순한 값들의 집합(bag of values)으로 취급하는 것입니다. 우리는 이것이 핵심적인 개념적 문제라고 주장합니다. 희소 어텐션은 단순히 원소 주머니에서 가장 큰 값을 맹목적으로 고르는 것이 아니라 행렬 근사(matrix approximation)로 정식화되어야 합니다. 이러한 관점을 바탕으로, 본 논문에서는 행렬 근사 희소 어텐션(MASA, Matrix Approximation Sparse Attention)을 제안합니다. MASA는 단순 어텐션 질량 순위 책정을 각 희소 단위가 행렬곱 근사 오차를 얼마나 줄이는지 측정하는 닫힌 형식(closed-form) 점수로 대체합니다. 이론에 기반한 플러그인 보정 방식인 MASA는 기존 희소 커널이나 예산을 변경하지 않고도 기존 희소 어텐션 프레임워크에 추가될 수 있습니다. 여러 희소 어텐션 방법, 벤치마크, LLM 백본에 걸친 광범위한 실험을 통해 일관된 정확도 향상을 입증하였으며, 이는 MASA와 희소 어텐션에 대한 행렬 근사 관점 모두를 뒷받침합니다.
원문 초록
Large Language Models (LLMs) achieve strong performance across many domains, but their efficiency is limited by the quadratic cost of attention with respect to prompt length. Sparse attention reduces this cost by retaining only a small fraction of query-key interactions to approximate the full attention matrix. However, existing methods are trapped in a mathematically wrong view: they simply keep large scalar entries or high-mass regions of the attention matrix. This treats the attention matrix as a bag of values, ignoring that it is used as a structured matrix whose entries jointly determine the attention output through multiplication with value vectors. We argue that this is the core conceptual issue: sparse attention should be formulated as matrix approximation, not as blindly choosing the largest values from a bag of entries. Based on this view, we propose Matrix Approximation Sparse Attention (MASA). MASA replaces raw attention-mass ranking with a closed-form score that measures how much each sparse unit reduces matrix-product approximation error. As a theory-grounded plug-in correction, MASA can be added to existing sparse attention frameworks without changing their sparse kernels or budgets. Extensive experiments across multiple sparse attention methods, benchmarks, and LLM backbones show consistent accuracy gains, supporting both MASA and the matrix-approximation view of sparse attention.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
반복 데이터 사전학습 스케일링: 배치 크기, 정규화 및 GPU-시간 트레이드오프
Scaling Repeated-Data Pretraining: Batch Size, Regularization, and GPU-Time Tradeoffs
본 연구에서는 연산량은 풍부하지만 고유한 학습(training) 데이터가 유한하여 동일한 데이터에 대한 반복 학습이 필요한 환경에서의 사전학습(pre-training)을 다룹니다. 먼저 무한 연산량 사전학습(Kim et al. 2026)을 재검토하여, 그 프론티어가 기존에 고정되었거나 개별적으로만 연구되었던 선택 사항들에 결정적으로 의존함을 보입니다. 특히 에포크(epoch) 수와 함께 배치(batch) 크기를 최적화하면 검증 손실(validation loss)과 배치 크기 사이에 U자형 관계가 나타나 일반적인 사전학습보다 더 작은 배치를 선호하게 됨을 밝히며, 이는 소배치 그래디언트(gradient) 노이즈가 암묵적 정규화(implicit regularization)를 제공하기 때문인 것으로 보입니다. 나아가 기존에 단일 패스 가정 하에서 최적화되었던 학습 레시피를 조정할 수 있음을 확인했습니다. 예를 들어 에포크마다 문서를 새로운 시퀀스로 재패킹하는 것, 가중치 공유(weight tying), 그리고 양의 임베딩 가중치 감쇠(positive embedding weight decay) 등이 있습니다. 이후 무한 연산량 가정을 완화합니다. 특히 일반적인 경우보다 작은 배치 크기는 지나치게 긴 순차적 학습 시간을 요구할 수 있으므로, GPU와 시간을 별개의 자원으로 다루어야 할 필요성이 발생합니다. 마감 기한이 촉박할수록 더 큰 배치가 유리하며, 지연 시간 중심의 병렬 처리를 통해 추가 GPU를 투입하여 학습 시간을 단축할 수 있습니다. 그럼에도 불구하고 고정된 시간 예산 내에서도 더 적은 수의 GPU와 작은 배치를 사용하는 것이 더 많은 GPU와 큰 배치를 사용하는 것보다 더 낮은 검증 손실을 달성할 수 있으며, 이는 마감 기한 내에서 GPU 활용도를 극대화하기 위해 데이터 병렬 처리를 늘리는 일반적인 관행에 도전합니다. 종합적으로 본 연구 결과는 반복 데이터 학습에서 충분히 탐구되지 않았던 요인들을 식별하고, 단일 패스 사전학습 대비 학습 레시피와 자원 할당이 어떻게 변화해야 하는지에 대한 구체적인 지침을 제공합니다.
유리 함수 기반으로 선형화된 다층 퍼셉트론
Rationally Linearized MLPs
본 논문에서는 표준 활성화 함수의 저차수 유리 근사(rational approximation)를 활용하여 다층 퍼셉트론(MLP)을 효율적으로 선형화하는 새로운 접근법인 RaLiMPs(Rationally Linearized Multilayer Perceptrons)를 제시합니다. 다항식 기반 MLP 선형화에서 영감을 받아, 유리 근사가 훨씬 낮은 차수에서도 정확한 표현을 제공할 수 있음을 보입니다. RaLiMPs는 이러한 근사를 활용하여 좁은 병목(bottleneck)을 갖는 커널(kernel) 표현을 구성함으로써 MLP 계층 전반에 걸친 효율적인 합성을 가능하게 합니다. 또한 도출된 근사에 대한 이론적 보장을 제공하며, 암시적 3D 모델부터 대규모 언어 모델(LLM)에 이르는 다양한 응용 분야에서 RaLiMPs를 평가합니다. 실험 결과, RaLiMPs가 추론 비용을 대폭 줄이면서도 경쟁력 있거나 향상된 정확도를 달성하여 유리한 정확도-효율성 트레이드오프를 보여줌을 입증합니다.
모든 차원이 동등하지는 않다: 그룹화된 이차 커널을 이용한 이상치 인식 어텐션 선형화
Not All Dimensions Are Equal: Outlier-Aware Attention Linearization with Grouped Quadratic Kernels
소프트맥스(softmax) 어텐션을 선형화하는 것은 효율적인 트랜스포머(Transformer) 추론을 달성하는 경로를 제공하지만, 사전학습된 어텐션을 보존하는 것은 여전히 어려운 과제로 남아 있습니다. 본 연구에서는 표준 선형화 기법들이 간과해 온 중요한 근사 오차 원인을 규명합니다. 즉, 소수의 이상치 차원이 쿼리-키 내적에 불균형적으로 크게 기여하며 근사 오차의 상당 부분을 차지한다는 점입니다. 이러한 이질성에 착안하여, 본 논문에서는 이차 어텐션 근사를 구성하기 위한 차원 인식 기법인 이상치 인식 어텐션 선형화(Outlier-Aware Attention Linearization, OAL)를 제안합니다. 2차 테일러 근사에서 출발하여, 개별 쿼리-키의 기여를 명시적으로 만드는 아다마르 곱(Hadamard-product) 정식을 도입합니다. 이 정식은 전역적으로 공유되는 계수를 완화하여 분리 가능한 평가 방식을 유지하면서도 차원별 선형 항과 차원 간 이차 상호작용을 지원합니다. 적은 수의 파라미터로 이러한 유연성을 유지하기 위해, OAL은 기여도 규모가 유사한 차원들을 묶어 계수를 공유하도록 하는 동시에 소수의 이상치는 별도로 처리할 수 있도록 합니다. 이를 통해 생성된 양의 이차 커널은 사전학습된 어텐션 출력을 기준으로 보정되며, 고정된 헤드 차원에 대해 시퀀스 길이에 선형인 시간 복잡도로 계산이 가능합니다. Qwen2.5-0.5B 모델에서 OAL은 DiJiang 대비 고정된 어텐션 출력의 상대 MSE를 약 8.9% 감소시킵니다. 중간 층의 어텐션 모듈을 교체하고 LoRA를 통해 커널 계수를 공동으로 미세조정(fine-tuning)하면, 학습된 전역 이차 커널 방식과 비교해 WikiText-103 퍼플렉시티(perplexity)를 31.71에서 27.50으로 낮추는 동시에 PIQA, HellaSwag, ARC-E에서의 정확도를 향상시킵니다. 이러한 결과는 어텐션 근사와 사전학습 모델 변환 모두에서 이상치 인식 차원 그룹화의 유효성을 입증합니다. 코드는 https://github.com/wuqianyue09/OAL 에서 확인할 수 있습니다.
Orthros: 효율적인 트랜스포머를 위한 단계 인식 이종 어텐션
Orthros: Phase-Aware Heterogeneous Attention for Efficient Transformers
선형 어텐션(linear attention)과 슬라이딩 윈도우 어텐션(sliding window attention) 같은 효율적인 어텐션 메커니즘은 트랜스포머의 계산 복잡도를 제곱(quadratic)에서 선형(linear)으로 줄이는 것을 목표로 한다. 그러나 이러한 메커니즘은 문맥 내 재현율(in-context recall)이 저하되는 경우가 많아 전체 어텐션(full attention) 레이어를 교차 배치해야 하는 경우가 많으며, 이로 인해 긴 문맥(long-context) 처리에서 제곱 복잡도 병목이 여전히 해결되지 않은 채로 남아 있다. 이를 해결하기 위해, 우리는 효율성 패러다임을 구조적 할당(structural allocation)에서 단계 인식 분리(phase-aware decoupling)로 전환하는 Orthros 어텐션을 제안한다. Orthros는 통합된 모듈로서 시퀀스 처리의 서로 다른 단계(phase)에 걸쳐 계산 패턴을 동적으로 전환하여, 프리필링(prefilling)에서는 선형 복잡도를, 디코딩(decoding)에서는 전체 어텐션을 가능하게 한다. 이러한 설계는 무거운 프리필링과 가벼운 디코딩으로 특징지어지는 일반적인 긴 문맥 시나리오에서 Orthros 어텐션이 기본 트랜스포머(vanilla Transformer)보다 더 낮은 점근적 복잡도(asymptotic complexity)를 갖도록 한다. 이론적 정식화와 복잡도 분석을 넘어, 광범위한 실증적 평가를 통해 Orthros가 여러 측면에서 우수함을 입증한다. 첫째, 우리는 Orthros의 기본적인 언어 모델링 능력을 검증하여 다양한 모델 크기에 걸친 확장성(scalability)과 종합적인 아키텍처 비교에서의 강력한 경쟁력을 보여준다. 둘째, Orthros는 데이터 효율적인 트랜스포머-투-Orthros 변환(Transformer-to-Orthros conversion)을 통해 뛰어난 변환 가능성(conversion feasibility)을 보여주며, 원본 트랜스포머를 능가하는 성능을 달성한다. 마지막으로, Orthros는 트랜스포머 대비 21.9배의 프리필링 속도 향상(prefilling speedup)을 달성하며 종단 간(end-to-end) 추론 성능 향상을 보이는 동시에, 거의 완벽한 128K 니들 인 어 헤이스택(needle-in-a-haystack) 결과와 실제 문맥 내 재현율 과제에서 트랜스포머 수준의 성능을 통해 긴 문맥 처리 능력을 유지한다. 전반적으로, 이러한 높은 성능, 유연성, 효율성의 장점들은 Orthros를 산업 응용 분야에서 트랜스포머를 계승할 유망한 후보로 자리매김하게 한다.
ReplaySSM: 상태 대신 SSM 입력 캐싱하기
ReplaySSM: Cache SSM Inputs, Not State
상태공간모델(State-space models, SSMs)은 고정 크기의 재귀 상태(recurrent state)를 유지하지만, 매 디코딩 스텝마다 이를 읽고 쓰는 것은 하이브리드 모델의 병목이 될 수 있다. 이러한 즉시적(eager) 상태 관리는 산술 강도(arithmetic intensity)가 낮은 대규모 상태 입출력(I/O)을 유발하고, 추측 디코딩(speculative decoding)에 저비용 롤백을 허용하지 않으며, 상태 양자화 오차를 이후의 재귀 업데이트에 그대로 전달한다. 우리는 재귀식을 펼쳐(unroll) 상태를 체크포인트와 최근 SSM 입력들의 버퍼로 표현하는 ReplaySSM을 제안한다. 이는 출력 계산을 체크포인트 업데이트로부터 분리한다. 체크포인트를 주기적으로 업데이트함으로써 ReplaySSM은 대부분의 스텝에서 상태 쓰기를 피하고, 주된 상태 메모리 트래픽을 대략 절반으로 줄인다. 최근 입력을 유지하는 것은 또한 추측적 롤백을 버퍼 포인터 연산으로 만들고, 중간 상태를 구체화(materialize)하지 않고도 출력만으로 검증(output-only verification)을 가능하게 한다. 동일한 분리를 통해 저정밀도 체크포인트가 대부분의 스텝에서 출력 계산을 담당하고 더 높은 정밀도의 체크포인트가 재귀 업데이트를 담당할 수 있어, 저정밀도 복사본의 라운딩 오차가 이후 업데이트로 전혀 유입되지 않는다. 우리는 ReplaySSM을 vLLM에서 Mamba-2와 Gated DeltaNet에 대해 구현했다. 서빙 배치 크기 256에서, 이는 네 개의 하이브리드 모델 전반에 걸쳐 튜닝된 vLLM 기준선 대비 표준 디코딩을 1.20–1.47배 가속하며, 두 개의 120B급 모델에서는 vLLM의 추측 디코딩 처리량의 약 1.8배를 제공한다. 상태 정밀도를 분리하는 것은 또한 공유 저정밀도 체크포인트에 비해 출력 KL 발산(KL divergence)과 다운스트림 정확도 손실을 줄인다.
루프형 트랜스포머(Looped Transformer)에서 공유 메모리의 놀라운 효과
The Surprising Effectiveness of Shared Memory in Looped Transformers
루프형 트랜스포머(Looped Transformer)는 토큰당 동일한 레이어를 여러 번 적용하여, 파라미터 수를 늘리지 않고도 연산량을 추가해 품질을 향상시킨다. 그러나 각 재귀(recursion)는 자체적인 키-값 캐시(key-value cache)를 기록하기 때문에, 메모리는 여전히 연산량에 비례해 증가한다. 추론(inference) 시점 기법들은 품질을 희생하는 대신 이 캐시를 줄일 수 있다. 우리는 메모리를 공유하도록 루프형 언어 모델을 사전학습(pre-training)한다: 오직 첫 번째 재귀만 캐시를 기록하고, 이후의 재귀들은 자신만의 짧은 윈도우를 유지하면서 이를 읽는다. 놀랍게도, 우리는 메모리 공유가 품질을 희생시키지 않으며 오히려 품질을 향상시킨다는 것을 발견했다. 1억 5천만~10억 개의 파라미터 규모에서, 우리의 루프형 예측 트랜스포머(Looped Prediction Transformer, LPT)와 그 하이브리드(hybrid) 변형은 루프형 모델에 대한 새로운 품질-메모리 프런티어를 제시한다: 다섯 번의 재귀를 사용할 때, 하이브리드 모델은 동일한 크기의 표준 트랜스포머에 비해 FineWeb-Edu에서의 검증(validation) 퍼플렉시티(perplexity)를 1.12~1.82만큼 낮추면서도 컨텍스트 메모리 사용량을 76~79% 줄인다. 광범위한 분석을 통해, 우리는 메모리 공유가 어떻게 도움이 되는지 조사한다. 공유 메모리와 로컬 메모리는 서로 다른 표현을 형성하며, 이후의 재귀들은 주로 공유 메모리에 주의를 기울이는데, 이 공유 메모리는 또한 첫 번째 재귀로 향하는 그래디언트(gradient) 하이웨이 역할을 한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.