본 논문에서는 일치하는 근사 보장(approximation guarantees)을 유지하면서 비인과적(non-causal) 어텐션 근사를 인과적(causal) 근사로 변환하는 새로운 도구인 Express를 소개합니다. SOTA(최첨단) Thinformer 근사와 결합했을 때, Express는 길이 $n$의 시퀀스에 대해 $O(s)$의 메모리와 $O(s^2 \log^2(n))$의 압축 오버헤드만으로 $\log^{3/2}(n)/s$의 근사 오차를 제공하여 기존에 가장 잘 알려진 인과적 어텐션 보장을 향상시킵니다. 이러한 개발 내용을 효율적인 I/O 인식 Triton 구현과 결합하여 FlashAttention 2 대비 상당한 속도 향상을 입증하며, 언어 모델링 파이프라인에서 발생하는 네 가지 자원 병목 현상인 긴 문맥 프리필(long-context prefill), KV 캐시 압축, 긴 형태의 메모리 제약 디코딩, 긴 형태의 연산 제약 디코딩을 극복하는 데 Express를 활용합니다.
소프트맥스(softmax) 어텐션을 선형화하는 것은 효율적인 트랜스포머(Transformer) 추론을 달성하는 경로를 제공하지만, 사전학습된 어텐션을 보존하는 것은 여전히 어려운 과제로 남아 있습니다. 본 연구에서는 표준 선형화 기법들이 간과해 온 중요한 근사 오차 원인을 규명합니다. 즉, 소수의 이상치 차원이 쿼리-키 내적에 불균형적으로 크게 기여하며 근사 오차의 상당 부분을 차지한다는 점입니다. 이러한 이질성에 착안하여, 본 논문에서는 이차 어텐션 근사를 구성하기 위한 차원 인식 기법인 이상치 인식 어텐션 선형화(Outlier-Aware Attention Linearization, OAL)를 제안합니다. 2차 테일러 근사에서 출발하여, 개별 쿼리-키의 기여를 명시적으로 만드는 아다마르 곱(Hadamard-product) 정식을 도입합니다. 이 정식은 전역적으로 공유되는 계수를 완화하여 분리 가능한 평가 방식을 유지하면서도 차원별 선형 항과 차원 간 이차 상호작용을 지원합니다. 적은 수의 파라미터로 이러한 유연성을 유지하기 위해, OAL은 기여도 규모가 유사한 차원들을 묶어 계수를 공유하도록 하는 동시에 소수의 이상치는 별도로 처리할 수 있도록 합니다. 이를 통해 생성된 양의 이차 커널은 사전학습된 어텐션 출력을 기준으로 보정되며, 고정된 헤드 차원에 대해 시퀀스 길이에 선형인 시간 복잡도로 계산이 가능합니다. Qwen2.5-0.5B 모델에서 OAL은 DiJiang 대비 고정된 어텐션 출력의 상대 MSE를 약 8.9% 감소시킵니다. 중간 층의 어텐션 모듈을 교체하고 LoRA를 통해 커널 계수를 공동으로 미세조정(fine-tuning)하면, 학습된 전역 이차 커널 방식과 비교해 WikiText-103 퍼플렉시티(perplexity)를 31.71에서 27.50으로 낮추는 동시에 PIQA, HellaSwag, ARC-E에서의 정확도를 향상시킵니다. 이러한 결과는 어텐션 근사와 사전학습 모델 변환 모두에서 이상치 인식 차원 그룹화의 유효성을 입증합니다. 코드는 https://github.com/wuqianyue09/OAL 에서 확인할 수 있습니다.