스트리밍 어텐션을 위한 정밀한 경계(Tight Bounds) 제시
Towards Tight Bounds for Streaming Attention
어텐션 메커니즘은 현대 트랜스포머 아키텍처의 핵심 요소입니다. 그러나 그 표현력은 2차 시간 복잡도와 선형 공간 사용량이라는 비용을 수반합니다. 특히, 고전적인 트랜스포머 아키텍처는 다음 요소를 생성하기 위해 이전에 본 모든 입력 요소(토큰)를 명시적으로 저장합니다. 제한된 공간에서 트랜스포머를 구현하는 문제는 KV 캐시 압축(KV cache compression)으로 알려져 있으며, 지난 몇 년간 큰 관심을 받아 강력한 휴리스틱(heuristics) 개발을 촉진했습니다. Haris et al., COLT'25와 Kochetkova et al., NeurIPS'25의 최근 연구들은 KV 캐시 압축을 스트리밍 어텐션 근사 문제로 공식화하여, (불일치 이론에 기반한) 상한과 정보 이론적 하한을 모두 제공했습니다. 그러나 해당 논문들은 상한과 하한 사이에 상당한 격차를 남겨두었습니다. 예를 들어, 이들의 알고리즘의 공간 사용량은 정밀도 매개변수에 따라 증가하지만, 하한은 더 강해지지 않습니다. 본 연구에서 우리는 스트리밍 어텐션 근사 문제를 다시 살펴보고, 그 공간 복잡도에 대한 거의 정밀한(nearly tight) 경계를 제공합니다. 알고리즘 측면에서, 우리는 커널 밀도 추정을 위한 세 가지 서로 다른 방법인 불일치 기반 코어셋 구성(예: Charikar-Kapralov-Waingarten'24), 다항식 방법(예: Greengard-Rokhlin'87, Alman-Song'23), 그리고 공간 분할(예: Andoni-Laarhoven-Razenshteyn-Waingarten'17, Charikar-Kapralov-Nouri-Siminelakis'20) 사이의 놀라울 정도로 긴밀한 상호작용을 통해 이 결과를 달성했습니다. 하한 측면에서, 우리의 주요 기술적 기여는 다량의 사이드 정보(side information)와 함께 INDEX 문제를 사용하는 새로운 기법으로, 이 기법이 다른 고차원 기하학적 추정 문제에서도 유용할 것으로 기대합니다.