Long chain-of-thought (CoT) reasoning models such as DeepSeek-R1 keep lengthening their inference chains under test-time scaling, yet standard self-attention incurs quadratic cost in context length, making long-CoT deployment costly in production. We therefore introduce LISA (Linear-Indexed Sparse Attention), a plug-and-play replacement for self-attention that requires no full pretraining. LISA combines a linear-attention branch for long-range memory with a Lightning Indexer that dynamically selects the most relevant tokens for a sparse self-attention branch. The two branches are fused through a learned gate, so the model retains broad context while focusing computation on informative tokens. We train LISA in two stages. In Stage 1, a linear-attention branch is integrated with sliding-window attention and distilled from a frozen teacher's full-attention distribution. In Stage 2, the Lightning Indexer replaces the static window and is trained with a per-head KL-divergence objective to mimic teacher attention patterns. The resulting model reduces eager-mode self-attention computation from quadratic in sequence length to linear in the number of generated tokens and the selected context budget. Experiments on DeepSeek-distilled Qwen models show that LISA cuts measured eager-mode mean sample latency by 23.9% at 16K context without degrading long-context reasoning quality. Across nine mathematical and code reasoning benchmarks, the gated LISA-1.5B model improves the equal-weight benchmark average by 4.2 percentage points relative to the full-attention baseline.
Transformers integrate information from multiple past positions through sparse attention patterns that copy from specific locations. We study how these patterns form during training in a high-order Markov-chain setting, where the next token depends on several groups of past positions with differing statistical importance. Learning proceeds in discrete stages, each marked by the emergence of a sparse attention pattern for the next most important group. The dynamics are initially competitive, with all attention heads focusing on the dominant pattern, but later become cooperative, with different heads specializing in distinct patterns. For a tractable surrogate, the dynamics reduce to those of a tensor factorization problem, enabling us to prove stagewise convergence. Empirically, the number of stages completed depends on training set size, suggesting a form of implicit complexity control through early stopping. Overall, we give a theoretical account of how structured attention patterns and head specialization emerge without an explicit curriculum.
Indexer-TopK, which computes scores and selects the top-$k$ candidates, is a key primitive in long-context sparse attention for large language models, vector retrieval for recommendation systems, and vector databases. However, existing GPU-based Indexer-TopK kernels like DeepSeek Sparse Attention (DSA) typically separate scoring from selection and materialize the full score matrix in high-bandwidth memory. This strategy is inefficient for large score matrices, such as those encountered in long-context sparse attention, due to excessive global-memory traffic, costly synchronization, and prohibitive memory overhead. In this study, motivated by the curse of dimensionality, we observe that sparse attention scores exhibit a score concentration phenomenon, with scores falling within a narrow range. Based on this observation, we propose LiteTopK, a sample-filter-select framework that estimates query-data score ranges from a small subset of the data. It uses these estimates to filter scores as they are computed, materializes only the candidates that pass the filter, and selects from the surviving candidates. In particular, we develop two implementations of LiteTopK. The first uses a conservative threshold estimate, while the second pairs a predicted threshold with a fallback strategy. Building on LiteTopK, we further propose LiteDSA, which reuses overlapping key/value entries across neighboring queries to accelerate attention computation. We integrate LiteTopK into vLLM, SGLang, and Megatron-LM. Our evaluation on eight B200 GPUs demonstrates prefill speedups of up to 1.49$\times$ across GLM-5.2, DeepSeek-V4-Flash, and Hy-4-Preview at a context length of 1M tokens, without compromising model capabilities.
Video Diffusion Transformers (VDiTs) have demonstrated significant capabilities in high-fidelity video generation. However, their ability to produce long-duration videos is fundamentally constrained by the quadratic complexity of the self-attention mechanism. Recent clustering-based sparse attention methods improve the quality-speed trade-off by grouping semantically similar tokens, but their practical efficiency remains limited by two bottlenecks: substantial clustering overhead and low CTA utilization caused by irregular cluster-induced blocks. We propose HyperVAttention (HVA), a training-free sparse attention framework that addresses both bottlenecks jointly. To reduce clustering overhead, we introduce 3D local-window clustering, which exploits the spatio-temporal locality of video tokens to restrict centroid search to fixed local neighborhoods, and implement it with a custom Triton kernel for efficient execution. We further propose a hybrid clustering strategy that performs full clustering only at anchor steps and updates only subset tokens at intermediate steps, leveraging the temporal stability of cluster assignments across denoising steps. To improve CTA utilization, we present hardware-aware cluster merging that minimizes CTA-aligned execution cost through parallel agglomerative merging, improving block density and approximation fidelity by utilizing idle tile capacity. Together, these components reduce clustering overhead, avoid redundant updates, and better align sparse attention with the fixed tile structure of modern GPU kernels. Experiments on video generation show that HVA advances the Pareto frontier of training free sparse attention, achieving higher fidelity than SVG2 at comparable latency and a $2.13\times$ speedup over full attention on HunyuanVideo, or $2.23\times$ with its faster variant HVA-Flash.
대규모 언어 모델(LLM)은 여러 영역에서 뛰어난 성능을 보이지만, 프롬프트 길이에 따른 어텐션(attention)의 이차 시간 복잡도(quadratic cost)로 인해 효율성이 제한됩니다. 희소 어텐션(sparse attention)은 전체 어텐션 행렬을 근사하기 위해 쿼리-키 상호작용의 일부만 유지함으로써 이러한 비용을 줄입니다. 그러나 기존 방법들은 수학적으로 잘못된 관점에 갇혀 있습니다. 즉, 어텐션 행렬에서 단순히 큰 스칼라 값이나 질량이 높은 영역만을 유지합니다. 이는 어텐션 행렬이 값 벡터(value vector)와의 곱셈을 통해 어텐션 출력을 공동으로 결정하는 구조화된 행렬로 사용된다는 점을 무시한 채, 어텐션 행렬을 단순한 값들의 집합(bag of values)으로 취급하는 것입니다. 우리는 이것이 핵심적인 개념적 문제라고 주장합니다. 희소 어텐션은 단순히 원소 주머니에서 가장 큰 값을 맹목적으로 고르는 것이 아니라 행렬 근사(matrix approximation)로 정식화되어야 합니다. 이러한 관점을 바탕으로, 본 논문에서는 행렬 근사 희소 어텐션(MASA, Matrix Approximation Sparse Attention)을 제안합니다. MASA는 단순 어텐션 질량 순위 책정을 각 희소 단위가 행렬곱 근사 오차를 얼마나 줄이는지 측정하는 닫힌 형식(closed-form) 점수로 대체합니다. 이론에 기반한 플러그인 보정 방식인 MASA는 기존 희소 커널이나 예산을 변경하지 않고도 기존 희소 어텐션 프레임워크에 추가될 수 있습니다. 여러 희소 어텐션 방법, 벤치마크, LLM 백본에 걸친 광범위한 실험을 통해 일관된 정확도 향상을 입증하였으며, 이는 MASA와 희소 어텐션에 대한 행렬 근사 관점 모두를 뒷받침합니다.
비디오 확산 트랜스포머는 긴 시공간 토큰 시퀀스에서 어텐션이 지배적이기 때문에 연산 비용이 큽니다. 본 연구에서는 극단적인 어텐션 희소성에서 스텝별 국소 학습 손실(step-local training loss)은 계속 감소하지만 최종 생성 품질은 정체되거나 저하되는 '고희소성 함정(high-sparsity trap)'을 규명합니다. 이 함정은 지도(supervision) 방식의 문제입니다. 지배적인 최종 오차는 고노이즈 구조 생성 단계에서 비롯되며, 최종 상태에 정렬된 학습(terminal-aligned training)은 스텝별 국소 학습을 대폭 연장해도 해결할 수 없는 최종 오차를 교정합니다. 이를 통해 '먼저 희소 아키텍처를 거친 사전 분포(coarse prior)에 적응시킨 후, 최종 분포를 교정한다'는 간단한 단계별 원칙이 도출됩니다. 우리는 이 원칙을 시각 생성을 위한 통합 가속 프레임워크인 SparkDiffusion으로 구현하며, 이는 짧은 희소 웜업, 소수 스텝 궤적 혼합 증류(few-step trajectory-mixed distillation), 융합 커널을 활용한 FP8 양자화를 결합합니다. SparkDiffusion은 Wan2.1/Wan2.2 백본 및 T2V/I2V 태스크 전반의 긴 시퀀스 720P 생성에서 우수한 시각적 품질과 함께 97%의 어텐션 희소성을 유지하며, Wan2.1-T2V-1.3B-480P에서는 90%의 희소성을 유지합니다. 3스텝 CFG-free 추론을 통해 SparkDiffusion은 단일 RTX 5090에서 Wan2.1-T2V-14B-720P에 대해 50스텝 CFG 밀집 기준선(dense baseline) 대비 265배(H100에서 220배)의 엔드투엔드 속도 향상을 달성하고, Wan2.1-T2V-1.3B-480P 비디오를 1.3초 만에 디노이징합니다.
희소 긴 문맥(long-context) 추론에서는 프리필(prefill)과 디코드(decode) 단계 모두에서 효율적인 토큰 검색이 필요합니다. 기존 방식들은 종종 두 단계에 서로 다른 검색 전략을 사용하여, 추론 전반에 걸쳐 하나의 검색 표현을 재사용하지 못합니다. 본 논문에서는 공유된 변환 도메인 부호-크기(sign-magnitude) 표현을 기반으로 구축된 별도의 학습이 필요 없는(training-free) 프레임워크인 자체 색인 어텐션(Self-Indexing Attention)을 제안합니다. 키(key) 부호는 그룹화된 프리필 선택 및 디코드 검색을 위한 재사용 가능한 토큰 수준의 색인을 제공하며, 동일한 표현이 별도의 색인기 메타데이터 없이도 외부 KV 캐시 압축과 호환성을 유지합니다. 이 1비트 색인은 최신 가속기에서 널리 지원되는 비트 단위 연산을 통해 효율적인 검색을 가능하게 합니다. 5%의 어텐션 밀도에서 Self-Indexing Attention은 LongBench 및 RULER에서 밀집(dense) 어텐션에 근접한 성능을 유지하며, 프리필에서 최대 6.1배, 디코드에서 최대 10.3배의 어텐션 연산자 속도 향상을 달성합니다. TurboQuant 및 DeepSeekV4-Flash를 사용한 실험은 저비트 KV 캐시 압축 및 사전학습된 희소 어텐션 색인기와의 호환성을 추가로 입증합니다.
어텐션 질량(attention-mass)의 집중은 희소 디코딩(sparse decoding)의 기회를 제공하지만, 유지된 질량만으로는 안정적인 탐욕적 결정(greedy decision)을 보장할 수 없습니다. 즉, 검색 오류, 생략된 밸류(value) 방향, 재귀적 디코딩이 모두 중요한 영향을 미칩니다. 본 연구에서는 정확한 생략 질량 항등식과 충분한 다운스트림 마진 조건을 통해 이러한 차이를 정형화하고, 쿼리 의존적 평균 풀링 블록 선택기(query-dependent mean-pooled block selector)의 특성을 규명합니다. Qwen2-0.5B 모델을 대상으로 한 대응 신규 선택 탐색(paired fresh-selection sweep)은 97~769개 위치의 지지 집합(support), 2K~16K의 컨텍스트, 그리고 컨텍스트당 5개의 접두사(prefix)를 다룹니다. 주요 완전 일치(exact-match) 결과에 따르면, 60회의 실행 중 128개 토큰에 걸쳐 밀집 디코딩(dense decoding)과 동일하게 유지된 경우는 단 하나도 없었습니다. 분포적 품질은 이와 다릅니다. 193 이상의 지지 집합에 대해 9개의 컨텍스트-지지 집합 조건 중 7개에서 밀집 모델 대비 교사 강제(teacher-forced) 연속 펄플렉서티(perplexity) 변화 중앙값이 5% 이내였으나, 프롬프트 수준의 범위에는 심각한 16K 이상치(outlier)가 포함되어 있습니다. 교사 강제 일치율이 70% 미만인 7번의 실행 모두에서 펄플렉서티가 100% 이상 증가했습니다. 이러한 관찰 결과는 두 개의 접두사에서 비롯된 것으로 일반적인 임계값이 아닌 경고 영역을 시사합니다. 측정된 펄플렉서티는 희소 모델의 자유 실행(free-running) 출력이 아닌 밀집 모델 자체의 연속 생성에 대해 교사 강제된 값입니다. 분리된 검색 및 어텐션 질량 프로브(probe)는 포착된 질량만으로는 검색이나 결정을 보장할 수 없는 이유를 보여줍니다. 독립된 연산자 측정 시간만으로는 동일 품질에서의 가속이나 엔드투엔드 서빙 속도를 입증하지 못합니다.
효율적인 긴 문맥 추론(inference)은 대규모 언어 모델(LLM)에 필수적이지만, 극심한 연산 병목 현상을 유발합니다. 해시 기반 검색은 쿼리(query)와 키(key)를 이진 코드로 인코딩하고 해밍 거리(Hamming distance)를 사용하여 키를 선택함으로써 효율적인 대안을 제공합니다. 그러나 이는 해밍 거리와 어텐션(attention) 관련성 사이에 심각한 불일치를 초래합니다. 쿼리-키 로짓(logit)은 방향 유사도와 특징(feature) 크기에 함께 의존하는 반면, 해시 이진화는 크기 정보를 버리기 때문에 낮은 로짓 키의 위양성(false-positive) 검색과 높은 로짓 키의 위음성(false-negative) 누락을 모두 유발합니다. 이러한 실패를 해결하기 위해, 본 논문에서는 기하학 인식 키 라우팅(Geometry-Aware Key Routing, GKR)과 학습된 해시 투영(Learned Hash Projection, LHP)을 통해 점진적으로 검색 정확도를 향상시키는 coarse-to-fine 프레임워크인 계층적 해시 검색(Hierarchical Hash Retrieval, HHR)을 제안합니다. GKR은 헤드별 직교 변환을 학습하여 특징 크기를 재분배하고 더 변별력 있는 페이지 수준 로짓 경계를 도출함으로써, 중요한 후보를 보존하면서 낮은 로짓 키의 효과적인 가지치기(pruning)를 가능하게 합니다. 그런 다음 LHP는 미세 단위(fine-grained) 검색을 위해 해밍 거리를 실제 쿼리-키 관련성 순위와 정렬하는 헤드별 투영 공간을 학습합니다. GKR과 LHP를 결합함으로써 HHR은 위양성을 억제하고 위음성을 복구하여 해시 기반 희소 어텐션(sparse attention)의 충실도를 크게 향상시킵니다. 다양한 LLM 및 벤치마크에 걸친 광범위한 실험을 통해 HHR이 기존 방법들보다 우수한 성능을 달성함을 입증합니다. 예를 들어 LongBench에서 HHR은 평균 점수를 1.10점 향상시키며, 128K 문맥 길이에서 Llama-3.1-8B-Instruct 기준 최대 3.30배의 디코딩 속도 향상과 2.83배의 엔드투엔드 속도 향상을 달성합니다. 코드는 https://github.com/lianjunl13-sudo/HHR 에서 공개되어 있습니다.
VGGT와 같은 피드포워드 3D 비전 모델은 단일 패스로 카메라 추정과 조밀한 장면 재구성을 통합하며 괄목할 만한 진전을 이루었습니다. 그러나 이들의 2차 복잡도(quadratic) 전역 어텐션(attention)은 긴 이미지 시퀀스를 처리할 때 큰 비용을 초래하며, 기존 희소화 기법들은 어텐션 점수는 높지만 값(value) 측면에서는 중복적인 영역을 선호하는 경향이 있습니다. 이러한 한계를 해결하기 위해, 본 논문에서는 값 인식 블록 선택과 실행 인식 교차 층(cross-layer) 메모리를 결합한 무학습(training-free) 희소 어텐션 기법인 VASC를 제안합니다. 제안하는 값 인식 블록 선택은 풀링된 쿼리-키(query-key) 관련성과 인접 값 대비(contrast)를 통합하여 쿼리 관련성이 높고 독특한 콘텐츠를 보존하면서도 중복성을 줄입니다. 교차 층 메모리는 층 전반에서 충족되지 않은 요구를 추적하고 실제 실행에 따라 이 상태를 업데이트하여, 이전에 제대로 처리되지 못한 블록들이 고정된 계산 예산 내에서 경쟁할 수 있도록 지원합니다. VGGT 및 $\pi^3$를 활용하여 7Scenes 및 NeuralRGB-D에서 진행한 실험에 따르면, FasterVGGT 대비 향상된 포즈 추정 및 재구성 품질을 보여주었으며, 조밀한(dense) VGGT 대비 최대 2.29배 빠른 추론(inference) 속도를 달성했습니다. 코드는 https://github.com/kosakayamahoo-design/VASC 에서 확인할 수 있습니다.
순환 언어 모델(Recurrent language model)은 잠재 표현(latent representation)을 정제하기 위해 공유된 네트워크 블록을 반복적으로 적용하지만, 표준 추론(inference)은 모든 순환 단계에서 전역 어텐션(global attention)을 재계산합니다. 본 연구에서는 순환 깊이에 따른 어텐션 동역학을 분석하여, 어텐션 지지 집합(attention support)과 분포가 은닉 상태(hidden state) 및 어텐션 출력보다 훨씬 조기에 안정화된다는 점을 발견했습니다. 이는 2단계 구조를 시사합니다. 즉, 초기 단계에서는 관련된 문맥의 희소한 작업 집합(working set)을 탐색하고, 후기 단계에서는 대체로 동일한 라우팅 지지 집합 상에서 표현을 정제합니다. 이러한 구조에 착안하여, 초기 순환 과정에서는 제한 없는 전역 어텐션을 사용하고 이후에는 순환 깊이와 지지 집합 내부의 어텐션 계산을 동적으로 유지하면서 직접 탐색된 블록 구조 지지 집합을 재사용하는 학습(training) 불필요 방식인 WISE(Working-set Inference with Support Exploitation, 지지 집합 활용 기반 작업 집합 추론)를 제안합니다. 통제된 개입 실험을 통해 순환 탐색이 중요하며, 지지 집합만을 재사용하는 것이 더 제한적인 어텐션 재사용 대안들에 비해 모델 동작을 더 잘 보존함을 입증합니다. 다단계 질의응답(multi-hop QA) 벤치마크 전반에서 WISE는 전체 어텐션 성능을 대체로 보존하는 반면, 문맥 스케일링(context scaling)을 통해 점점 더 희소해지는 작업 집합과 더 큰 효율성 향상을 보여줍니다. 2K 문맥까지는 품질이 대체로 유지되며, 4K에서는 측정 가능한 손실(loss)이 발생합니다. 최적화된 희소 어텐션 구현은 4K에서 기존 FlashAttention 대비 최대 1.76배의 어텐션 속도 향상을, 전체 32단계 어텐션 궤적에 대해 1.36배의 속도 향상을 달성합니다. 코드는 https://github.com/tbn5pj/WISE_code 에서 확인할 수 있습니다.
장기 지평 및 다중 턴 에이전트는 일반적으로 짧은 액션을 생성하고 도구와 환경으로부터 긴 관측을 처리한다. 이렇게 늘어나는 컨텍스트는 효율적인 prefill, 컴팩트한 KV-cache 저장, 정확한 장문맥 검색을 요구한다. 이를 충족하기 위해 이단계 KV 공유를 갖는 하이브리드 희소 어텐션 아키텍처 HySparse2를 제안한다. 외부 수준에서 KV Bridging은 YOCO 스타일의 self-decoder와 cross-decoder 구조를 채택하되, full-attention 레이어만 연결한다. self-decoder는 하이브리드 슬라이딩 윈도우 어텐션(SWA)을, cross-decoder는 하이브리드 희소 어텐션을 사용한다. cross-decoder의 full-attention 레이어용 KV cache는 self-decoder의 full-attention 레이어 은닉 상태에서 생성된다. 내부 수준에서 HySparse2는 HySparse의 핵심 KV Reuse 설계를 유지하면서 두 가지를 개선한다. 첫째, 더 세밀한 장문맥 검색을 위해 블록 수준 희소성을 토큰 수준 희소성으로 바꾼다. 둘째, 희소 레이어의 별도 SWA 분기를 제거하고, 대신 최근 토큰의 슬라이딩 윈도우를 희소 선택에 반드시 포함시킨다. 이 이단계 KV 공유로 cross-decoder의 모든 KV cache를 self-decoder 은닉 상태만으로 구성할 수 있다. 따라서 prefill은 self-decoder 이후 종료되어 cross-decoder 레이어 전체를 건너뛸 수 있다. 80B-A3B MoE 모델에서 HySparse2는 장문맥 검색과 다중 턴 에이전틱 태스크에서 HySparse 및 Hybrid SWA보다 우수하며, prefill 연산과 KV-cache 저장을 크게 줄인다.
이벤트 카메라는 공간적 희소성과 높은 시간 해상도를 갖춘 순차적 시각 데이터를 제공하며, 저지연 객체 검출에 매력적인 선택지가 된다. 기존 비동기 이벤트 기반 신경망은 이벤트마다 예측을 갱신함으로써 이러한 저지연 이점을 활용하지만, 여전히 두 가지 병목에 시달린다. 순환(recurrent) 아키텍처는 긴 시퀀스에서 효율적으로 학습하기 어렵고, 정확도를 높이면 이벤트당 연산량과 지연이 증가하는 경우가 많다. 선형 어텐션은 병렬 학습과 순환 추론을 가능하게 하므로 매력적이다. 그러나 밀집된 상태 갱신 때문에 이벤트당 연산량이 상태 크기에 비례하여 증가하고, 정확한 위치 파악을 위해 세밀한 공간 상태가 필요한 객체 검출에서는 정확도와 효율 사이의 트레이드오프가 좋지 않다. 따라서 핵심 과제는 효율적인 병렬 학습을 유지하면서 이벤트의 공간적 희소성을 활용하는 희소 상태 활성화를 도입하는 것이다. 우리는 공간 혼합(mixture-of-spaces) 상태 분해와 scatter-compute-gather 학습 절차를 도입하여 상태 수준의 희소성과 학습 병렬성을 모두 달성하는 공간적으로 희소한 선형 어텐션(Spatially-Sparse Linear Attention, SSLA)을 제안한다. SSLA를 기반으로 저지연 이벤트 기반 객체 검출을 위한 종단 간(end-to-end) 비동기 선형 어텐션 모델 SSLA-Det을 개발한다. Gen1과 N-Caltech101에서 SSLA-Det은 비동기 방법 중 최첨단 정확도를 달성하여 각각 0.375 mAP와 0.515 mAP에 도달하며, 가장 강력한 선행 비동기 기준선 대비 이벤트당 연산량을 20배 이상 줄여, 저지연 이벤트 기반 비전에서 선형 어텐션의 잠재력을 보여준다.
피드포워드 3D 재구성(F3R) 트랜스포머는 최근 눈부신 성과를 거두고 있다. 그러나 긴 이미지 시퀀스로 확장하는 것은 여전히 난제로 남아 있는데, 크로스뷰 전역 어텐션의 이차 복잡도가 빠르게 지배적인 연산 병목으로 부상하기 때문이다. 최근 압축 또는 희소 어텐션을 통해 효율성을 개선하려는 시도가 있었으나, 전역 어텐션이 지닌 내재적 희소성과 동적 특성을 충분히 활용하지 못하고 있다. 본 연구에서는 여러 F3R 트랜스포머에 걸쳐 전역 어텐션을 포괄적으로 분석하고, 어텐션 패턴이 레이어와 어텐션 헤드에 따라 매우 이질적이고 동적이며 극도로 희소하다는 사실을 밝힌다. 이 발견에 착안하여, 우리는 F3R 트랜스포머에 특화된 학습 불필요(training-free) 동적 희소 어텐션 프레임워크인 SAF3R을 제안한다. SAF3R은 맞춤형 희소 어텐션 메커니즘, 오프라인 헤드 프로파일링, 그리고 입력 의존적 어텐션 동작에 대응하는 효율적인 온라인 적응 전략을 통합한다. 광범위한 실험을 통해 SAF3R이 높은 희소성 비율을 달성하면서도 카메라 포즈 추정과 3D 재구성 품질을 유지하며, 기존 방법 대비 F3R 트랜스포머의 종단간 처리 속도를 크게 향상시킴을 입증한다. 코드는 https://github.com/jndeng/SAF3R 에서 공개되어 있다.
토큰 수준 희소 어텐션은 프로덕션 시스템에서 DeepSeek Sparse Attention(DSA)으로 구현된 것처럼, 하류 어텐션을 효율적으로 만들지만 병목을 이를 공급하는 인덱서로 옮긴다. 각 쿼리에 대해 top-k 토큰을 선택하려면 인덱서는 여전히 모든 선행 토큰을 점수화해야 하며, 길이 L의 시퀀스에 대해 층당 O(L^2)의 비용이 발생한다. 우리는 이러한 쿼리별 스캔이 대부분 중복됨을 관찰한다. 인접한 쿼리들은 높은 수준으로 겹치는 top-k 토큰을 선택하고, 인덱서 점수는 키 축을 따라 롱테일 분포를 보인다. 우리는 이러한 특성을 PIVOT(Proxy Indexing Via One full-prefix Traversal)에서 활용한다. PIVOT은 학습 없이 DSA 인덱서를 대체할 수 있는 드롭인 방식으로, 인접한 쿼리 그룹 전체에서 하나의 접두 문맥 스캔을 공유한다. PIVOT은 그룹을 단일 프록시 쿼리로 집계하고, 하나의 공유 전체 접두 문맥 스캔을 수행하여 후보 집합을 얻은 뒤, 그 집합에서 각 쿼리에 대한 top-k를 선택한다. 두 가지 변형은 속도와 충실도 사이의 트레이드오프를 제공한다. PIVOT-Reuse는 최대 속도를 위해 그룹 전체에서 프록시 top-k를 공유하는 반면, PIVOT-Refine은 각 쿼리의 인덱서로 후보 집합을 재점수화한 후 개별 top-k를 선택하여, 작은 추가 비용으로 밀집 인덱서와 동일한 결과를 낸다. 단일 알고리즘이 두 추론 단계를 모두 포괄하며, 그룹 형성 방식만 다르다. 프리필(prefill)에서는 연속 쿼리의 고정 크기 그룹을 사용하고, 디코드(decode)에서는 하나의 다중 토큰 예측(MTP) 단계에서 함께 디코딩되는 쿼리들을 사용한다. DeepSeek-V3.2와 GLM-5.1에서 LongBench 및 RULER 전반에 걸쳐 PIVOT은 밀집 DSA 인덱서와 동일한 정확도를 달성하면서 인덱서를 최대 4배 가속하고, 긴 문맥에서 end-to-end 지연 시간을 최대 1.6배 감소시킨다.
Diffusion transformer는 고품질 비디오 생성에 필수적이지만, 긴 토큰 시퀀스로 인해 어텐션이 추론의 주요 병목이 된다. 학습 없는 동적 희소 어텐션은 선택된 key-value 블록만 계산하여 이 병목을 완화하지만, 기존 방법은 다음 두 가지 이유로 어텐션을 효율적이면서도 정확하게 희소화하는 데 어려움을 겪는다: (1) 경직되고 예측 불가능하며 비용이 큰 라우팅: 프록시 점수로 상위 순위 블록의 고정 비율을 선택하면 고정 예산이 부과되고, 목표 누적 프록시 확률 질량에 도달하기 위해 블록을 유지하면 동적이지만 잠재적으로 불균형한 예산이 발생한다. 두 방식 모두 프록시 점수를 계산하고 구체화하는 데 무시할 수 없는 오버헤드가 발생한다. (2) 손실이 있는 keep-or-drop 희소화: 선택되지 않은 블록은 완전히 폐기되어 공격적인 희소성 하에서 정확도가 저하된다. 이러한 한계는 정확도 저하를 제한하면서 더 저렴한 동적 예산 라우팅을 필요로 한다.
본 논문에서는 동적 라우팅, 희소 계산, 근사 보정을 단일 online 소프트맥스 패스로 통합하여 희소 어텐션에서 더 나은 정확도-효율성 트레이드오프를 달성하는 학습 없는 Sol-Attn(Sparsifying online attention)을 제안한다. Sol-Attn의 핵심은 프록시 점수 재사용을 통한 실시간 블록 임계값 처리로, online 소프트맥스 과정에서 블록 프록시 점수를 임계값과 비교하여 중요 블록을 선택한다. 이 설계는 프록시 맵을 구체화하지 않으면서도 동적이면서 제어 가능한 블록 예산을 가능하게 하며, 선택되지 않은 블록의 프록시 점수를 직접 재사용하여 해당 기여를 근사한다. 이미지 및 비디오 생성 태스크에 걸친 실험에서 Sol-Attn은 학습 없는 희소 어텐션의 품질-효율성 프론티어를 앞당기며, 비디오 생성과 편집에서 각각 2.1배 및 2.3배의 end-to-end 속도 향상을 제공하면서 시각적 품질을 유지한다.
대규모 언어 모델에서 전체 셀프 어텐션(self-attention)의 복잡도는 O(N^2)로 스케일링되며, 이는 긴 컨텍스트 문서 분석을 65,536 토큰으로 제한하고 비용이 큰 GPU 클러스터를 필요로 한다. Reduced Interaction Sampling(RIS) 추론 엔진은 모델 무관 아키텍처로서 이 제약을 해결한다. 가중치를 수정하지 않고, RIS는 상용 메모리 한계 내에 맞는 희소 확률적 기하학(sparse stochastic geometry)을 사용하여 셀프 어텐션 복잡도를 O(N log N)으로 줄인다. 우리는 두 가지 체제에서 Qwen2-1.5B-Instruct에 대해 RIS를 검증한다. 32,768 토큰에서의 통제된 평가(여기서 네이티브 밀집(dense) 어텐션이 상한 역할을 함)에서, 1% 밀도와 70개 앙상블 시드(seed)를 사용한 RIS-Stochastic은 75.00% 정확도를 달성하여 네이티브 밀집 기준선(71.88%)을 능가하며, 5% 밀도와 10개 시드를 사용한 RIS-Stochastic은 이와 동일한 수준(71.88%)에 도달한다. 이는 희소 어텐션이 정규화(regularizer) 역할을 함을 보여준다: 여러 시드에 걸친 낮은 밀도(1%)는 시퀀스 수준의 노이즈를 걸러내는 반면, 더 높은 밀도(5%)는 방해(distractor) 노이즈를 다시 도입한다. 가장 타이트한 예산 하에서, RIS-Structural은 10개 시드만으로 1% 밀도에서 68.75% 정확도에 도달하여, 제로 컨텍스트 하한(floor)(59.38%) 대비 컨텍스트 격차의 75%를 회복한다. 65,536 토큰에서는 밀집 어텐션이 메모리 부족(out-of-memory) 오류를 유발하는데, RIS는 제로 컨텍스트 하한(51.56%) 대비 최대 14.06퍼센트포인트의 검색(retrieval) 이득을 제공하며, 이는 McNemar의 대응 검정(paired test)에서 한계적으로 유의함(p = 0.078 < 0.10)으로 확인된다. 모든 평가는 상용 비가속 CPU 서버(16-128 GB RAM)에서 실행되었으며, GPU 가속 없이도 표준 학술 하드웨어에서 긴 컨텍스트 LLM 추론이 가능함을 보여준다.
데이터 적응형 희소 어텐션 마스크는 고정 패턴(예: BigBird, Longformer)을 크게 능가하며, 긴 시퀀스에서는 밀집(dense) 어텐션을 넘어설 수도 있다. SBM-Transformer, Dynamic Mask Attention, NSA를 포함한 기존 적응형 접근법은 일반적으로 추가 학습 가능 매개변수, 맞춤형 그래디언트 추정기, 또는 전용 CUDA 커널을 필요로 한다. 우리는 고전적인 데이터 압축이 추가 매개변수 없이 효과적인 마스킹 신호를 제공함을 보인다. 블록 단위 gzip 압축률을 계산함으로써 중복되지 않은 콘텐츠 블록을 식별하고, 장거리 어텐션을 이를 통해 선택적으로 라우팅한다. 직관적으로, gzip으로 압축할 수 없는 블록은 국소 반복으로부터 예측할 수 없는 정보를 담고 있어 자연스러운 장거리 어텐션 대상이 된다. 압축 프로파일이 입력에 의존하기 때문에, 결과적인 희소 마스크는 학습된 매개변수, 보조 손실, 또는 맞춤형 커널 없이 콘텐츠에 동적으로 적응한다. 92M 매개변수, 8K 컨텍스트 조건의 PG-19 바이트 수준 언어 모델링에서 본 방법은 1.71 bits-per-byte(BPB)를 달성하여, 밀집 어텐션(2.89), BigBird(2.34), Longformer(3.21), 재구현한 SBM-Transformer(3.38)---유일한 학습 마스크 기준선---보다 최대 1.67 BPB 우수한 성능을 보이며 매개변수를 추가하지 않는다. 이 우위는 시퀀스 길이가 길어질수록 커지며, BigBird 대비 격차는 4K 컨텍스트에서 0.05 BPB에서 8K에서 0.63 BPB로 넓어지고, 수렴은 3.3배 더 빠르다.
트랜스포머 컨텍스트 윈도우 스케일링이 피드포워드 3D 복원에 미치는 영향을 연구하기 위해, LSRM은 Native Sparse Attention을 기반으로 coarse-to-fine 파이프라인, 3D 인식 공간 라우팅, 커스텀 시퀀스 병렬화를 결합하여 기존 최첨단 대비 20배 많은 객체 토큰을 처리한다. GSO 벤치마크에서 PSNR 2.4dB 향상 및 LPIPS 40% 감소를 달성했으며, 역방향 렌더링으로 확장 시 StanfordORB에서 밀집 뷰 최적화 방법과 동등한 수준의 텍스처 품질을 피드포워드 단일 패스로 실현했다.
Diffusion Transformers (DiTs) set the state of the art in visual generation, yet their quadratic self-attention cost fundamentally limits scaling to long token sequences. Recent Top-K sparse attention approaches reduce the computation of DiTs by compressing tokens into block-wise representation and selecting a small set of relevant key blocks, but still suffer from (i) quadratic selection cost on compressed tokens and (ii) increasing K required to maintain model quality as sequences grow. We identify that their inefficiency is due to the single-level design, as a single coarse level is insufficient to represent the global structure. In this paper, we introduce Log-linear Sparse Attention (LLSA), a trainable sparse attention mechanism for extremely long token sequences that reduces both selection and attention costs from quadratic to log-linear complexity by utilizing a hierarchical structure. LLSA performs hierarchical Top-K selection, progressively adopting sparse Top-K selection with the indices found at the previous level, and introduces a Hierarchical KV Enrichment mechanism that preserves global context while using fewer tokens of different granularity during attention computation. To support efficient training, we develop a high-performance GPU implementation that uses only sparse indices for both the forward and backward passes, eliminating the need for dense attention masks. We evaluate LLSA on high-resolution pixel-space image generation without using patchification and VAE encoding. LLSA accelerates attention inference by 28.27x and DiT training by 6.09x on 256x256 pixel token sequences, while maintaining generation quality. The results demonstrate that LLSA offers a promising direction for training long-sequence DiTs efficiently. Code is available at: https://github.com/SingleZombie/LLSA