PyTorchKR Papers

최신 논문

총 36편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.19358v3cs.AI

LISA: 효율적 긴 컨텍스트 추론을 위한 Linear-Indexed Sparse Attention

LISA: Linear-Indexed Sparse Attention for Efficient Long-Context Reasoning

Long chain-of-thought (CoT) reasoning models such as DeepSeek-R1 keep lengthening their inference chains under test-time scaling, yet standard self-attention incurs quadratic cost in context length, making long-CoT deployment costly in production. We therefore introduce LISA (Linear-Indexed Sparse Attention), a plug-and-play replacement for self-attention that requires no full pretraining. LISA combines a linear-attention branch for long-range memory with a Lightning Indexer that dynamically selects the most relevant tokens for a sparse self-attention branch. The two branches are fused through a learned gate, so the model retains broad context while focusing computation on informative tokens. We train LISA in two stages. In Stage 1, a linear-attention branch is integrated with sliding-window attention and distilled from a frozen teacher's full-attention distribution. In Stage 2, the Lightning Indexer replaces the static window and is trained with a per-head KL-divergence objective to mimic teacher attention patterns. The resulting model reduces eager-mode self-attention computation from quadratic in sequence length to linear in the number of generated tokens and the selected context budget. Experiments on DeepSeek-distilled Qwen models show that LISA cuts measured eager-mode mean sample latency by 23.9% at 16K context without degrading long-context reasoning quality. Across nine mathematical and code reasoning benchmarks, the gated LISA-1.5B model improves the equal-weight benchmark average by 4.2 percentage points relative to the full-attention baseline.

arXiv:2610.15715v1cs.AI

역사는 반복된다: 선형 어텐션에서 롱컨텍스트 능력 발현하기

History Replays Itself: Unleashing Long-Context Capability in Linear Attention

선형 어텐션(linear attention)은 롱컨텍스트(long-context) 언어 모델링에 필요한 효율성을 제공하지만, 크기가 고정된 순환 상태(recurrent state)가 지속적인 연산을 지원하는 동시에 계속 증가하는 과거 정보를 보존해야만 합니다. 이러한 결합은 상태의 메모리 용량이 모델의 롱컨텍스트 능력을 규정한다는 지배적인 관점을 강화해 왔습니다. 본 연구에서는 순환 연산이 장기 저장의 모든 부담을 짊어질 필요가 없다는 점을 들어 이러한 한계성에 의문을 제기합니다. 우리는 미래의 쿼리를 알 수 없는 상태에서 선별된 텍스트를 보관하고, 백본의 고유 특징을 활용하여 기록 및 주소 지정을 수행하며, 리플레이(replay)를 통해 고유의 순전파 연산으로 검색된 근거를 읽어오는 희소 에피소딕 메모리인 NoteBank를 소개합니다. 이 학습 불필요(training-free) 플러그 앤 플레이(plug-and-play) 인터페이스는 외부 임베딩 모델이나 별도로 학습된 검색기, 독립된 신경망 리더(neural reader)를 필요로 하지 않습니다. 100만 토큰 환경에서, 이는 Gated DeltaNet의 6개 RULER 검색 태스크 평균 정확도를 1.7%에서 70.3%로 향상시켰으며, 4K에서 1M 토큰까지 유의미한 검색 성능 저하가 관찰되지 않았습니다. 이러한 성능 회복 과정에서 추가되는 이론적 FLOPs는 0.025% 이하($\leqslant$0.025%)에 불과하며, 영구 컨텍스트 저장 공간은 동일한 너비, 깊이 및 정밀도 조건의 트랜스포머 전체 MHA KV 캐시 대비 약 1/2,600 수준입니다. 실험은 세 가지 1.3B 순환 백본부터 Mamba-2-8B 및 사후학습(post-training)을 거친 Qwen3.5-9B까지 확장되어 LongBench v1/v2와 MemoryAgentBench 전반에서 성능 향상을 입증했습니다. 종합적으로 이러한 결과는 희소 근거 저장과 고유 리플레이 메커니즘이 순환 연산의 효율성을 유지하면서도 사전학습된 선형 어텐션 모델의 롱컨텍스트 역량을 크게 확장할 수 있음을 보여줍니다.

arXiv:2610.15709v1cs.LG

저비트 순환 상태 양자화에서 업데이트 보존

Preserving Updates in Low-Bit Recurrent State Quantization

선형 어텐션(Linear attention) 및 순환 모델(recurrent model)은 이전 토큰들을 매 스텝마다 업데이트되는 고정 크기의 상태(state)로 압축합니다. 그러나 대규모 배치 크기에서 이러한 상태를 높은 정밀도로 저장하면 상당한 메모리 및 대역폭 비용이 발생하므로 저비트 상태 양자화(quantization)가 요구됩니다. 가중치나 키-값 캐시(key-value cache)와 달리, 순환 상태는 매 업데이트 후 다시 양자화되므로 양자화 오차가 스텝에 걸쳐 누적됩니다. 본 연구의 분석에 따르면 이러한 오차는 스텝 전반에 걸쳐 높은 일관성(coherence)을 보이므로, 스텝별 오차를 줄이는 것만으로는 충분하지 않습니다. 이러한 일관성은 주로 반올림 과정에서 손실되는 미세한 업데이트로 인해 발생합니다. 본 논문에서는 이러한 업데이트를 보존하기 위해 반올림 전과 반올림 시점 모두에서 개입하는 방안을 제안합니다. 반올림 전 단계에서는 미세한 업데이트를 소형 저계수 버퍼(low-rank buffer)에 누적하고 충분히 커진 요소를 주기적으로 상태에 병합하는 저계수 바이패스(Low-Rank Bypass, LRB)를 제안합니다. 반올림 시점에서는 상태 요소가 업데이트 방향과 반대로 이동할 수도 있으며, 이러한 역전 현상이 특히 유해함을 확인했습니다. 따라서 추가적인 저장 공간 없이 역전된 요소를 업데이트 방향으로 반올림하는 유계 방향성 반올림(Bounded Directional Rounding, BDR)을 제안합니다. BDR은 반올림 오차를 증가시키지만 모델 성능을 향상시키며, 이는 단일 스텝에서의 반올림 오차보다 업데이트 방향이 더 중요함을 시사합니다. Gated DeltaNet, GLA, Mamba2, RetNet 전반에서 본 연구의 학습(training) 불필요 방식은 INT4를 크게 능가하는 동시에, FP32 상태 대비 상태 메모리를 최대 5.3배 절감하고 디코딩 속도를 최대 1.9배 향상합니다.

arXiv:2610.13735v1cs.LG

Orthros: 효율적인 트랜스포머를 위한 단계 인식 이종 어텐션

Orthros: Phase-Aware Heterogeneous Attention for Efficient Transformers

선형 어텐션(linear attention)과 슬라이딩 윈도우 어텐션(sliding window attention) 같은 효율적인 어텐션 메커니즘은 트랜스포머의 계산 복잡도를 제곱(quadratic)에서 선형(linear)으로 줄이는 것을 목표로 한다. 그러나 이러한 메커니즘은 문맥 내 재현율(in-context recall)이 저하되는 경우가 많아 전체 어텐션(full attention) 레이어를 교차 배치해야 하는 경우가 많으며, 이로 인해 긴 문맥(long-context) 처리에서 제곱 복잡도 병목이 여전히 해결되지 않은 채로 남아 있다. 이를 해결하기 위해, 우리는 효율성 패러다임을 구조적 할당(structural allocation)에서 단계 인식 분리(phase-aware decoupling)로 전환하는 Orthros 어텐션을 제안한다. Orthros는 통합된 모듈로서 시퀀스 처리의 서로 다른 단계(phase)에 걸쳐 계산 패턴을 동적으로 전환하여, 프리필링(prefilling)에서는 선형 복잡도를, 디코딩(decoding)에서는 전체 어텐션을 가능하게 한다. 이러한 설계는 무거운 프리필링과 가벼운 디코딩으로 특징지어지는 일반적인 긴 문맥 시나리오에서 Orthros 어텐션이 기본 트랜스포머(vanilla Transformer)보다 더 낮은 점근적 복잡도(asymptotic complexity)를 갖도록 한다. 이론적 정식화와 복잡도 분석을 넘어, 광범위한 실증적 평가를 통해 Orthros가 여러 측면에서 우수함을 입증한다. 첫째, 우리는 Orthros의 기본적인 언어 모델링 능력을 검증하여 다양한 모델 크기에 걸친 확장성(scalability)과 종합적인 아키텍처 비교에서의 강력한 경쟁력을 보여준다. 둘째, Orthros는 데이터 효율적인 트랜스포머-투-Orthros 변환(Transformer-to-Orthros conversion)을 통해 뛰어난 변환 가능성(conversion feasibility)을 보여주며, 원본 트랜스포머를 능가하는 성능을 달성한다. 마지막으로, Orthros는 트랜스포머 대비 21.9배의 프리필링 속도 향상(prefilling speedup)을 달성하며 종단 간(end-to-end) 추론 성능 향상을 보이는 동시에, 거의 완벽한 128K 니들 인 어 헤이스택(needle-in-a-haystack) 결과와 실제 문맥 내 재현율 과제에서 트랜스포머 수준의 성능을 통해 긴 문맥 처리 능력을 유지한다. 전반적으로, 이러한 높은 성능, 유연성, 효율성의 장점들은 Orthros를 산업 응용 분야에서 트랜스포머를 계승할 유망한 후보로 자리매김하게 한다.

arXiv:2610.13674v1stat.ML

모든 차원이 동등하지는 않다: 그룹화된 이차 커널을 이용한 이상치 인식 어텐션 선형화

Not All Dimensions Are Equal: Outlier-Aware Attention Linearization with Grouped Quadratic Kernels

소프트맥스(softmax) 어텐션을 선형화하는 것은 효율적인 트랜스포머(Transformer) 추론을 달성하는 경로를 제공하지만, 사전학습된 어텐션을 보존하는 것은 여전히 어려운 과제로 남아 있습니다. 본 연구에서는 표준 선형화 기법들이 간과해 온 중요한 근사 오차 원인을 규명합니다. 즉, 소수의 이상치 차원이 쿼리-키 내적에 불균형적으로 크게 기여하며 근사 오차의 상당 부분을 차지한다는 점입니다. 이러한 이질성에 착안하여, 본 논문에서는 이차 어텐션 근사를 구성하기 위한 차원 인식 기법인 이상치 인식 어텐션 선형화(Outlier-Aware Attention Linearization, OAL)를 제안합니다. 2차 테일러 근사에서 출발하여, 개별 쿼리-키의 기여를 명시적으로 만드는 아다마르 곱(Hadamard-product) 정식을 도입합니다. 이 정식은 전역적으로 공유되는 계수를 완화하여 분리 가능한 평가 방식을 유지하면서도 차원별 선형 항과 차원 간 이차 상호작용을 지원합니다. 적은 수의 파라미터로 이러한 유연성을 유지하기 위해, OAL은 기여도 규모가 유사한 차원들을 묶어 계수를 공유하도록 하는 동시에 소수의 이상치는 별도로 처리할 수 있도록 합니다. 이를 통해 생성된 양의 이차 커널은 사전학습된 어텐션 출력을 기준으로 보정되며, 고정된 헤드 차원에 대해 시퀀스 길이에 선형인 시간 복잡도로 계산이 가능합니다. Qwen2.5-0.5B 모델에서 OAL은 DiJiang 대비 고정된 어텐션 출력의 상대 MSE를 약 8.9% 감소시킵니다. 중간 층의 어텐션 모듈을 교체하고 LoRA를 통해 커널 계수를 공동으로 미세조정(fine-tuning)하면, 학습된 전역 이차 커널 방식과 비교해 WikiText-103 퍼플렉시티(perplexity)를 31.71에서 27.50으로 낮추는 동시에 PIQA, HellaSwag, ARC-E에서의 정확도를 향상시킵니다. 이러한 결과는 어텐션 근사와 사전학습 모델 변환 모두에서 이상치 인식 차원 그룹화의 유효성을 입증합니다. 코드는 https://github.com/wuqianyue09/OAL 에서 확인할 수 있습니다.

arXiv:2610.10761v1stat.ML

선형 어텐션은 비선형 교사로부터 문맥 내에서 무엇을 학습할 수 있는가?

What can linear attention learn from nonlinear teachers in-context?

선형 어텐션(linear attention)은 트랜스포머의 문맥 내 학습(ICL)을 지배하는 메커니즘을 이해하기 위한 다루기 쉬운 모델이다. 선형 회귀 태스크의 경우, 최근의 점근적 분석을 통해 그 학습 및 일반화 동작이 규명된 바 있다. 본 연구에서는 이 이론을 비선형 단일 인덱스 타깃 $y=f(x^\top w)+\varepsilon$으로 확장한다. 본 연구의 주요 결과는 비선형성-노이즈 등가성(nonlinearity-noise equivalence)을 확립한다. 즉, 선형 어텐션은 $f$의 선형 에르미트(Hermite) 성분만을 추출하며, 나머지 비선형 구조는 유효 노이즈로서 일반화 오차에 기여한다. 이러한 축소를 통해 해당 선형 이론의 결과들을 비선형 태스크로 이전할 수 있다. 본 연구에서는 유한한 사전학습(pre-training) 데이터 환경과 태스크 다양성 증가에 따른 태스크 암기에서 태스크 일반화로의 전이에 대해 이것이 갖는 함의를 보여준다. 이러한 결과는 축소된 선형 어텐션 모델의 한계를 규명하고, 비선형 문맥 내 학습을 연구하기 위한 다루기 쉬운 출발점을 제공한다.

arXiv:2605.31163v4stat.ML

설계에 의한 메모리: 확률적 시퀀스 층

Memory by Design: Probabilistic Sequence Layers

본 논문에서는 메모리에 대한 명시적 가정으로부터 효율적인 순환 시퀀스 매핑을 유도하는 방식인 설계-모델 프레임워크(design-model framework)를 소개합니다. 설계 모델은 정확한 베이즈 필터링(Bayesian filtering)을 통해 증거를 메모리에 기록하며, 쿼리 의존적 판독(query-dependent readout)은 평균이 층 출력이 되는 예측 분포를 생성합니다. 선형 가우시안(linear-Gaussian) 구체화에서 베이지안 층(Bayesian Layer)은 평균과 공분산을 모두 전파합니다. 여기서 공분산은 저장된 연관성에 대한 불확실성을 추적하여, 쓰기 동작을 불확실한 방향으로 유도하고 증거가 축적됨에 따라 이득을 감쇄시키며 확신도가 높은 메모리를 보존합니다. 동일한 프레임워크는 여러 아이차(sub-quadratic) 순환 모델을 통합합니다. 즉, 선형 어텐션(linear attention), GLA 및 Mamba-2/SSD는 잠재 입력(latent-input) 설계 모델 하에서의 정확한 필터인 반면, DeltaNet 및 관련 델타 규칙(Delta-rule) 모델들은 베이지안 층 설계 모델의 공분산 초기화 축약형입니다. 공분산 전파를 복원하면 검색 동역학에 대한 닫힌 형식(closed-form)의 예측이 가능해지며, 이를 실증적으로 검증하고 제어된 충돌 연구, 학습된 연관 재현율(associative recall) 및 Zoology MQAR 벤치마크에서 학습 범위를 넘어서는 견고성을 향상시킵니다. 일치된 상태 예산 하에 WikiText-103에서 처음부터 학습(training from scratch)했을 때 연관 재현율 적중 시의 펄플렉서티(perplexity)가 낮아집니다. 사전학습된 340M Gated DeltaNet에 베이지안 층을 지식 증류하면 2.5–2.7%의 검증 펄플렉서티 비용으로 동일 연산량 제어군 대비 RULER 긴 컨텍스트 검색 성능이 향상됩니다.

arXiv:2510.18239v4cs.IR

LIME: 효율적인 테스트 시간 스케일링을 위한 분리된 XOR 어텐션 기반 링크 사용자-아이템 상호작용 모델링

LIME: Link-based User-item Interaction Modeling with Decoupled XOR Attention for Efficient Test Time Scaling

대규모 추천 시스템을 확장(scaling)하려면 더 긴 사용자 이력 처리, 후보군 확장, 모델(model) 용량 증대라는 세 가지 주요 영역의 발전이 필요합니다. 트랜스포머(Transformer)는 유망하지만, 연산 비용이 사용자 시퀀스 길이에 따라 이차적으로 증가하고 후보군 수에 따라 선형적으로 증가합니다. 이러한 절충 관계(trade-off)로 인해 상당한 성능 향상에도 불구하고 추론(inference) 시 후보군을 확장하거나 시퀀스 길이를 늘리는 데 막대한 비용이 발생합니다. 본 논문에서는 이러한 절충 관계를 해결하는 새로운 아키텍처인 LIME을 소개합니다. 두 가지 핵심 혁신을 통해 LIME은 연산 복잡도를 근본적으로 줄입니다. 첫째, 로우랭크(low-rank) "링크 임베딩(link embeddings)"은 사용자와 후보 간의 상호작용을 분리하여 어텐션(attention) 가중치를 사전 계산할 수 있도록 함으로써, 추론 비용이 후보군 크기에 거의 영향을 받지 않도록 만듭니다. 둘째, 선형 어텐션 메커니즘인 LIME-XOR는 사용자 시퀀스 길이에 따른 복잡도를 이차($O(N^2)$)에서 선형($O(N)$)으로 감소시킵니다. 공개 데이터셋과 산업 데이터셋을 활용한 실험 결과, LIME은 최첨단(SOTA) 트랜스포머와 유사한 성능을 달성하면서도 대규모 후보군이나 긴 시퀀스 길이에서 10배($10\times$) 빠른 추론 속도 향상을 입증했습니다. 주요 추천 플랫폼에서 테스트했을 때, LIME은 후보군 크기 및 사용자 이력 길이에 따른 추론 비용을 최소한으로 유지하면서 사용자 참여도를 향상시켜 효율적이고 표현력 있는 추천 시스템을 위한 새로운 패러다임을 확립했습니다.

arXiv:2507.18074v2cs.AI

자율적 진화를 통한 신경망 구조 발견

Neural Architecture Discovery via Autonomous Evolution

대규모 언어 모델(LLM) 에이전트의 최근 발전은 자율 연구에 대한 기대를 높였습니다. 그러나 AI가 어려운 장기 과제(long-horizon tasks), 특히 AI 연구 자체를 발전시키는 과제를 완수할 수 있는지는 여전히 거의 탐구되지 않았습니다. 본 연구에서는 연구-실험-분석-업데이트의 폐루프(closed-loop) 과정을 통해 신경망 구조 연구를 자율적으로 수행하는 AI 주도 AI 연구 시스템인 ASI-Arch를 제시합니다. 선형 어텐션(linear attention)에 적용된 ASI-Arch는 1,773회의 반복 실험을 수행하여 105개의 최고 수준(state-of-the-art) 구조를 발견했습니다. 이 중 가장 뛰어난 구조는 Mamba2가 달성한 성능 향상의 거의 세 배에 달하는 폭으로 DeltaNet 대비 개선을 이루어냈습니다. 최종적인 성능 향상 외에도, 우리는 이처럼 까다로운 연구 환경에서 프레임워크 각 부분이 기여한 바를 분석하여 복잡한 AI 연구 과제에서 자율적 진전을 가능하게 하는 요인이 무엇인지 조명합니다.

arXiv:2609.33051v2cs.LG

SketchSSM: 전체 상태에 쓰고, 간결한 스케치에서 읽기

SketchSSM: Write to the Full State, Read from a Compact Sketch

하이브리드 어텐션(hybrid-attention) 모델은 대부분의 소프트맥스 어텐션 레이어를 선형 어텐션으로 대체하여 KV 캐시 증가를 줄이고 더 큰 디코드 배치를 가능하게 하지만, 이 경우 순환 상태(recurrent-state) 접근이 주요 병목이 됩니다. ReplaySSM은 키와 값을 버퍼링하여 상태 업데이트 비용을 분할 상환하지만, 상태 업데이트 사이에 상태가 변하지 않더라도 각각의 새로운 쿼리는 여전히 전체 상태 읽기를 필요로 합니다. 본 연구에서는 저랭크(low-rank) 상태 가중 쿼리 근사가 상태 읽기 출력을 정확하게 보존함을 관찰했습니다. 미래의 쿼리는 알 수 없지만, 이를 근사하는 데 사용되는 기저 벡터(basis vector)는 오프라인에서 고정할 수 있습니다. 이러한 관찰을 바탕으로, 전체 상태 업데이트는 유지하면서 읽기를 근사하는 SketchSSM을 제안합니다. 각 상태 업데이트 시 SketchSSM은 전체 상태를 한 번 읽어 이러한 기저 벡터에 대한 출력을 사전 계산하고 이를 간결한 스케치에 저장합니다. 이후의 각 디코드 단계는 전체 상태 읽기 없이 스케치 벡터를 쿼리 종속 계수와 결합하여 출력을 재구성합니다. Mamba-2, GDN, KDA 기반의 4개 모델 전반에서 평균 스케치 랭크 8의 SketchSSM은 4개의 디코드 벤치마크에 걸쳐 FP32 전체 상태 기준선(baseline)의 평균 정확도를 유지하면서 상태 접근 트래픽을 약 10$\times$ 감소시켰으며, 4개의 RULER 검색 작업에서 재현율(recall)을 보존했습니다. 단일 NVIDIA B300 환경의 해당 랭크에서 표준 vLLM 기준선 대비 선형 어텐션 커널 속도 향상은 Mamba-2, GDN, KDA에 대해 각각 7.30$\times$, 5.02$\times$, 5.24$\times$에 달했으며, Nemotron 3 Super에서 최대 2.77$\times$ 더 높은 디코드 처리량을 달성했습니다.

arXiv:2602.11958v2cs.LG

RAM-Net: 희소 주소 지정 가능 상태를 활용한 선형 시간 시퀀스 모델링

RAM-Net: Linear-Time Sequence Modeling with Sparsely Addressable State

선형 어텐션(linear attention)은 고정된 크기의 순환 상태(recurrent state)를 통해 완전한 어텐션(full attention)에 대한 효율적인 대안을 제공합니다. 그러나 이 상태가 모든 토큰에 의해 공유되기 때문에 서로 다른 토큰의 정보가 상태 내에서 중첩(superposed)되어 토큰 간 간섭을 유발하고, 이는 장거리의 세밀한 재현율(recall)을 저하시킵니다. 이러한 문제를 해결하기 위해, 본 논문에서는 공유 상태에 대한 조밀한(dense) 접근을 희소 주소 기반 접근으로 대체하는 RAM-Net을 제안합니다. RAM-Net은 순환 상태를 독립적인 슬롯들의 고정 크기 배열로 구성하며, 각 키(key) 또는 쿼리(query)를 희소 주소에 매핑하는 주소 디코더(Address Decoder)를 사용하여 각 스텝에서 쓰거나 읽을 슬롯의 작은 하위 집합을 선택합니다. 이러한 설계는 주소가 겹치지 않는 토큰들을 서로 다른 슬롯으로 유도하여 토큰 간 간섭을 억제하면서도, 스텝당 상태 접근이 전체 상태 크기가 아닌 선택된 슬롯의 수에만 의존하도록 유지합니다. 실험적으로 RAM-Net은 세밀한 장거리 검색에서 강력한 순환 베이스라인들을 능가하며, 경쟁력 있는 상식 추론 능력과 함께 가장 낮은 퍼플렉서티(perplexity)를 달성합니다. 또한 모든 베이스라인보다 스텝당 더 적은 상태 요소에 접근하면서도 이러한 결과를 달성하며, 예를 들어 Mamba2 대비 $8\times$ 적은 요소에 접근합니다.

arXiv:2609.20744v3cs.LG

Video DeltaNet: 라이브스트림 비디오 생성을 위한 비디오 네이티브 하이브리드 어텐션

Video DeltaNet: A Video-Native Hybrid Attention for Livestream Video Generation

비디오 확산 모델(video diffusion model)은 노이즈 제거(denoising) 과정에서 긴 시공간 토큰 시퀀스를 반복적으로 처리하므로, 어텐션이 주요한 계산 병목점이 됩니다. 선형 어텐션(linear attention)은 매력적인 대안을 제공하며 최근 대규모 언어 모델(LLM)에 널리 도입되었으나, 비디오 모델에 직접 적용할 경우 고품질 생성에 필요한 세밀한 상호작용을 보존하지 못하는 경우가 많습니다. 본 논문에서는 장거리 비디오 문맥을 위해 로컬 소프트맥스 어텐션과 양방향 선형 메모리를 결합한 Video DeltaNet(VDN)을 제시합니다. VDN의 선형 브랜치는 공간 토큰들을 함께 통합하여 프레임당 한 번 메모리를 업데이트하는 Video Delta Attention(VDA)을 도입합니다. 별도의 출력 투영(output projection)과 학습 가능한 게이트가 두 브랜치를 보정하며, 단계별 교사 정렬(teacher-alignment) 레시피를 통해 사전학습된 모델에 새로운 경로를 점진적으로 도입합니다. 저자들은 MiniMax H3에 VDN을 구현하여 텍스트나 오디오와 관련된 상호작용에는 소프트맥스를 유지하면서 비디오 간 상호작용에 하이브리드 방식을 적용했습니다. 8단계 지식 증류와 최적화된 SGLang 서빙 스택을 갖춘 VDN-H3은 8개의 NVIDIA B200 GPU에서 14.3초 길이의 768p 비디오에 대한 DiT 노이즈 제거를 6.70초 만에 완료하며, 이는 동일한 GPU 수에서 50단계 밀집 H3 기준선 대비 14.5배 속도 향상에 해당합니다. GitHub 코드는 https://github.com/OpenVDN/vdn-minimax-h3 에서 제공되며, 가중치는 https://huggingface.co/OpenVDN/vdn-minimax-h3 에서 제공됩니다.

arXiv:2608.22117v2cs.LG

TANGO: 토큰을 연산자로 다루기

TANGO: Treating Tokens as Operators

트랜스포머(Transformer)는 셀프 어텐션(self-attention)에서의 토큰 간 혼합과 피드포워드 신경망에서의 토큰별 변환을 분리합니다. 본 논문에서는 고정된 데이터 및 매개변수(parameter) 예산 내에서 이러한 연산들을 결합함으로써 예측 손실(loss)을 낮출 수 있는지 질문합니다. 이를 위해 토큰 집약형 비선형 게이팅 연산자(Token-Aggregated Nonlinear Gating Operator, TANGO) 모델을 제안합니다. TANGO는 각 소스 토큰에서 비선형 특징(feature)별 게이트를 계산합니다. 어텐션은 각 대상 토큰에 대해 이러한 게이트들을 평균화합니다. 이 평균값은 대상 토큰의 선형 투영을 변조하며, 소스 조건부 선형 연산자의 대각 핵심부를 형성합니다. 본 제안을 검증하기 위해, 웹 텍스트, Lean 정형 수학, DeepMind Mathematics, 코드 데이터셋에서 전체 접두 문맥(full-prefix) 및 윈도우 기반 TANGO를 루프형 및 비공유(untied) 트랜스포머, Gated Attention Unit(GAU), Fast Linear Attention with a Single Head(FLASH)와 비교합니다. 이 비교에는 두 가지 매개변수 규모, 두 가지 깊이, 세 가지 시드가 사용됩니다. 체크포인트는 개발 데이터에서 선정되어 격리된 테스트 데이터에서 평가됩니다. 동일한 매개변수와 학습(training) 데이터 조건에서, 전체 접두 문맥 TANGO는 16개 설정 모두에서 가장 낮은 평균 테스트 음의 로그 가능도(negative log-likelihood)를 기록했습니다. 크기와 데이터셋의 8가지 추가 조합에서, 깊이가 4에서 8, 16으로 증가함에 따라 루프형 트랜스포머의 손실은 4개 설정에서 증가한 반면, TANGO의 개발 손실은 한 번도 증가하지 않았습니다. 전체 접두 문맥 TANGO는 가시적인 모든 소스에 걸쳐 넓은 게이트를 평균화하므로 계산 비용이 큽니다. 이러한 비용을 줄이기 위해, 첫 번째, 중간, 마지막 적용 단계에 할당된 세 개의 더 좁은 게이트 투영 세트를 갖춘 변형 모델을 평가합니다. 네 가지 FineWeb-Edu 설정 전반에서 이 변형 모델은 TANGO 대비 3.26~3.45배, 루프형 트랜스포머 대비 75%~96%의 처리량을 달성합니다. 이 모델의 평균 개발 음의 로그 가능도는 세 가지 설정에서 TANGO보다 낮았고 네 번째 설정에서는 0.023 높았으나, 네 가지 설정 모두에서 두 트랜스포머 베이스라인보다는 여전히 낮았습니다.

arXiv:2605.12491v2cs.CV

비전 트랜스포머는 전체-대-전체 어텐션이 필요한가? 탄력적 학습 코어를 통한 전역 통신

Do Vision Transformers Need All-to-All Attention? Global Communication Through Elastic Learned Cores

비전 트랜스포머(ViT)는 패치 토큰 간의 전체-대-전체(all-to-all) 셀프 어텐션을 통해 풍부한 시각-의미 표현을 학습한다. 그러나 이러한 설계는 효과적인 표현 학습을 위해 직접적인 패치 간 쌍별 상호작용이 필수적이라고 암묵적으로 가정한다. 본 연구에서는 이러한 가정에 도전하며, 직접적인 패치-대-패치 상호작용 없이도 전역 인식(global recognition)과 밀집 예측(dense prediction)을 모두 지원하는 표현을 학습할 수 있음을 보인다. 우리는 소수의 학습된 코어에 의해 매개되는 코어-주변부(core-periphery) 구조의 어텐션을 갖는 비전 트랜스포머인 VECA(Visual Elastic-Core Attention)를 제안한다. 패치 토큰은 오직 이 코어들을 통해서만 전역 정보를 교환하며, 전체 밀집 패치 집합은 보존된 채 레이어를 거치며 반복적으로 업데이트된다. 이는 어텐션 복잡도를 $O(N^2)$에서, 고정된 코어 예산 $C$에 대해 패치 수 $N$에 선형인 $O(N)$으로 줄인다. 기존의 잠재 토큰 교차 어텐션(latent-token cross-attention) 아키텍처와 달리, VECA는 공간적 표현 자체를 압축하지 않으면서도 희소한 전역 통신을 가능하게 한다. 코어 축을 따른 중첩 학습(nested training)은 또한 재학습 없이도 추론 시점에 단일 모델이 연산량과 정확도 간의 균형을 탄력적으로 조정할 수 있게 한다. 이미지 분류 및 밀집 예측 과제 전반에서 VECA는 전체 어텐션 백본과 경쟁력을 유지하며, 평가된 선형 복잡도 대안들을 대부분의 벤치마크에서 능가한다. 또한 명시적인 지도(supervision) 없이도 이러한 코어들은 비디오 프레임 간 객체 레이블 전이(object-label transfer)를 지원하는 의미론적으로 조직화된 구조를 발전시킨다. 이러한 결과는 직접적인 전체-대-전체 패치 상호작용 없이도 효과적인 시각적 표현을 학습할 수 있음을 보여준다.

arXiv:2609.27470v1cs.CV

DeltaS: 스트리밍 비디오에서 KV 캐시 제거를 위한 게이트 선형 어텐션 상태 활용

DeltaS: Reading the Gated Linear Attention State for KV Cache Eviction in Streaming Video

최근 비전-언어 모델은 효율적인 장문맥 처리를 위해 선형 어텐션과 전체(full) 어텐션 레이어를 교차 배치하는 하이브리드 아키텍처를 점점 더 많이 채택한다. 선형 어텐션의 순환 상태(recurrent state) 크기는 고정된 반면, 전체 어텐션의 KV 캐시는 비디오 스트림에 따라 계속 커지므로, 제한된 메모리 예산 하에서는 제거(eviction)가 필요하다. 스트리밍에서 핵심 과제는 질문이 도착하기 전에 제거가 이루어져야 하므로, 무엇을 유지할지를 질문 없이 결정해야 한다는 점이다. 기존 제거 방법은 위치, 어텐션, 또는 키-값 표현을 사용해 KV 캐시 자체에서 토큰 점수를 도출하며, 어텐션 기반 점수는 추가로 프록시 쿼리나 추가 연산이 필요하다. 하이브리드 백본은 또 다른 신호 원천을 제공한다. 게이트-델타(gated-delta) 선형 어텐션에서는 순환 상태가 각 입력과 상태에서 이미 검색 가능한 것 사이의 잔차(residual)로 갱신되므로, 프레임 청크에 걸친 상태 변화는 해당 청크가 얼마나 많은 새 정보를 가져오는지를 반영한다. 우리는 쿼리에 무관하고 학습이 필요 없는 방법인 DeltaS를 제안하며, 정규화된 상태 변화, 즉 상태 표류(state drift)가 더 큰 비디오 청크를 유지한다. 예산과 유지 정책을 고정한 통제 비교에서 상태 표류는 위치-, 어텐션-, 키-값 기반 신호보다 우수하다. 순전파의 1.9%에 해당하는 비용의 신호만으로 DeltaS는 여섯 개의 장영상 벤치마크에서 평균 2.1점, 가장 긴 벤치마크에서는 5.6점만큼 최강의 쿼리-무관 제한 메모리 기준선을 능가한다. 이 결과는 하이브리드 아키텍처의 두 기억이 협력적으로 작동할 수 있음을 시사한다. 코드는 https://github.com/MaumAI-Company/DeltaS 에서 이용할 수 있다.

arXiv:2609.26590v2cs.CV

GTR: 효율적인 밀집 예측을 위한 게이트 토큰 순환

GTR: Gated Token Recurrence for Efficient Dense Prediction

셀프 어텐션 기반 비전 백본은 밀집 예측에서 우수한 성능을 보이지만, 전역 소프트맥스 어텐션의 이차 계산 비용은 이미지 해상도가 커질수록 효율성을 제한한다. 본 연구는 게이트 선형 어텐션, 교대하는 공간 스캔 방향, 공간적으로 강화된 SwiGLU 블록을 결합한 소프트맥스 없는 순환 비전 백본인 Gated Token Recurrence(GTR)를 제안한다. GTR은 마스크드 토큰 예측이나 중간 층 지도 없이, 선형 투영과 제곱 $\ell_2$ 손실을 통한 최종 층 패치-토큰 정렬만으로 검출 특화 DINOv3 교사 모델로부터 지식 증류된다. Objects365 검출기 사전학습을 적용한 GTR-L은 RTX~4090에서 컴파일된 FP16 실행 하에 배치 1 중앙값 지연 1.908\,ms로 COCO \texttt{val2017}에서 box AP 58.9를 달성한다. 동일 백본은 인스턴스 분할, 자세 추정, 방향 검출, 의미 분할, 단안 깊이 추정으로도 전이된다. 격리된 커널 벤치마크에서, 우리의 특화 chunkwise CUDA 연산자는 RTX~4090에서 1.6K 토큰 기준 FLA v0.5.0보다 $4.0\times$ 빠르다. DRIVE AGX Thor에서의 TensorRT 엣지 배포는 평가한 모델 전반에 걸쳐 배치 1 중앙값 지연 2.282--8.769\,ms를 달성한다. 이 결과는 순환 토큰 혼합이 고해상도 밀집 예측과 엣지 배포에서 전역 소프트맥스 어텐션에 대한 효율적인 대안이 될 수 있음을 보여준다. Project page: https://intellindust-ai-lab.github.io/projects/GTR/

arXiv:2603.06228v4cs.CV

공간적으로 희소한 선형 어텐션을 이용한 저지연 이벤트 기반 객체 검출

Low-Latency Event-Based Object Detection with Spatially-Sparse Linear Attention

이벤트 카메라는 공간적 희소성과 높은 시간 해상도를 갖춘 순차적 시각 데이터를 제공하며, 저지연 객체 검출에 매력적인 선택지가 된다. 기존 비동기 이벤트 기반 신경망은 이벤트마다 예측을 갱신함으로써 이러한 저지연 이점을 활용하지만, 여전히 두 가지 병목에 시달린다. 순환(recurrent) 아키텍처는 긴 시퀀스에서 효율적으로 학습하기 어렵고, 정확도를 높이면 이벤트당 연산량과 지연이 증가하는 경우가 많다. 선형 어텐션은 병렬 학습과 순환 추론을 가능하게 하므로 매력적이다. 그러나 밀집된 상태 갱신 때문에 이벤트당 연산량이 상태 크기에 비례하여 증가하고, 정확한 위치 파악을 위해 세밀한 공간 상태가 필요한 객체 검출에서는 정확도와 효율 사이의 트레이드오프가 좋지 않다. 따라서 핵심 과제는 효율적인 병렬 학습을 유지하면서 이벤트의 공간적 희소성을 활용하는 희소 상태 활성화를 도입하는 것이다. 우리는 공간 혼합(mixture-of-spaces) 상태 분해와 scatter-compute-gather 학습 절차를 도입하여 상태 수준의 희소성과 학습 병렬성을 모두 달성하는 공간적으로 희소한 선형 어텐션(Spatially-Sparse Linear Attention, SSLA)을 제안한다. SSLA를 기반으로 저지연 이벤트 기반 객체 검출을 위한 종단 간(end-to-end) 비동기 선형 어텐션 모델 SSLA-Det을 개발한다. Gen1과 N-Caltech101에서 SSLA-Det은 비동기 방법 중 최첨단 정확도를 달성하여 각각 0.375 mAP와 0.515 mAP에 도달하며, 가장 강력한 선행 비동기 기준선 대비 이벤트당 연산량을 20배 이상 줄여, 저지연 이벤트 기반 비전에서 선형 어텐션의 잠재력을 보여준다.

arXiv:2607.21553v1cs.CV

SANA-Video 2.0: 효율적 비디오 생성을 위한 어텐션 잔차가 있는 하이브리드 선형 어텐션

SANA-Video 2.0: Hybrid Linear Attention with Attention Residuals for Efficient Video Generation

우리는 통합 아키텍처 하에서 5B 및 14B 규모로 구현된 하이브리드 비디오 확산 트랜스포머인 SANA-Video 2.0을 소개한다. 단일 GPU에서 최대 720p의 고품질 비디오를 생성하도록 설계된 SANA-Video 2.0은 선형 어텐션의 유리한 장시퀀스 스케일링을 유지하면서 품질 면에서 전체 소프트맥스 비디오 DiT와 동등한 수준을 달성한다. 전 구간에서 이차 어텐션을 피하기 위해 Hybrid Linear-Softmax Attention은 O(N) 지배적 혼합을 위한 게이트 선형 어텐션과 3:1 비율의 주기적 게이트-소프트맥스 앵커를 결합하여, 순수 선형 어텐션이 결여한 full-rank 토큰 상호작용을 복원한다. 이 갱신된 표현을 깊이 방향으로 전파하기 위해 Block Attention Residuals(AttnRes)는 완료된 블록 요약을 이후 선형 층으로 라우팅하여 앵커 특징 재사용을 가능하게 하고, 깊은 층의 유효 rank를 약 12% 향상시킨다. 처음부터 학습을 통해 SANA-Video 2.0은 사전학습 모델을 선형화하는 대신 완전한 하이브리드를 직접 학습하며, 저해상도 프록시 연구를 통해 소프트맥스 25%가 최적의 품질-효율 트레이드오프임을 확인했다. 40단계 샘플링으로 SANA-Video 2.0은 단일 H100에서 480p 기준 13.2초 만에 VBench 점수 84.30을 달성하며, 훨씬 작은 지연 시간으로 훨씬 더 큰 소프트맥스 비디오 DiT와 경쟁력을 유지한다. 컴파일된 DiT 순전파는 720p/60s에서 일치하는 전체 소프트맥스 기준선보다 3.2배 빠르며, 이 격차는 비디오 길이가 길어질수록 더 커진다. 또한 풀스택 Sol-Engine 최적화(커널 융합, 캐싱, 희소 어텐션)는 이 하드웨어 친화적 백본을 추가로 3.58배 가속하여 5B 파이프라인을 720p/5s에서 13.06초로 단축하고, 단일 H100에서 Wan 2.2-A14B보다 120배 빠르게 만든다. 전반적으로 우리의 하이브리드 설계는 상당히 낮은 비용으로 소프트맥스 수준의 표현력을 회복하여, 확장 가능한 장시간·고해상도 비디오 생성을 가능하게 한다.

arXiv:2506.08297v2cs.CV

SEMA: 토큰 지역화 및 평균화를 통한 확장 가능하고 효율적인 Mamba형 어텐션

SEMA: a Scalable and Efficient Mamba like Attention via Token Localization and Averaging

어텐션은 트랜스포머의 핵심 구성 요소이다. 그러나 입력 크기에 대한 기본(full) 어텐션의 이차 계산 복잡도와 선형 어텐션 변형이 집중(focusing)하지 못하는 문제는 컴퓨터 비전(CV) 과제에서 오랜 난제였다. 우리는 일반화된 어텐션의 수학적 정의를 제공하고, 일반적인 프레임워크 내에서 기본 소프트맥스 어텐션과 선형 어텐션을 모두 공식화한다. 우리는 일반화된 어텐션이 분산(dispersion)한다는 것을 증명하는데, 즉 키(key)의 수가 무한대에 가까워질수록 쿼리(query)가 모든 키에 동일한 가중치를 부여한다. 분산 특성과 Mamba형 어텐션의 최근 발전에 동기를 받아, 우리는 확장 가능하고 효율적인 Mamba형 어텐션(Scalable and Efficient Mamba like Attention, SEMA)을 설계한다. SEMA는 토큰 지역화(token localization)를 활용하여 분산을 피하고 집중을 유지하며, 이론적으로 일관된 산술 평균화(arithmetic averaging)가 어텐션의 전역적 측면을 포착하도록 보완한다. Imagenet-1k에서 접근법을 검증한 결과, 분류 결과는 SEMA가 선형 어텐션을 넘어서는 확장 가능하고 효과적인 대안이며, 유사한 모델 매개변수 크기에서 점점 더 큰 규모의 이미지에 대해 최근 비전 Mamba 모델들을 능가함을 보여준다.

arXiv:2607.11897v1cs.LG

Semidirect Fourier Delta Attention: 구성적 Chunk-WY 커널을 갖춘 위상 제어 델타 메모리

Semidirect Fourier Delta Attention: Phase-Controlled Delta Memory with Constructive Chunk-WY Kernels

선형 어텐션은 소프트맥스 어텐션의 증가하는 KV 캐시를 고정된 순환 상태로 대체하지만, 이러한 압축은 정확한 상태 추적과 긴 문맥 메모리를 제한한다. 우리는 Kimi Delta Attention의 위상 제어 일반화인 \emph{Semidirect Fourier Delta Attention}(SFDA)을 제안한다. 이는 실수 대각 감쇠를 블록 회전 푸리에 제어로 대체한다: \[ S_t=(I-β_t k_tk_t^*)Λ_tS_{t-1}+β_tk_tv_t^*, \qquad Λ_t=\diag(α_t\odot e^{iθ_t}). \] 주요 결과는 곱 \(A_t=Λ_t-u_tr_t^*\)에 대한 구성적 청크-WY 분해이며, 이는 \[ A_t\cdots A_1=Γ_t-Y_tM_tW_t^* \]를 제공하고 고정된 청크 내부에서 랭크 증가를 제한한다. 이는 정확한 아핀 청크 전달, 형식적 안정성 및 복잡도 상한, 그리고 위상-저랭크 메모리의 간결한 특성화를 이끈다. 우리는 대수를 수치적으로 검증하고, 토이 상태 추적 실험에서 SFDA가 위상이 비활성화된 KDA 기준선이 거의 무작위 수준에 머무는 반면 순환 메모리를 학습함을 보인다. 융합 커널과 대규모 언어 모델 비교는 향후 연구로 남긴다.