arXiv:2609.26368v1 cs.CL

HySparse2: 이단계 KV 공유 하이브리드 희소 어텐션

HySparse2: Hybrid Sparse Attention with Two-Level KV Sharing

Jianyu Wei, Yizhao Gao, Qihao Zhang, Shimao Chen, Zhengju Tang, Yu Cheng, Shengjie Zhou, Zihan Jiang, Yifan Song, Hailin Zhang, Liang Zhao, Bo Yang, Gang Wang, Shijie Cao, Fuli Luo

제출 2026-09-23

한국어 초록

장기 지평 및 다중 턴 에이전트는 일반적으로 짧은 액션을 생성하고 도구와 환경으로부터 긴 관측을 처리한다. 이렇게 늘어나는 컨텍스트는 효율적인 prefill, 컴팩트한 KV-cache 저장, 정확한 장문맥 검색을 요구한다. 이를 충족하기 위해 이단계 KV 공유를 갖는 하이브리드 희소 어텐션 아키텍처 HySparse2를 제안한다. 외부 수준에서 KV Bridging은 YOCO 스타일의 self-decoder와 cross-decoder 구조를 채택하되, full-attention 레이어만 연결한다. self-decoder는 하이브리드 슬라이딩 윈도우 어텐션(SWA)을, cross-decoder는 하이브리드 희소 어텐션을 사용한다. cross-decoder의 full-attention 레이어용 KV cache는 self-decoder의 full-attention 레이어 은닉 상태에서 생성된다. 내부 수준에서 HySparse2는 HySparse의 핵심 KV Reuse 설계를 유지하면서 두 가지를 개선한다. 첫째, 더 세밀한 장문맥 검색을 위해 블록 수준 희소성을 토큰 수준 희소성으로 바꾼다. 둘째, 희소 레이어의 별도 SWA 분기를 제거하고, 대신 최근 토큰의 슬라이딩 윈도우를 희소 선택에 반드시 포함시킨다. 이 이단계 KV 공유로 cross-decoder의 모든 KV cache를 self-decoder 은닉 상태만으로 구성할 수 있다. 따라서 prefill은 self-decoder 이후 종료되어 cross-decoder 레이어 전체를 건너뛸 수 있다. 80B-A3B MoE 모델에서 HySparse2는 장문맥 검색과 다중 턴 에이전틱 태스크에서 HySparse 및 Hybrid SWA보다 우수하며, prefill 연산과 KV-cache 저장을 크게 줄인다.

원문 초록

Long-horizon and multi-turn agents typically generate short actions and process long observations from tools and environments. This growing context demands efficient prefill, compact KV-cache storage, and accurate long-context retrieval. To meet these demands, we introduce HySparse2, a hybrid sparse attention architecture with two-level KV sharing. At the outer level, KV Bridging adopts a YOCO-style self-decoder and cross-decoder structure, but bridges only full-attention layers. The self-decoder uses hybrid sliding-window attention (SWA), while the cross-decoder uses hybrid sparse attention. The KV caches for full-attention layers in the cross-decoder are generated from the hidden states of full-attention layers in the self-decoder. At the inner level, HySparse2 retains HySparse's core KV Reuse design with two refinements. First, it replaces block-level sparsity with token-level sparsity for finer long-context retrieval. Second, it removes the separate SWA branch from sparse layers and instead forces a sliding window of recent tokens into the sparse selection. This two-level KV sharing allows all cross-decoder KV caches to be constructed from self-decoder hidden states. Prefill can therefore exit after the self-decoder, skipping all cross-decoder layers. On an 80B-A3B MoE model, HySparse2 outperforms HySparse and Hybrid SWA on long-context retrieval and multi-turn agentic tasks, while substantially reducing prefill computation and KV-cache storage.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.26368v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13370v1cs.CL공통 태그 Mixture-of-Experts, Language Modeling

전문가 선택 편향을 통한 데이터 불균형 극복

Overcoming Data Imbalances with Expert Selection Biases

전문가 혼합(MoE) 모델은 프론티어 대규모 언어 모델(LLM)의 표준 아키텍처로 자리 잡았습니다. 각 트랜스포머(transformer) 블록에 존재하는 다수의 병렬 전문가는 이론적으로 사전학습(pre-training) 과정에서 도메인, 언어 또는 모달리티와 같은 카테고리에 맞춰 전문가의 전문화를 가능하게 합니다. 그러나 카테고리 간 데이터가 불균형할 경우, 소수 카테고리는 전문가 풀의 작은 일부분에 집중되거나 비효율적으로 분산되어 실질적으로 활용 가능한 용량이 제한될 수 있습니다. 본 연구에서는 카테고리 조건부 전문가 선택 편향(expert-selection bias)을 통해 서로 다른 카테고리의 토큰을 특화된 전문가 풀로 우선 라우팅할 수 있음을 입증합니다. 입력 카테고리에 기반한 편향을 적용함으로써, 유연한 카테고리 맞춤형 전문화를 유도하는 간단한 방법을 제시합니다. 이러한 개입은 필요에 따라 카테고리 간 공유를 유지하면서도 카테고리가 구별된 전문가 하위 집합으로 향하도록 유도합니다. 더 중요하게는, 데이터 부족으로 인해 불리할 수 있는 카테고리에 전문가 용량을 초과 할당(over-allocation)할 수 있도록 지원합니다. 최대 10.6B 파라미터 크기의 모델에서 다양한 모달리티, 저자원 언어, 코드 전반에 걸친 성능 향상을 확인했습니다. 가장 작은 모델 규모와 가장 큰 모델 규모에서 이러한 성능 향상은 기준선(baseline) 대비 각각 18.5% 및 2.7%의 추가 학습 토큰을 할당한 것과 맞먹는 수준입니다. 전반적으로 본 연구 결과는 전문가 편향이 표준 MoE 추론을 유지하면서도 저자원 카테고리를 위한 공간을 확보하고 카테고리 수준의 전문가 할당을 위한 경량화된 제어 수단으로 활용될 수 있음을 보여줍니다.

arXiv:2610.13605v1cs.CL공통 태그 Language Modeling, Computational Efficiency

zip2zip++: 최소한의 품질 손실로 추론 시점 토큰 압축을 향하여

zip2zip++: Towards Inference-Time Token Compression with Minimal Quality Loss

Lempel-Ziv-Welch(LZW) 압축을 통해 즉석에서 구축되는 동적 어휘(dynamic vocabulary)는 언어 모델이 동일한 텍스트를 더 적은 토큰으로 표현할 수 있게 해주지만, 기존 연구에 따르면 이러한 효율성은 추론 능력과 퍼플렉시티(perplexity)의 저하를 대가로 한다. 우리는 이러한 품질 격차가 압축에 따른 근본적인 대가가 아니며, 기반이 되는 사전학습된 언어 모델을 수정하지 않고도 압축 층과 LZW 코덱에 대한 표적화된 개선을 통해 상당 부분 해소될 수 있음을 보인다. 우리의 분석은 네 가지 핵심 문제를 밝혀낸다: (1) LZW의 압축 알고리즘은 입력 임베딩과 출력 임베딩 사이에 암묵적인 충돌을 발생시키며, 이는 단일한 공유 임베딩으로는 해결할 수 없는 긴장 관계이다; (2) RoPE를 LZW로 압축된 시퀀스에 단순하게 적용하면 병합된 토큰이 여러 토큰에 걸쳐 있을 수 있다는 사실을 무시하게 된다; (3) 특정 토큰(특히 숫자)의 병합은 다운스트림 정확도를 불균형적으로 저해한다; 그리고 (4) 동적 어휘는 표준 평가를 혼란스럽게 만드는 본질적인 분절 모호성을 야기한다. 우리는 입력/출력을 분리한 동적 임베딩 층, 크기를 인식하는 RoPE 위치 인코딩, 그리고 선택적 병합과 다중 관점 분절(multi-view segmentation)을 지원하는 수정된 LZW 코덱을 통해 이러한 문제들을 해결한다. 네 가지 모델에 걸쳐, 우리의 방법은 평가한 모든 코퍼스에서 퍼플렉시티를 개선할 뿐만 아니라 수학적 추론 정확도도 향상시키며, 일반 텍스트에서 유사한 압축률로 zip2zip과 비압축 기준선 사이의 품질 격차를 대략 절반으로 줄인다. 이는 언어 모델을 위한 무손실 적응형 어휘 압축을 향한 중요한 진전을 의미한다.

arXiv:2610.13708v1cs.AI공통 태그 Decoder, Computational Efficiency

Adaptive DHiSparse: 부하 적응형(Load-Adaptive) KV 계층 구조에서의 추측 디코딩(Speculative Decoding)

Adaptive DHiSparse: Speculative Decoding over a Load-Adaptive KV Hierarchy

롱 컨텍스트(long-context) 서빙은 하드웨어가 유효 처리량(throughput)에 도달하기 전에 KV 메모리가 먼저 소진된다. HiSparse는 히스토리를 호스트 메모리에 저장하고 선택된 항목만 가져오지만, 모든 로드(load)에서 단일 캐시 예산(budget)을 사용하며 DSpark 및 DFlash2와 같은 드래프트 모델(draft-model) 추측 디코딩(speculative decoding)을 처리하지 못한다. 우리는 계층적 희소(hierarchical sparse) KV 위에서 추측 디코딩을 지원하고 상주(residency)를 부하(load)에 맞춰 적응시키는 Adaptive DHiSparse를 제시한다. 이 방법은 필요한 작업 집합(working set)을 보호하고, GPU 메모리가 여유 있을 때 추가 히스토리를 유지하며, 나머지는 정확한 융합 검색(fused retrieval)을 통해 복구한다. DSpark와 DFlash2는 각자의 제안(proposal) 및 수락(acceptance) 규칙을 그대로 유지한다: 쿼리는 누락된 행(missing-row) 검색을 공유하고, 드래프트 KV는 윈도우 경계(window-bounded) 링을 사용하며, 검증(verification) 스테이징은 층(layer) 그룹 간에 재사용된다. 100K 컨텍스트와 동시성(concurrency) 128에서, DFlash2를 사용한 GLM-5.3은 디코드 GPU당 793 출력 토큰(token)/s를 달성하며, 이는 HiSparse의 1.45배, 추측 디코딩을 사용하지 않는 적응형 서빙의 1.27배이다. HiSparse와 동일한 지연 시간(latency) 한계를 유지할 때, 이 방법은 동시성을 최대 4배까지, 출력을 토큰당 한계에 따라 2.3배에서 3.7배까지 유지한다. 500K 컨텍스트와 동시성 512에서 DeepSeek-V4.1-Flash에 대해, DSpark를 사용한 Adaptive DHiSparse는 DSpark를 사용한 상주(resident) 서빙의 출력보다 1.85배 높은 출력을 달성한다. 로드 단계(load step)에서, 선택적 상주(residency)는 저부하 상황에서 호스트 페치(fetch) 비율을 선택된 행의 14.2%에서 1.4%로 줄이고, 압박(pressure) 상황에서는 메모리를 해제한다.

arXiv:2610.10552v1cs.LG공통 태그 Decoder, Computational Efficiency

디코더는 동결하고 인코더는 치유하기: SVD 기반 KV 캐시 압축을 위한 매개변수 효율적 적응 기법

Freeze the Decoder, Heal the Encoder: Parameter-Efficient Adaptation for SVD-Based KV-Cache Compression

단일의 공유된 학습률(learning rate) 하에서 매개변수 효율적 미세조정(PEFT) 레시피들을 비교하는 것은 흔하지만 결함이 있는 방식입니다. 비교 대상군들의 학습 가능한 매개변수 수가 크게 다를 경우, 공유된 학습률은 매개변수가 더 많은 실험군의 성능 평균을 낮추는 동시에 분산을 부풀려, 실제 효과가 아님에도 가장 작은 실험군에 대해 마치 다중 시드에서 유의미한 것처럼 보이는 큰 이점을 인위적으로 만들어낼 수 있습니다. 본 연구는 사후(post-hoc) SVD 기반 KV 캐시(KV-cache) 압축이라는 구체적인 설정에서 이러한 교란 요인을 기록합니다. 이 설정에서는 이미 사전학습된 모델의 키/값(key/value) 가중치를 다운 프로젝션("인코더")과 업 프로젝션("디코더")으로 분해하여 저차원(다중 헤드 잠재 어텐션 스타일) 캐시로 변환한 뒤, 짧은 미세조정("치유", healing)을 통해 절단(truncation)으로 손실된 정확도를 복구합니다. 공유된 학습률 하에서는 디코더를 동결(freezing)하고 인코더만 치유하는 것이 디코더만 치유하거나 두 요소를 모두 치유하는 것보다 확실히 우수한 것처럼 보이지만, 각 실험군에 맞게 튜닝된 자체 학습률을 부여하면 이러한 겉보기 이점은 사라집니다. 대신 인코더 전용 치유는 다른 대안들과 동등한 성능에 도달하면서도, 실제로 측정된 학습 가능 매개변수 수를 3배 줄이고 옵티마이저(optimizer) 상태 메모리를 3배 절감합니다. 우리는 비전-언어 모델(vision-language model; Qwen2.5-VL-3B-Instruct)에서 이 프로토콜이 다루는 단일 압축률에 대해 실험군별 학습률 튜닝과 구성당 3개의 시드를 사용하여 이러한 동등성을 검증했으며, 두 가지 백본에 걸친 텍스트 전용 테스트베드에서도 이를 재현했습니다. 따라서 인코더 전용 치유는 학습 시점에 저차원 KV 캐시 압축을 소급 적용(retrofiting)하기 위한 저메모리 드롭인(drop-in) 레시피이며, 본 논문에서 문서화하고 수정한 공유 학습률의 함정은 학습 가능한 매개변수 수가 서로 다른 미세조정 레시피들을 비교할 때 주의해야 할 경고성 결과를 제공합니다.

arXiv:2610.10845v1cs.CL공통 태그 Language Modeling, Computational Efficiency

AI를 위한 진정한 장기 기억: 재계산보다 더 빠르고 저렴한 5,000만 토큰 윈도우

Real Long-Term Memory for AI: A 50-Million-Token Window That Is Faster and Cheaper Than Recompute

대규모 언어 모델(LLM)은 컨텍스트 윈도우에 들어가는 텍스트만 사용할 수 있으며, 프롬프트가 전송될 때마다 해당 프롬프트에 대한 내부 키-값(KV) 상태를 다시 계산합니다. 본 연구에서는 약 16,000개 토큰 블록의 KV 상태를 암호화된 로컬 NVMe 디스크에 저장하고, 이후 재계산 없이 바이트 단위로 정확하게(byte-exact) 다시 로드하는 메모리 층인 공개 패키지 galahad-kv를 테스트합니다. 단일 NVIDIA H100에서 vLLM을 통해 서빙되는 50,000,000개 토큰의 실제 공개 텍스트를 대상으로 Gemma 4 12B 및 Gemma 4 31B와 함께 이를 실행했습니다. 조사한 모든 블록은 두 모델 모두에서 재계산 없이 암호화된 저장소로부터 다시 로드되었습니다(0부터 5,000만 토큰 깊이에서 100회 중 100회). 블록을 로드하는 것은 재계산하는 것보다 2.8배에서 4.3배 더 빨랐고 GPU 에너지를 8.8배에서 12.3배 적게 사용했으며, 전체 5,000만 토큰 스트림 동안 GPU 메모리는 일정하게 유지되었습니다. 수백만 토큰 앞서 심어둔 사실에 대한 질문에서 12B 모델은 100회 중 82회, 31B 모델은 100회 중 98회 올바른 답변을 제시했습니다. 두 모델 모두 답을 지어내지 않았습니다. 한계점은 다음과 같습니다. 이는 더 넓은 어텐션 윈도우가 아니라 저장된 상태를 재사용하는 것입니다. 즉, 한 번에 하나의 블록이 로드되며, 질문에 얼마나 잘 답하는지는 모델에 달려 있습니다. 메모리 쓰기는 일회성 비용이며 저장소는 수 테라바이트의 로컬 NVMe 디스크를 차지합니다. 본 논문에서는 롱 컨텍스트 벤치마크를 왜곡하는 일반적인 방식에 대응하도록 설계된 테스트 프로토콜을 설명하고, 공개 소프트웨어 및 해당 패키지의 무료 라이선스를 활용하는 단일 GPU 재현 방안을 제공합니다.

arXiv:2610.10933v1cs.LG공통 태그 Language Modeling, Computational Efficiency

스파이킹 언어 모델에서 시간적 인코딩과 비선형 연산 간의 트레이드오프 재고

Rethinking the Tradeoff Between Temporal Encoding and Nonlinear Computation in Spiking Language Models

스파이킹 언어 모델(Spiking language models)은 짧은 시간 윈도우에서 연속적인 의미적 특징을 표현하는 것과 비용이 많이 드는 비선형 어텐션(attention) 연산을 유지하는 것 사이의 트레이드오프에 직면합니다. 본 논문에서는 스파이크 인코딩과 어텐션 연산자를 공동 설계하는 Spora를 제안합니다. 이진 시간 가중치(binary temporal weights)를 통해 $T$개의 스파이크가 최대 $T$ 비트의 용량으로 구성적 값(compositional values)을 표현할 수 있도록 하며, 이는 스파이크 수 판독(spike-count readout)의 $O(\log_2 T)$ 비트와 대비됩니다. 단극성 이진 스파이킹(Unipolar Binary Spiking, UBS)은 임계값과 스파이크 트리거 잔차 감쇠를 사용하여 음이 아닌 정수 코드를 생성하고, 양극성 이진 스파이킹(Bipolar Binary Spiking, BBS)은 부호와 크기를 분리하며 부호화된 활성화에 대한 스케일을 학습합니다. 이러한 표현은 어텐션에서 누적 및 시프트(accumulation-and-shift) 내적과 정수 지수 매핑을 지원합니다. 4개 타임스텝에서 Spora는 평균 GLUE 점수 76.6점과 CoLA MCC 44.1점을 달성하여 SpikeLM 대비 각각 1.2점 및 6.2점 향상되었습니다. BBS를 6개 스텝으로 확장하면 이 점수는 각각 78.2점과 47.4점으로 상승합니다. 조건부 감쇠 분석, 예산 일치 활성화 양자화(quantization) 비교, 이벤트 워크로드 통계, 고정소수점 평가를 통해 인코딩 충실도와 계산 비용 간의 관계를 추가로 규명합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.