PyTorchKR Papers

최신 논문

총 44편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.09052v1cs.LG

COBS: 누적량 차수 블록 희소 어텐션

COBS: Cumulant Order Block Sparse Attention

블록 희소 어텐션(block sparse attention)은 대규모 언어 모델(LLM)에서 키-값(KV) 캐시 읽기 병목을 완화하는 하드웨어 친화적인 방법이다. 그러나 이는 밀집 어텐션 또는 세밀한 선택 방식에 의존하는 주요 오픈 가중치 LLM들 사이에서 널리 쓰이지 않아, 본 분석의 동기를 제공한다. 우리는 대표적인 방법으로 DeepSeek의 Native Sparse Attention(NSA)을 연구하며, 그 세 가지 브랜치 설계를 통해 가장 어렵고 결과에 큰 영향을 미치는 단계인 블록 선택을 분리하여 분석한다. 우리는 선택을 형식화하고, 이를 어텐션 질량(attention mass)—블록의 어텐션 스코어 합계—이라는 단일 수치로 블록을 순위 매기는 문제로 환원한다. 선택이 가장 큰 어텐션 질량을 가진 블록을 검색하면 블록 희소 어텐션이 밀집 어텐션의 품질과 동등한 수준을 달성할 수 있음을 보인다. 그러나 정확한 어텐션 질량을 계산하려면 모든 키를 읽어야 하므로, 블록 선택 문제는 결국 전체 키 대신 압축된 요약으로부터 이 질량을 근사하는 문제로 귀결된다. 누적량 전개(cumulant expansion)를 통해 기존 방법들이 왜 실패하는지 보인다: 이들의 선택 전략은 어텐션 질량을 추정하려 하지만 1차 근사에 국한된다. 따라서 우리는 NSA를 기반으로, 블록당 압축된 2차 통계량을 저장하는 새로운 선택기를 도입한 어텐션 방법 COBS(Cumulant Order Block Sparse Attention)를 제안한다. 32k RULER 장문맥 검색 벤치마크에서 COBS는 NSA 기준선의 평균 점수를 0.2999에서 0.8195로 향상시켜, 밀집 어텐션의 0.9040에 근접하고 격차의 약 86%를 해소하였다. 이는 NSA 기준선 대비 KV 캐시 읽기 트래픽을 단 1.21배만 사용하며, 밀집 어텐션 대비로는 15.15배 적은 읽기 트래픽을 사용한다. 동일한 모델은 단문맥 동작을 유지하며, 본 비교에서 밀집 어텐션보다 낮은 위치별 음의 로그 가능도(NLL)를 달성한다.

arXiv:2607.07740v2cs.LG

Jet-Long: 동적 이중초점 RoPE를 활용한 효율적인 장문 컨텍스트 확장

Jet-Long: Efficient Long-Context Extension with Dynamic Bifocal RoPE

현대의 대규모 언어 모델(LLM)은 검색-증강 생성(RAG), 저장소 수준 코딩, 에이전트 워크플로우 등 장문 컨텍스트 응용에 점점 더 많이 배포되고 있으며, 이러한 응용에서 누적된 추론 및 도구 추적이 입력을 사전학습 윈도우보다 수십 배 이상 초과시키는 경우가 흔해 제로샷(zero-shot) 컨텍스트 확장이 오픈 가중치 체크포인트의 주된 배포 경로로 자리잡고 있다. 대표적인 제로샷 방법들(YaRN, Self-Extend, DCA)은 단일 재조정 인수를 사전에 고정하기 때문에, 공격적인 인수를 사용하면 단문 컨텍스트 충실도가 저하되고 보수적인 인수를 사용하면 장문 컨텍스트에서 성능이 무너진다. 최근의 길이 인식 변형들은 매핑을 적응시키지만 피팅된 또는 거리 의존적 스케줄에 의존한다. 우리는 튜닝이 필요 없는 제로샷 방법인 Jet-Long을 제안한다. Jet-Long은 RoPE에 충실한 로컬 윈도우와, 현재 시퀀스 길이에 따라 매개변수 없는 해석적 스케줄을 통해 재조정 인수가 동적으로 적응하는 장거리 윈도우를 결합하여, 단문 입력에서는 기반 모델을 정확히 복원하면서 장문에서는 깔끔하게 외삽한다. 포함-제외 어텐션 병합과 즉석 RoPE 보정 회전을 통해 이중초점 구조의 추론 비용을 사실상 무료로 만들며, 단일 CuTe 커널로 융합하여 H100에서 장문 컨텍스트 프리필이 FA2 처리량의 최대 1.39배에 달하고(Hopper 전용 FA4에 근접), 단일 배치 생성 시 모든 길이에서 오버헤드가 4% 이하이다. 128K 컨텍스트까지의 Qwen3-1.7B/4B/8B에서 Jet-Long은 1.7B/4B/8B 각각의 가장 강력한 기준선 대비 RULER에서 +4.79/+2.18/+2.03 pp 우위를 기록하며, HELMET-RAG(HELMET이 다운스트림 장문 컨텍스트 성능의 가장 효율적인 예측 지표로 식별한 벤치마크)에서 최고 전체 정확도를 달성하고 PG-19 퍼플렉서티에서 최저값을 기록한다. Jet-Long은 재학습 없이 추가적인 장문 컨텍스트 향상을 위해 Jet-Nemotron과 같은 하이브리드 어텐션 아키텍처에도 일반화되며, 배포 용이성을 위해 하이퍼파라미터에 강건하다.

arXiv:2602.21196v2cs.LG

Untied Ulysses: 헤드 단위 청킹을 통한 메모리 효율적 컨텍스트 병렬성

Untied Ulysses: Memory-Efficient Context Parallelism via Headwise Chunking

트랜스포머 모델로 긴 시퀀스를 효율적으로 처리하려면 일반적으로 컨텍스트 병렬성(context parallelism)을 통해 가속기 간에 연산을 분할해야 합니다. 이 방법군에서 주류를 이루는 Ring Attention이나 DeepSpeed Ulysses와 같은 접근법은 컨텍스트 차원에서의 스케일링을 가능하게 하지만 메모리 효율성에는 초점을 맞추지 않아, 지원 가능한 시퀀스 길이가 제한됩니다. Fully Pipelined Distributed Transformer나 활성화 오프로딩(activation offloading)과 같은 더 발전된 기법은 학습 처리량을 희생하면서 가능한 컨텍스트 길이를 추가로 확장할 수 있습니다. 본 논문에서는 어텐션 헤드 수준에서 세밀한 청킹을 수행하는 단순하면서도 효과적인 컨텍스트 병렬성 기법인 UPipe를 제안합니다. 이 기법은 셀프-어텐션의 활성화 메모리 사용량을 크게 줄여 활성화 메모리 장벽을 극복하고 훨씬 더 긴 컨텍스트 길이를 가능하게 합니다. 우리의 접근법은 32B 트랜스포머에서 어텐션 층의 중간 텐서 메모리 사용량을 최대 87.5%까지 줄이면서, 학습 속도 면에서는 기존 컨텍스트 병렬성 기법과 동등한 성능을 달성합니다. UPipe는 단일 8×H100 노드에서 Llama3-8B를 학습할 때 5M 토큰의 컨텍스트 길이를 지원할 수 있으며, 이는 기존 방법 대비 25% 이상 개선된 수치입니다.

arXiv:2607.07953v1cs.LG

선형 어텐션 아키텍처: 메커니즘, 트레이드오프, 그리고 크로스-레이어 라우팅

Linear Attention Architectures: Mechanisms, Trade-offs, and Cross-Layer Routing

DeltaNet, Gated DeltaNet, Kimi Delta Attention, Gated DeltaNet-2 등 네 가지 순환형 선형 어텐션(linear attention) 아키텍처를 소프트맥스 어텐션과 공통 순환 메모리 표기법으로 비교 분석하며, 표현력·메모리 감쇠·학습 처리량 측면의 트레이드오프를 실험적으로 규명한다. 또한 DeltaNet 방식 메모리에 경량 크로스-레이어 라우팅 메커니즘인 Cross-Layer Value Routing(CLVR)을 도입해 DeltaNet과 Gated DeltaNet 모두에서 최종 검증 손실을 소폭 개선함을 보인다.

arXiv:2607.07724v1cs.LG

블록-희소 어텐션을 위한 불확실성 기반 선택

Uncertainty-gated selection for block-sparse attention

블록-희소 어텐션(block-sparse attention)에서 상위-k 컷오프가 경계 블록 간 점수 차이가 미미할 때 답변 근거 블록을 놓치는 문제를 해결하기 위해, 정규화된 컷오프 마진 σ를 기반으로 불확실한 쿼리 타일에만 선택 집합을 2배로 확장하는 정보-가치(value-of-information) 라우터를 제안한다. Quest와 결합 시 LongBench-v2 medium에서 쌍별 재현율 0.75를 달성해 기존 상위-k 대비 +28 pp 향상되었으며, 128K 문맥에서도 dense 정확도의 81~89%를 유지하면서 0.62×~0.80× 수준의 실행 시간을 달성했다.

arXiv:2607.03726v1cs.CL

SelfMem: Self-Optimizing Memory for AI Agents

While current AI agents support increasingly long context windows, tool use, and skill execution for long-horizon tasks, they still require memory systems to effectively leverage historical experience. Existing memory frameworks typically rely on fixed storage, retrieval, and summarization mechanisms, which can be rigid across different tasks and often require manual tuning. To address this limitation, we propose SelfMem, a self-optimizing memory framework. Inspired by prior work on self-improving AI, we follow the principle of "teaching an agent to fish rather than giving it a fish." Instead of forcing the model to follow a predefined memory strategy or format, SelfMem provides an environment with memory tools and feedback signals that allow the agent to explore, evaluate, and refine its own memory strategy. Our results show that SelfMem consistently outperforms retrieval, compression, and agent-memory baselines on BEAM across conversation scales from 100K to 1M tokens. Compared with the strongest baseline, SelfMem improves the official score by 48.7%, 40.8%, and 41.9% at 100K, 500K, and 1M, respectively. Further question-type analysis shows broad robustness across diverse memory demands, and our optimization study shows that model-guided strategy refinement further improves performance.

arXiv:2607.02980v1cs.CL

계층적 희소 어텐션의 올바른 구현: 무한 컨텍스트 모델링을 향하여

Hierarchical Sparse Attention Done Right: Toward Infinite Context Modeling

현대 대규모 언어 모델(LLM)을 긴 컨텍스트로 확장하는 것은 밀집 어텐션(dense attention)의 이차적 연산 비용과 길이 외삽 성능 저하로 인해 제한된다. 청크 단위 희소 어텐션(chunk-wise sparse attention)은 유망한 대안이지만, 기존의 모든 방법은 부정확한 청크 선택으로 인해 풀 어텐션(full attention)에 미치지 못한다. 우리는 언어 모델링(LM) 손실 하에서 청크 선택을 엔드-투-엔드로 학습하는 청크 단위 희소 어텐션 메커니즘인 계층적 랜드마크 희소(HiLS) 어텐션을 제안한다. HiLS는 어텐션을 계층적으로 분해한다: 각 쿼리는 검색된 각 청크와 독립적으로 어텐션을 수행하여 청크별 정보를 추출하고, 그 결과 출력은 청크 검색 점수에 따라 융합된다. HiLS는 검색 점수를 순전파 어텐션 연산에 통합함으로써 LM 손실로 이를 직접 최적화하여, 엔드-투-엔드 검색 학습과 네이티브 희소 학습을 가능하게 한다. 실험 결과, HiLS-Attention은 인-도메인 컨텍스트 길이에서 풀 어텐션과 동등하거나 일부 경우 더 나은 성능을 달성한다. 동시에 HiLS-Attention은 90% 검색 정확도로 학습 컨텍스트 길이의 $64\times$를 초과하는 외삽을 수행하며, 이는 풀 어텐션을 크게 뛰어넘는 수준이다. 또한 기존의 풀 어텐션 모델은 경량 지속 사전학습을 통해 HiLS-Attention으로 변환될 수 있으며, 인-도메인 성능을 유지하면서 초장문 컨텍스트 외삽 능력을 획득한다. 희소 KV 접근 및 연산과 결합하여, HiLS-Attention은 일반적인 효율-성능 트레이드오프를 극복하고, 일반적인 장문 컨텍스트 작업에서 풀 어텐션 대응 모델보다 더 효율적이면서도 더 효과적인 장문 컨텍스트 LLM을 가능하게 한다.

arXiv:2603.17484v2cs.CL

언제 어텐션할지 학습하기: 장문 컨텍스트 LLM을 위한 조건부 메모리 접근

Learning When to Attend: Conditional Memory Access for Long-Context LLMs

언어 모델은 사전학습 컨텍스트 길이를 넘어 일반화하는 데 어려움을 겪으며, 이는 장거리 추론 및 검색을 제한합니다. 장문 컨텍스트 데이터에 대한 지속적인 사전학습이 도움이 될 수 있지만, 어텐션의 이차 스케일링으로 인해 비용이 많이 듭니다. 우리는 대부분의 토큰이 전체 시퀀스에 걸친 (전역) 어텐션을 필요로 하지 않으며 로컬 컨텍스트에 의존할 수 있음을 관찰합니다. 이를 바탕으로, 전역 어텐션을 언제 호출할지 결정함으로써 조건부(토큰 단위) 장거리 메모리 접근을 가능하게 하는 층인 L2A(Learning To Attend)를 제안합니다. 우리는 Qwen 2.5 및 Qwen 3 모델에서 L2A를 평가하여 유효 컨텍스트 길이를 32K에서 128K 토큰으로 확장합니다. L2A는 약 80%의 토큰에 대해 전역 어텐션을 건너뛰면서도 표준 장문 컨텍스트 학습의 성능과 3% 이내의 차이를 보이며, 기존 기준선들을 능가합니다. 또한 GPU에서 이 토큰 단위 조건부 어텐션을 효율적으로 구현하기 위해 커스텀 Triton 커널을 설계하여, FlashAttention 대비 학습 처리량 및 첫 번째 토큰까지의 시간에서 최대 약 2배의 개선을 달성합니다. 더 나아가, L2A는 매우 희소한 전역 어텐션 층의 사후 학습 가지치기를 가능하게 하여, 무시할 수 있는 수준의 성능 손실로 KV 캐시 메모리를 최대 50%까지 줄입니다. 코드는 Apache 2.0 라이선스 하에 https://github.com/awslabs/hybrid-model-factory/tree/main/examples/research/L2A 에서 공개되어 있습니다.

arXiv:2607.02518v1cs.DC

OpenClaw를 위한 GLM-5 서빙 매개변수 튜닝: 장문 컨텍스트 에이전트 워크로드를 위한 단일 배포 MaaS 추론 최적화

GLM-5 Serving Parameter Tuning for OpenClaw: Single-Deployment MaaS Inference Optimization for Long-Context Agent Workloads

OpenClaw 요청은 시스템 프롬프트, 대화 기록, 컨텍스트 윈도우에 재입력되는 도구 출력을 포함하는 길고 도구가 보강된 프리픽스(prefix)로 구성됩니다. 요청당 약 28,000~30,000개의 입력 토큰과 500개의 출력 토큰을 갖는 이 워크로드에서, 서빙 품질은 단순한 짧은 프롬프트 처리량만이 아니라 처리량(throughput), TTFT(첫 번째 토큰 생성 시간), 꼬리 지연(tail latency)에 의해 결정됩니다. 본 보고서는 MaaS 멀티 모델 추론 최적화 아키텍처 내에서 GLM-5 서빙 매개변수 튜닝을 연구합니다. 연구 범위는 추론 최적화 층의 단일 노드 최적화 블록으로, 하나의 GLM-5 서빙 배포에 대해 청크 프리필(chunked prefill), 텐서 병렬화(TP), 파이프라인 병렬화(PP), 요청 동시성이 튜닝됩니다. 본 보고서에서 '단일 노드 최적화'는 아키텍처 블록을 지칭하며, 실험은 2노드 16-GPU 클러스터에서 수행됩니다. 테스트된 구성 공간 내에서 최적 구성은 chunked-prefill-size=3072, tp=4, pp-size=4, max-running-requests=24입니다. 보수적인 2048/4/4/16 기준선과 비교하여, 요청 처리량은 0.43에서 0.48 req/s로, 총 토큰 처리량은 9,029.64에서 9,993.23 tok/s로 증가하며, 평균 TTFT는 8.98초에서 6.69초로, 지연 P90은 40.23초에서 32.64초로 감소합니다. 동일한 하드웨어 환경에서, 이는 요청당 서빙 비용 약 10.4% 절감 및 토큰당 비용 9.6% 절감에 해당합니다. 결과는 최적값이 워크로드에 따라 다름을 보여줍니다. 청크 크기가 클수록, 큐잉(queueing)이 깊을수록 성능이 단조롭게 향상되지는 않습니다. 따라서 3072 / tp4 / pp4 / max24를 기본 OpenClaw 배포 프로파일로 권장합니다.

arXiv:2606.30709v1cs.LG

Hierarchical Global Attention (HGA)

Hierarchical Global Attention (HGA) is a drop-in replacement for dense causal attention in pretrained long-context transformers. HGA preserves the original checkpoint parameters: the pretrained $W_Q$, $W_K$, $W_V$, and $W_O$ projections remain unchanged, no calibration parameters are introduced, and no retraining is required. Applied to Qwen3-30B-A3B-Instruct-2507-FP8 on a single RTX~5090 (32GB), the patched model runs out of the box at a 64K-token context, where token-level K/V storage is not feasible on this hardware. Unlike previous sparse-attention methods, HGA performs hierarchical two-level routing. It first retrieves relevant chunks using compact RoPE-aware summaries and then refines the selection by routing only the most relevant groups before performing exact token-level attention. This hierarchical retrieval significantly reduces the number of fetched tokens while preserving exact attention over the retrieved token set, making RAM- and NVMe-backed storage practical. The full historical token K/V resides in host RAM or NVMe storage, while only a small routed working set is transferred to GPU memory during attention. Consequently, GPU memory consumption depends primarily on model weights and the routed working set rather than on the total context length. Across all tested context lengths (4K - 64K tokens), routed attention remains within approximately $0.01$--$0.02$ nats of dense attention while the sparsity used is just about 3%. These results suggest that the approximation introduced by hierarchical routing is small, and that the remaining quality gap is likely dominated by long-context positional encoding rather than by the routing algorithm itself.

arXiv:2606.30562v1cs.CL

하이브리드 어텐션 모델로의 변환

Morphing into Hybrid Attention Models

하이브리드 어텐션 모델은 전체 어텐션 층의 일부만 유지하고 나머지 층을 선형 어텐션으로 대체함으로써 긴 컨텍스트 효율성을 개선한다. 그러나 트랜스포머-하이브리드 변환의 효과는 어떤 층이 전체 어텐션을 보존하는지에 따라 크게 달라진다. 기존의 하이브리드 층 선택 방법은 고정 배치 패턴이나 층별 점수 산정과 같은 휴리스틱 전략에 주로 의존하며, 층 중요도를 독립적으로 취급하고 전역 하이브리드 구성 하에서 상호 의존적인 층 효과를 간과한다. 본 연구에서는 하이브리드 층 선택을 예산 제약 부분집합 최적화 문제로 공식화한다. 또한, 트랜스포머-하이브리드 변환을 위한 효과적이고 효율적이며 확장 가능한 층 선택 방법인 FlashMorph(Fast LAyer Selection for Hybrid MORPHing)를 제안한다. FlashMorph는 먼저 각 전체 어텐션 층에 변환된 선형 어텐션 브랜치를 장착하여 변환 가능한 모델을 구성한다. 이후 모든 모델 가중치를 고정하고 합성 긴 컨텍스트 검색 데이터에서 층별 게이트를 공동으로 최적화하는데, 이때 모델이 효율성을 위해 선형 어텐션에 의존하도록 유도하는 선형화 정규화를 적용한다. 학습된 게이트는 사전 설정된 전체 어텐션 예산 하에 이산화되어 하이브리드 아키텍처를 구성하며, 이후 표준 로짓 증류와 긴 컨텍스트 파인튜닝이 수행된다. 광범위한 실험을 통해 FlashMorph가 보다 효과적인 하이브리드 구성을 발견하고, 긴 컨텍스트 재현율과 일반 벤치마크 성능을 유지하면서 기존 층 선택 방법 대비 층 선택 비용을 크게 절감함을 보여, 그 효과성, 효율성, 확장성을 입증한다.

arXiv:2606.29844v1cs.CL

MATCH: 장문맥 트랜스포머를 위한 문맥 내 검색 기반 어텐션 조절

MATCH: Modulating Attention via In-Context Retrieval for Long-Context Transformers

전통적인 어텐션 메커니즘의 이차적 연산 비용은 대규모 언어 모델(LLM)의 확장성과 실용적 배포, 특히 장문맥 시나리오에서 주요 병목으로 작용한다. 효율성을 높이기 위해 기존 접근법들은 로컬 어텐션 윈도우와 같은 엄격한 구조적 제약을 적용하는 경우가 많다. 그러나 이러한 전략들은 정밀한 장거리 재현율(recall)을 요구하는 태스크에서 상당한 성능 저하를 초래하는 경향이 있다. 본 연구에서는 효율적인 검색 시스템을 통해 동적으로 통합되는 문맥 내 정보로 희소화된 어텐션 메커니즘을 보강하는 확장 가능하고 효율적인 프레임워크 MATCH를 제안한다. 실험 결과, MATCH는 합성 태스크와 실세계 자연어 처리(NLP) 태스크 모두에서 희소 어텐션 모델의 성능을 크게 향상시키는 것으로 나타났다. 이러한 결과는 희소 어텐션 아키텍처의 효율성 이점을 유지하면서 문맥 내 검색 능력을 향상시키는 범용 접근법으로서 MATCH의 다재다능함을 보여준다.

arXiv:2602.10238v2cs.CL

Key-Value Cache 제거 학습

Learning to Evict from Key-Value Cache

대규모 언어 모델(LLM)의 규모가 커지면서 효율적인 추론이 어려워지고 있으며, 이는 주로 자기회귀(autoregressive) Key-Value(KV) 캐시의 메모리 요구 때문이다. 기존의 제거(eviction) 또는 압축(compression) 방법은 비용을 줄이지만, 최근성(recency)이나 과거 어텐션 점수와 같은 휴리스틱에 의존하며, 이는 토큰의 미래 유용성에 대한 간접적인 대리 지표일 뿐이고 계산 오버헤드를 유발한다. 우리는 KV 캐시 제거를 강화학습(RL) 문제로 재정의한다: 미래 디코딩에 대한 예측 유용성에 따라 토큰을 순위화하는 것을 학습하는 것이다. 이를 위해 우리는 KV Policy(KVP)를 제안한다. 이는 key와 value 벡터만을 사용하여 사전 계산된 생성 trace에 대해 학습된 경량 per-head RL 에이전트들의 프레임워크이다. 각 에이전트는 미래 유용성에서 파생된 전체적(holistic) 보상의 안내를 받아, 모든 캐시 예산에 걸친 순위화 품질을 평가하는 특화된 제거 정책을 학습하며, 기본 LLM의 수정이나 추가 추론을 필요로 하지 않는다. KVP는 장문맥 벤치마크 RULER(최대 128K 토큰)와 다중 턴 대화 벤치마크 OASST2-4k에서 두 모델 계열에 걸쳐 평가되었으며, 강력한 baseline들을 크게 능가한다. BoolQ, LongBench passage retrieval, GovReport 등 표준 다운스트림 태스크에 대한 제로샷(zero-shot) 테스트는 KVP가 학습 분포를 넘어 상당히 더 긴 시퀀스 길이로도 일반화됨을 추가로 보여준다. 이 결과들은 미래 토큰 유용성을 예측하는 학습이 적응형 KV 캐시 관리를 위한 강력하고 확장 가능한 패러다임임을 보여준다.

arXiv:2606.26290v1cs.LG

Hankel 저차 모델링 기반 SSM 어댑터: 주입 위치가 긴 컨텍스트 미세조정에서 작업 적합성을 결정

SSM Adapters via Hankel Reduced-order Modeling: Injection Site Determines Task Suitability in Long-Context Fine-Tuning

순차적 상태 누적이 필요한 장문 컨텍스트 미세조정에서 LoRA의 위치 독립적 한계를 보완하기 위해, 경험적 Hankel Gramian Balanced Truncation으로 초기화한 SSM 기반 HRM 어댑터를 MLP 블록에 주입하고 FFT 병렬 스캔으로 LoRA와 동등한 계산 비용을 달성한다. Mistral-7B 동일 매개변수(8.4M) 평가에서 LongBench QuALITY·QMSum을 포함해 LoRA를 능가하며, DFA·Parity 상태 추적과 enwik8에서도 일관된 우위를 보인다.

arXiv:2606.24650v1cs.CL

Harmonic: Hierarchical State Space Models for Efficient Long-Context Language Modeling

Harmonic은 점점 느린 시간 척도로 쌓은 3단계 계층형 상태 공간 모델(SSM)로, 하위 레벨의 원시 은닉 상태 대신 예측 오차를 상위 입력으로 쓰는 구조다. enwiki8과 WikiText-103에서 동일 토큰 예산 하 Transformer·Mamba보다 긴 문맥일수록 검증 손실(bpt)이 낮고, 64K 토큰에서는 80GB H100에서 베이스라인이 OOM인 반면 O(L) 연산으로 학습이 가능하며, TinyLlama의 어텐션을 HarmonicBlock으로 바꾼 Hallamonic은 RoPE 한계 없이 1K–8K에서 손실이 안정적이다.

arXiv:2606.24467v1cs.AI

CompressKV: Semantic-Retrieval-Guided KV-Cache Compression for Resource-Efficient Long-Context LLM Inference

Long-context large language model (LLM) inference is increasingly constrained by the memory footprint and decoding cost of key-value (KV) caches, limiting sustainable deployment on resource-constrained hardware. Existing KV cache eviction methods typically apply heuristic token scoring over all heads in GQA-based LLMs. These methods ignore the different functionalities of attention heads, leading to the eviction of critical tokens and thus degrading the performance of LLMs. To address this issue, we propose CompressKV, a resource-efficient KV-cache compression framework for GQA-based LLMs. Instead of aggregating attention scores from all heads, CompressKV identifies Semantic Retrieval Heads (SRHs) that capture both the initial and final tokens of a prompt and semantically important mid-context evidence, and uses them to select tokens whose KV pairs should be retained. Furthermore, CompressKV allocates cache budgets across layers according to offline estimates of layer-wise eviction error. Experiments on LongBench and Needle-in-a-Haystack show that CompressKV consistently outperforms existing KV-cache eviction methods across memory budgets. Notably, it preserves over 97\% of full-cache performance using only 3\% of the KV cache on LongBench question-answering tasks and achieves 90\% accuracy with just 0.7\% KV storage on Needle-in-a-Haystack. These results demonstrate an improved resource--performance trade-off for long-context LLM inference. Our code is publicly available at: https://github.com/TUDa-HWAI/CompressKV

arXiv:2606.23687v1cs.CL

Randomized YaRN은 긴 컨텍스트 추론의 길이 일반화를 개선한다

Randomized YaRN Improves Length Generalization for Long-Context Reasoning

Randomized YaRN은 YaRN 기반 위치 외삽, 무작위 위치 인코딩, 길이 커리큘럼을 결합해 짧은 컨텍스트 학습 중에도 더 긴 범위에서 샘플링한 위치 인코딩으로 분포 밖(OOD) 위치 표현에 모델을 노출시켜 긴 컨텍스트 추론의 길이 일반화를 높인다. 8K 미만 컨텍스트 데이터로 학습해도 BABILong과 MRCR에서 16K–128K 길이의 추론 성능이 일관되게 향상되어 표준 미세조정(fine-tuning)을 능가하며, 특히 분포에서 크게 벗어난 길이에서 이득이 크다.

arXiv:2606.21803v1cs.CL

다음 토큰 예측 기반 테스트 시 학습

Test-Time Training with Next-Token Prediction

사전학습된 LLM에 드롭인으로 적용하는 테스트 시 학습(TTT) 방법 TTT-NTP는, 기존의 학습된 value 프록시 대신 모델 자체의 다음 위치 문맥 은닉 상태를 fast-weight 업데이트 지도 신호로 삼아 다음 토큰 예측(NTP)과 내부 루프 목적을 정렬한다. RULER Full-13과 LongBench-v2에서 Llama-3.1-8B, Mistral-7B-v0.3, Qwen3 시리즈 등 공개 백본의 장문맥·장문 QA 성능을 일관되게 높이면서 상식·지식 평가 성능은 유지한다.

arXiv:2606.20900v1cs.CL

스토리라인 트리: 장편 서사의 계층적 표현

Storyline Trees: Hierarchical Representations for Long-Form Narratives

장편 서사는 구조가 암묵적이기 때문에 장문맥(long-context) 모델에게 어려운 과제이다. 사건, 인물, 플롯라인이 수백 페이지에 걸쳐 상호작용하지만, 구조화된 문서에서 탐색을 안내하는 명시적 단서는 없다. 이를 해결하기 위해 스토리라인 트리(storyline trees)를 구성한다. 이는 전역 테마와 주요 플롯라인부터 세밀한 사건까지 서사를 조직하는 계층적 표현이다. 먼저 장(chapter)을 연속적인 서사 구간, 즉 장면(scene)으로 분할하고 이를 트리 구성의 기본 단위로 사용한다. 그다음 상향식·하향식 절차를 상호 보완적으로 적용하여 여러 추상화 수준에서 스토리라인을 도출·정제·클러스터링·요약함으로써 스토리라인 트리를 추론한다. 질의응답(question answering)에서 이 표현의 유용성을 보여준다. 스토리라인 트리는 적응형 검색(adaptive retrieval)을 가능하게 하여, 모델이 고수준 서사 구조를 반복적으로 검토하고 필요에 따라 장면 수준의 근거를 검색할 수 있게 한다. 세 가지 장문맥 서사 QA 벤치마크에서의 실험 결과, 적응형 검색은 사후학습(post-trained) 장문맥 모델과 에이전틱(agentic) 청크 기반 방법을 포함한 강력한 기준선들을 능가한다. ablation 실험은 장면보다 장이나 일반적 분할을 기본 단위로 사용하는 것보다 장면이 더 효과적이며, 동일한 검색 예산(retrieval budget) 하에서도 성능 향상이 유지됨을 확인한다.

arXiv:2606.19348v1cs.CL

DeepSeek-V4: 고도로 효율적인 백만 토큰 컨텍스트 지능을 향하여

DeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligence

우리는 DeepSeek-V4 시리즈의 프리뷰 버전을 발표합니다. 여기에는 1.6T 파라미터(활성화 49B)를 가진 DeepSeek-V4-Pro와 284B 파라미터(활성화 13B)를 가진 DeepSeek-V4-Flash라는 두 가지 강력한 전문가 혼합(MoE) 언어 모델이 포함되어 있으며, 두 모델 모두 백만 토큰의 컨텍스트 길이를 지원합니다. DeepSeek-V4 시리즈는 아키텍처와 최적화 측면에서 몇 가지 주요 업그레이드를 통합합니다: (1) 긴 컨텍스트 효율성을 높이기 위해 압축 희소 어텐션(CSA)과 고도 압축 어텐션(HCA)을 결합한 하이브리드 어텐션 아키텍처; (2) 기존 잔차 연결을 강화하는 매니폴드 제약 하이퍼 연결(mHC); (3) 더 빠른 수렴과 더 큰 학습 안정성을 위한 Muon 옵티마이저. 우리는 32T 이상의 다양하고 고품질의 토큰으로 두 모델을 사전 학습한 후, 해당 모델의 능력을 발휘하게 하고 더욱 향상시키는 포괄적인 사후 학습(post-training) 파이프라인을 수행했습니다. DeepSeek-V4-Pro의 최대 추론 노력 모드인 DeepSeek-V4-Pro-Max는 핵심 과제에서 이전 모델들을 능가하며 오픈 모델의 최신 성능(SOTA)을 재정립합니다. 한편, DeepSeek-V4 시리즈는 긴 컨텍스트 시나리오에서 매우 효율적입니다. 백만 토큰 컨텍스트 설정에서 DeepSeek-V4-Pro는 DeepSeek-V3.2와 비교하여 단일 토큰 추론 FLOPs의 27%와 KV 캐시의 10%만을 필요로 합니다. 이를 통해 우리는 백만 토큰 컨텍스트를 일상적으로 지원할 수 있게 되었으며, 이는 장기 과제와 추가적인 테스트 타임 스케일링을 더욱 현실적으로 만듭니다. 모델 체크포인트는 https://huggingface.co/collections/deepseek-ai/deepseek-v4 에서 확인할 수 있습니다.