Indexer-TopK, which computes scores and selects the top-$k$ candidates, is a key primitive in long-context sparse attention for large language models, vector retrieval for recommendation systems, and vector databases. However, existing GPU-based Indexer-TopK kernels like DeepSeek Sparse Attention (DSA) typically separate scoring from selection and materialize the full score matrix in high-bandwidth memory. This strategy is inefficient for large score matrices, such as those encountered in long-context sparse attention, due to excessive global-memory traffic, costly synchronization, and prohibitive memory overhead. In this study, motivated by the curse of dimensionality, we observe that sparse attention scores exhibit a score concentration phenomenon, with scores falling within a narrow range. Based on this observation, we propose LiteTopK, a sample-filter-select framework that estimates query-data score ranges from a small subset of the data. It uses these estimates to filter scores as they are computed, materializes only the candidates that pass the filter, and selects from the surviving candidates. In particular, we develop two implementations of LiteTopK. The first uses a conservative threshold estimate, while the second pairs a predicted threshold with a fallback strategy. Building on LiteTopK, we further propose LiteDSA, which reuses overlapping key/value entries across neighboring queries to accelerate attention computation. We integrate LiteTopK into vLLM, SGLang, and Megatron-LM. Our evaluation on eight B200 GPUs demonstrates prefill speedups of up to 1.49$\times$ across GLM-5.2, DeepSeek-V4-Flash, and Hy-4-Preview at a context length of 1M tokens, without compromising model capabilities.
Speculative decoding accelerates autoregressive generation by having a draft propose tokens that a target verifies in parallel. Frontier models increasingly ship a built-in Multi-Token-Prediction (MTP) draft head, assumed to be cheap beside verification. A shipped full-attention MTP head can become disproportionately expensive beside a hybrid target at long context. The head attends over the full KV cache for each of $\gamma$ draft forwards per decode step, while only 9-25% of target layers retain full attention, so a single draft layer can issue context reads at a rate comparable to the whole target. On hard, low-acceptance workloads, deep native MTP becomes net-negative: slower than no speculation. We apply a StreamingLLM-style window plus attention sink to the draft only (Windowed-MTP); target verification remains full-context, so the target distribution is preserved. The intervention is training-free and drop-in. On three models from two hybrid families (Gated DeltaNet and Mamba2) at 1M context on one GPU in SGLang, it provides an acceptance-free 1.28-1.44x per-decode-step speedup over native MTP. The speedup grows with context; at matched acceptance, TPOT improves by the same factor. The window removes most of the draft's working set, and a compact ring buffer converts that reduction into physical capacity: it reclaims the otherwise dead draft pool, a measured 7.7-11.1% of total KV at 1M, making room for one additional concurrent 1M request in the Qwen-35B batch sweep.
대규모 언어 모델(LLM)은 여러 영역에서 뛰어난 성능을 보이지만, 프롬프트 길이에 따른 어텐션(attention)의 이차 시간 복잡도(quadratic cost)로 인해 효율성이 제한됩니다. 희소 어텐션(sparse attention)은 전체 어텐션 행렬을 근사하기 위해 쿼리-키 상호작용의 일부만 유지함으로써 이러한 비용을 줄입니다. 그러나 기존 방법들은 수학적으로 잘못된 관점에 갇혀 있습니다. 즉, 어텐션 행렬에서 단순히 큰 스칼라 값이나 질량이 높은 영역만을 유지합니다. 이는 어텐션 행렬이 값 벡터(value vector)와의 곱셈을 통해 어텐션 출력을 공동으로 결정하는 구조화된 행렬로 사용된다는 점을 무시한 채, 어텐션 행렬을 단순한 값들의 집합(bag of values)으로 취급하는 것입니다. 우리는 이것이 핵심적인 개념적 문제라고 주장합니다. 희소 어텐션은 단순히 원소 주머니에서 가장 큰 값을 맹목적으로 고르는 것이 아니라 행렬 근사(matrix approximation)로 정식화되어야 합니다. 이러한 관점을 바탕으로, 본 논문에서는 행렬 근사 희소 어텐션(MASA, Matrix Approximation Sparse Attention)을 제안합니다. MASA는 단순 어텐션 질량 순위 책정을 각 희소 단위가 행렬곱 근사 오차를 얼마나 줄이는지 측정하는 닫힌 형식(closed-form) 점수로 대체합니다. 이론에 기반한 플러그인 보정 방식인 MASA는 기존 희소 커널이나 예산을 변경하지 않고도 기존 희소 어텐션 프레임워크에 추가될 수 있습니다. 여러 희소 어텐션 방법, 벤치마크, LLM 백본에 걸친 광범위한 실험을 통해 일관된 정확도 향상을 입증하였으며, 이는 MASA와 희소 어텐션에 대한 행렬 근사 관점 모두를 뒷받침합니다.
다음 질문을 알기 전에 키-값(KV) 캐시를 압축하려면 어떤 근거가 중요해질지 모르는 상태에서 무엇을 유지할지 결정해야 합니다. 값 에너지(value energy)는 항목의 강도를 측정하지만 고립된 키와 유사한 이웃이 많은 키를 구분하지 못합니다. 본 연구에서는 비국소 post-RoPE 키 빈도로 값 에너지를 할인하는 무학습(training-free) 방식인 TwinKV를 소개합니다. 접두 문맥(prefix) 어텐션으로 헤드 용량을 할당하는 동시에, 유지된 항목은 정확한 저장 예산 내에서 원래 키와 값을 보존합니다. 네 가지 언어 모델(model)에 걸쳐 TwinKV는 50% KV 제거 시 LongBench, LooGLE, RULER에서 평가된 다섯 가지 압축 베이스라인의 평균 점수를 상회합니다. 구성 요소 통제 실험을 통해 빈도의 기여도를 분리 분석했습니다. 75% 제거 조건의 Llama-3.2-1B RULER에서 정규화된 빈도 가중치는 평균 0.95에 불과하지만, 비보호 유지 위치의 7%를 변경하고 균일 용량 및 적응형 용량 모두에서 값 전용 유지 대비 성능을 약 5.5점 향상시킵니다. 헤드 내에서 가중치를 무작위 치환(permuting)하면 이러한 이득이 약화됩니다. 이 결과는 완만한 빈도 보정만으로도 유지 및 답변 결과가 달라질 수 있으며, 그 효과는 모델과 작업에 따라 달라짐을 보여줍니다.
본 연구는 장문 컨텍스트 언어 모델을 다룬다. 장문 컨텍스트를 네이티브로 학습하거나 장문 컨텍스트 하니스(harness)를 설계하는 대신, 우리는 가능한 가장 단순한 하니스 위에서 모델을 학습시킨다: 임의로 지정한 프롬프트로 자기 자신을 호출하는 도구와 입력 컨텍스트에서 특정 범위의 토큰을 읽는 도구가 그것이다. 우리는 이 하니스를 사용하여 다양한 합성 데이터셋으로 Qwen3.6-35B-A3B를 파인튜닝한다. 단 8,000 토큰의 컨텍스트만으로도, 우리의 소형 모델은 문서 길이가 40K 토큰을 초과할 때 OOLONG-synth 벤치마크에서 1M 토큰의 컨텍스트를 가진 GPT-5.4만큼 강력한 성능을 보인다.
언어 모델은 관련 없는 앞선 텍스트에 과도하게 조건화될 수 있다. 로컬 컨텍스트만으로 이미 뒷받침되는 예측조차, 멀리 떨어진 무관한 접두 문맥(prefix) 토큰이 교란되면 달라질 수 있다. 이러한 간섭은 유용한 근거와 무관한 구간이 공존하는 길거나, 패킹되었거나, 방해 요소가 많은 컨텍스트에서 특히 심각한 결과를 낳는다. 우리는 선택적 간섭 방지를 위한 사전학습 목적 함수인 Selective Prefix Anti-Interference Regularization(SPAR)을 제안한다. SPAR는 원본 시퀀스와, 먼 접두 문맥만 변경한 손상된 접두 문맥(corrupt-prefix) 입력을 함께 실행한 뒤, 짧은 컨텍스트 충분성 게이트(short-context sufficiency gate)와 게이트 적용 KL 목적 함수(gated KL objective)를 사용하여 로컬 컨텍스트로 뒷받침되는 후행 구간(suffix) 예측을 안정화한다. 이 게이트는 먼 접두 문맥이 대상 토큰에 대해 추가 정보를 제공하는지에 대한 모델 기반 추정을 구현한 것이다. 메커니즘 분석 결과, 게이트는 로컬 컨텍스트만으로 충분한 토큰을 식별하며, 게이트가 선택한 후행 구간 토큰에서 접두 문맥 민감도를 크게 감소시킨다. 사전학습된 베이스 모델에 대한 지속 학습(continued training)에서, SPAR는 동일한 집계 학습 연산량 조건 하에 Qwen2.5-0.5B, Qwen2.5-3B, Llama-3.2-1B, Llama-3.1-8B, GPT2-XL 전반에서 RULER 성능을 향상시켰으며, 사전학습 실험에서는 RULER와 NoLiMa 모두에서 성능 향상을 추가로 확인했다. 이러한 결과는 선택적 간섭 방지가 견고한 컨텍스트 활용을 위한 효과적인 목적 함수 수준의 신호임을 보여준다.
장문맥(long-context) 평가는 흔히 모델이 원거리 증거를 복원할 수 있는지를 테스트하지만, 복원 가능성이 행동적 영향을 보장하지는 않습니다. 본 연구에서는 원거리 담화 앵커가 명시적으로 복원 가능하더라도 익숙한 다의어 표현(multiword expression)의 국소적으로 선호되는 해석을 변경하는 데 실패할 수 있다는 예측을 검증합니다. 이러한 실패는 모델의 앵커 없는 기본값(no-anchor default)이 앵커와 충돌할 때 집중적으로 나타나는 반면, 사전확률에 부합하는 올바른(prior-correct) 결정은 대체로 유지되어야 합니다. 우리는 짝지어진 앵커 검색, 앵커 없는 사전확률, 해석 프롬프트가 각각 명시적 복원 가능성, 모델 관측 기본값, 앵커 조건부 결정을 측정하는 이중언어 진단 도구인 MWE-ECL(Multiword Expression Effective Context Length)을 제안합니다. 공유된 0-128K 그리드 상의 8개 영어 배포 패널 전반에서, 사전확률 충돌 항목에 대한 검색 통제 정확도는 0.989-1.000, 사전확률 충돌 재정의(override)는 0.806-1.000(올바른 검색을 조건부로 한 경우 0.809-1.000), 사전확률 부합 결정의 보존율은 0.977-1.000으로 유지됩니다. 단일 프롬프트에서 검색과 해석을 질의하는 단일 호출(same-call) 대조군은 DeepSeek V4 Pro에 대해 격차(1.000 검색 대비 0.900-0.920 해석)를 재현하여, 개별 호출이 이러한 격차의 유일한 설명이 아님을 보여주며, 다른 두 모델에서 나타난 더 작거나 없는 격차는 그 일반성의 범위를 한정합니다. DeepSeek V4 Flash의 경우, 개별 프롬프트 적합도 테스트에서 512K 및 1M에서 완벽한 검색 능력을 유지하면서도 낮은 해석 능력을 보인 반면, 오답 유도 단서(foil-consistent cues)는 검색보다 앵커 없는 사전확률을 훨씬 더 크게 변화시켰으며, 모델 간 단서 효과는 이질적이었습니다. 별도로 보고된 10개 계열의 중국어 하위 집합도 유사한 기술적 격차를 보이지만, 일부 모델의 불완전한 검색 능력으로 인해 이를 오로지 통합(integration) 문제만으로 귀인하는 것은 어렵습니다. 따라서 MWE-ECL은 명시적으로 복원 가능한 원거리 문맥이 경쟁적인 국소 의미 결정을 변화시키는지 여부를 평가합니다.
대규모 언어 모델(LLM) 추론은 셀프 어텐션(self-attention)의 이차 스케일링과 KV 캐시의 선형 스케일링에 의해 제약되어, 컨텍스트 길이가 늘어날수록 지연 시간, 에너지 소비, GPU 메모리 요구가 증가한다. 기존 소프트 압축(soft-compression) 방법은 추론 시점에 쿼리 기반 메모리 선택이 없거나, 답변 대상 지도(answer-targeted supervision) 없이 학습하거나, 압축을 특정 디코더 아키텍처에 강하게 결합하는 한계가 있다. 본 연구는 Context-to-Answer-Aligned Memory Compression(CMC) 프레임워크를 제안한다. 이는 긴 입력 컨텍스트를 동결된(frozen) 디코더의 임베딩 공간에 정렬된 컴팩트한 Context Memory Embeddings(CMEs)로 압축하여 디코더 가중치를 수정하지 않고 추론 비용을 줄인다. CMC는 질문 기반 CME 선택과 지역 컨텍스트 윈도우(local context window)를 결합한 2단 KV 캐시를 도입하고, 동결된 LLM으로부터 답변 대상 지식 증류(distillation)로 압축기를 학습한다. 9가지 인코더-디코더 조합과 4개 QA 벤치마크에 걸친 실험에서 CMC는 기준선을 일관되게 능가하며, SQuAD에서 최대 7.3 EM 및 4.0 F1 포인트 향상을 달성하는 동시에, 생성 토큰 3,000개 기준 추론 시간과 에너지 소비를 최대 20% 줄이고 피크 예약 GPU 메모리를 최대 50% 줄였다. ablation 연구는 각 아키텍처 구성 요소와 학습 목표가 성능에 기여함을 확인했다.
긴 컨텍스트(long-context) 대규모 언어 모델(LLM)은 방대한 컨텍스트에서 멀리 떨어진 증거를 검색하는 데 집중하지만, 기존 연구는 주로 거리 자체를 극복하는 데에만 초점을 맞추어 왔습니다. 본 연구에서는 멀리 떨어진 증거에 대한 불충분한 어텐션(attention)이 거리 자체보다는 태스크와 무관하게 넘쳐나는 근접 배경과의 누적된 경쟁에서 비롯되는 경우가 많다는 '근접성 함정(Proximity Trap)'을 규명합니다. 이러한 근접성 함정을 해결하기 위해, 인코딩된 상대적 위치 정보를 보존하면서도 컨텍스트 검색 분포를 재구성하여 태스크 관련 증거로 더 많은 어텐션 비중을 유도하는 t-분포 기반 방향성 매칭 메커니즘인 LYRA(Long-context heavY-tailed Relevance Alignment)를 제안합니다. LongBench-v2, RULER, LongBench에서의 광범위한 실험을 통해 다양한 컨텍스트 길이와 태스크 범주 전반에서 일관된 성능 향상을 입증합니다. 나아가 점증하는 근접 배경 간섭 하에서 원거리 증거 활용 능력을 평가하기 위한 다단계 세그레인드 벤치마크(benchmark)인 ProxBench를 소개합니다. 프로젝트 페이지: https://xiaoyuyoung.github.io/LYRA/
본 연구에서는 극한의 데이터·시스템·알고리즘 효율로 처음부터 학습한 완전 공개 7B dense 기초 모델 ZGCM-1을 제시한다. ZGCM-1은 핵심 전제에 기반한다: 소형 모델은 개방 웹을 수동적으로 암기할 수 없지만, 의도적인 내부 사고와 적극적인 외부 도구 사용을 결합하면 파라미터 용량 한계를 극복할 수 있다. 256K 컨텍스트 윈도우에서 이 패러다임을 지원하기 위해 엔드투엔드 고효율 공개 학습 레시피를 개발한다: 아키텍처 및 시스템 공동 설계—게이트 슬라이딩 윈도우와 full 어텐션을 교차 배치하고 안정적인 FP8 Muon 옵티마이저; 점진적 커리큘럼 및 MDP 중간 학습—16K, 64K, 256K에 걸친 컨텍스트 스케일링과 상호작용 trace를 마르kov 의사결정 과정(Markov Decision Process, MDP)으로 재구성. 또한 에이전트 swarm이 클러스터 운영, 데이터 큐레이션, 신속 진단 평가를 자율적으로 관리하는 AI-native R&D 워크플로를 구축한다. 광범위한 평가 결과 ZGCM-1-7B는 일반 벤치마크에서 7B 모델군 전반에 걸쳐 경쟁력을 보인다. 여러 도전적인 수학적 추론 및 에이전트 검색 벤치마크에서는 Qwen3-235B-A22B, GLM-5.1처럼 수 orders of magnitude 더 큰 프론티어 모델과도 경쟁력을 유지한다. 또한 사전학습 설계가 16K 사전학습 time-to-loss에서 약 4.2배 효율 개선을 제공함을 보인다. 전체 개발 수명주기에 걸쳐 아키텍처 스케일링, SFT 품질 가지치기, 장문맥 일반화, 에이전트 공동학습 역학을 아우르는 실행 가능한 경험적 발견 8가지를 정리한다. 커뮤니티 연구를 위해 사전학습, 중간 학습, 사후 학습 단계의 모델 가중치, 중간 체크포인트, 학습 코드, 단계별 데이터 및 데이터 레시피, W&B 로그를 오픈소스로 공개한다.
대규모 언어 모델(LLM) 서빙의 입력 길이가 계속 증가함에 따라, KV 캐시는 AI 인프라의 주요 병목이 되었다. 이는 GPU 메모리 용량, 서빙 동시성, 캐시 재사용, 분산 확장성을 제한한다. 위치 독립적(position-independent) KV 캐시, 접두 문맥(prefix) KV 캐시 압축, 핫/콜드 KV 캐시 분리, 분산 KV 캐시 관리를 포함한 여러 중요한 문제들은 모두 KV 캐시가 어떻게 표현되고 관리되는지에 달려 있다. 그러나 기존 서빙 시스템은 대체로 단일(monolithic) KV 캐시 추상화에 의존하여, KV 캐시를 동질적인 토큰 수준 메모리 블록 시퀀스로 취급하고 어텐션 헤드와 서빙 시나리오 전반에 걸쳐 유사한 정책으로 관리한다. 우리는 KV 캐시 효용성이 KV 헤드 전반에 걸쳐 고도로 구조화되어 있음을 관찰하였다. 서로 다른 헤드는 상이한 기능적 역할, 어텐션 거리, 런타임 중요도를 나타낸다. 따라서 모든 헤드, 토큰 범위, 또는 서빙 시나리오에 완전한 KV 캐시가 항상 필요한 것은 아니다. 본 논문에서는 LLM 서빙을 위한 헤드 인식(head-aware) KV 캐시 관리 시스템인 RedKnot을 제시한다. RedKnot은 서빙 시나리오에 따라 중요도와 유효 어텐션 범위가 크게 달라지는 KV 헤드를 따라 KV 캐시를 분해함으로써 기존의 단일 KV 캐시 추상화를 탈피한다. 이러한 헤드 수준 분해는 KV 캐시를 단일 텐서 추상화에서 구조화된 메모리 객체로 전환하여, RedKnot이 모델 재학습이나 미세조정(fine-tuning) 없이도 출력 충실도를 보존하고 자원 효율성을 개선하면서 위치 독립적 KV 재사용, 접두 문맥 KV 압축, 핫/콜드 KV 분리, 분산 KV 배치를 일관되게 지원할 수 있도록 한다. RedKnot은 KV 캐시를 단일하고 수동적인 런타임 부산물에서 확장 가능한 LLM 서빙을 위한 동적이며 모델 인식(model-aware) 런타임 기저(substrate)로 변환함으로써 AI 인프라의 새로운 기반을 구축한다.
Kimi K3를 소개한다. Kimi K3는 2.8T 매개변수 전문가 혼합(MoE) 모델로, 1040억 개의 활성화 매개변수, 네이티브 비전 기능, 100만 토큰 컨텍스트 윈도우를 갖춘다. Kimi K3는 Kimi Delta Attention과 Attention Residuals 위에 구축되었으며, 이는 시퀀스 길이와 모델 깊이에 걸친 정보 흐름을 개선한다. Stable LatentMoE—토큰당 896개의 라우팅된 전문가 중 16개를 효과적으로 활성화—와 정제된 학습 및 데이터 레시피와 함께, 이러한 발전은 Kimi K2 대비 전체 스케일링 효율을 약 2.5배 개선한다. 사후 학습에서는 일반, 에이전트(agentic), 코딩 영역과 다양한 추론 노력 수준에 걸친 강화학습을 강조하며, 이를 통해 조합적 일반화와 견고한 장기 실행을 가능하게 한다. 2.8T 규모에서 Kimi K3는 여러 영역의 인프라 발전을 통해 뒷받침된다: KDA를 위한 알고리즘-시스템 공동 설계, 효율적인 메모리 관리를 갖춘 완벽하게 균형 잡힌 전문가 병렬 학습, 지속적인 롤아웃과 샌드박스 상태를 갖춘 100만 토큰 에이전트 강화학습(RL), 그리고 배포 혁신. 광범위한 평가에서 Kimi K3는 장기 코딩, 에이전트, 지식, 추론, 비전 과제 전반에서 프론티어 수준의 성능을 달성함을 보여준다. 전체 성능은 여전히 Claude Fable 5와 GPT-5.6 Sol 등 가장 강력한 독점 모델에 미치지 못하지만, Kimi K3는 우리 평가 스위트에서 평가한 다른 오픈 및 독점 모델을 일관되게 능가한다. 향후 연구를 촉진하고 프론티어 인텔리전스의 더 넓은 배포와 채택을 가속하기 위해 Kimi K3 모델의 전체 가중치를 공개한다.
토큰 수준 희소 어텐션은 프로덕션 시스템에서 DeepSeek Sparse Attention(DSA)으로 구현된 것처럼, 하류 어텐션을 효율적으로 만들지만 병목을 이를 공급하는 인덱서로 옮긴다. 각 쿼리에 대해 top-k 토큰을 선택하려면 인덱서는 여전히 모든 선행 토큰을 점수화해야 하며, 길이 L의 시퀀스에 대해 층당 O(L^2)의 비용이 발생한다. 우리는 이러한 쿼리별 스캔이 대부분 중복됨을 관찰한다. 인접한 쿼리들은 높은 수준으로 겹치는 top-k 토큰을 선택하고, 인덱서 점수는 키 축을 따라 롱테일 분포를 보인다. 우리는 이러한 특성을 PIVOT(Proxy Indexing Via One full-prefix Traversal)에서 활용한다. PIVOT은 학습 없이 DSA 인덱서를 대체할 수 있는 드롭인 방식으로, 인접한 쿼리 그룹 전체에서 하나의 접두 문맥 스캔을 공유한다. PIVOT은 그룹을 단일 프록시 쿼리로 집계하고, 하나의 공유 전체 접두 문맥 스캔을 수행하여 후보 집합을 얻은 뒤, 그 집합에서 각 쿼리에 대한 top-k를 선택한다. 두 가지 변형은 속도와 충실도 사이의 트레이드오프를 제공한다. PIVOT-Reuse는 최대 속도를 위해 그룹 전체에서 프록시 top-k를 공유하는 반면, PIVOT-Refine은 각 쿼리의 인덱서로 후보 집합을 재점수화한 후 개별 top-k를 선택하여, 작은 추가 비용으로 밀집 인덱서와 동일한 결과를 낸다. 단일 알고리즘이 두 추론 단계를 모두 포괄하며, 그룹 형성 방식만 다르다. 프리필(prefill)에서는 연속 쿼리의 고정 크기 그룹을 사용하고, 디코드(decode)에서는 하나의 다중 토큰 예측(MTP) 단계에서 함께 디코딩되는 쿼리들을 사용한다. DeepSeek-V3.2와 GLM-5.1에서 LongBench 및 RULER 전반에 걸쳐 PIVOT은 밀집 DSA 인덱서와 동일한 정확도를 달성하면서 인덱서를 최대 4배 가속하고, 긴 문맥에서 end-to-end 지연 시간을 최대 1.6배 감소시킨다.
제한된 작업 메모리를 가진 언어 모델은 저장된 항목 중 무엇을 유지할지 반복적으로 결정해야 한다. 배포된 모든 방법은 항목이 도착하는 순간에 결정하는데, 과거로부터(StreamingLLM, H2O) 또는 미래에 대한 추측으로부터(SnapKV) 그렇게 한다. 우리는 이 선택을 항목이 재사용될지에 대한 숨겨진 신호에 대한 추정 문제로 재구성하고, 기존 방법들을 하나의 축인 커밋 지연 $H$ 위에 배치한다: 온라인 필터와 학습된 예측기는 $H=0$에서 커밋하고, Belady의 오프라인 최적은 전체 미래가 알려진 지점에 위치한다. 그 사이의 빠진 영역인 고정 지연 평활화(fixed-lag smoothing)는 제한된 수의 단계를 기다린 뒤, 정확한 근미래 예측이 어텐션한 항목을 관찰하고, 그때서야 커밋한다. 이 측정인 demonstrated utility는 Belady의 관측 불가능한 미래 요청을 모델 자체에서 읽어낼 수 있는 것으로 바꾼다. 우리는 이를 학습 없는 정책 RMM으로 구현했으며, 이는 H2O의 엄격한 일반화로, 측정이 균일할 때 정확히 H2O로 환원된다. 재사용이 내생적이고 시간적으로 분리된 통제된 설정에서, demonstrated utility는 누적 어텐션보다 사용된 메모리를 훨씬 더 잘 식별하며, 작은 제한된 메모리가 훨씬 더 큰 메모리처럼 동작한다. 그러나 NVIDIA의 KVPress 하네스 내에서 자체 SnapKV, H2O, StreamingLLM 구현과 대조하여 실행한 독립적인 서드파티 벤치마크에서는 이 우위가 대부분 사라진다: RMM은 단일 턴 질의응답에서 H2O와 대등하고, 스트리밍 다중 턴 설정에서는 H2O와 SnapKV 모두에 뒤진다. 원인은 단순하다: 자연어 텍스트에서 모델은 대부분의 토큰에 대해 정확하므로, 정확성으로 어텐션에 가중치를 부여해도 거의 변화가 없고, demonstrated utility는 재사용이 뚜렷하고 내생적이지 않은 한 누적 어텐션으로 붕괴하며, 표준 벤치마크는 이를 검증하지 않는다. 우리의 기여는 프레임워크와 측정이 누적을 이기는 경우에 대한 솔직한 지도이며, 새로운 최첨단(state of the art)이 아니다.
인간의 일화 기억(episodic memory)은 긴 시간 척도에 걸쳐 전개되는 경험의 인출을 지원하지만, 인간 장기 기억 실험에서 메커니즘에 대한 접근이 제한적이어서 이 능력의 기저에 있는 계산적 메커니즘은 여전히 논쟁의 대상이다. 긴 컨텍스트 대규모 언어 모델(LLM)은 이러한 유형의 인출을 구동하는 그럴듯한 계산적 메커니즘을 밝히는 유망한 방법을 제공할 수 있다. 여기서 우리는 시간 순서 기억 과제를 통해 LLM이 일화 기억의 핵심 행동적 특성을 포착하는지, 그리고 어떻게 포착하는지를 조사한다. 장편 소설에 대한 기억에 기반한 새로운 인간 행동 데이터셋을 사용하여, 모델이 이 과제에서 인간에게서 관찰되는 것과 동일한 특징적인 거리 효과(distance effect)를 보임을 보인다. 이어서 긴 컨텍스트 기계론적 해석가능성(mechanistic interpretability) 분석을 적용하여 모델이 이 과제를 어떻게 푸는지 밝히고, 모델 성능이 단일 시간-재활성화(time-reinstatement) 어텐션 헤드에 의해 인출 시 재활성화되는 1차원 시간 코드에 의존함을 발견한다. 이러한 결과는 시간적 맥락 재활성화가 LLM에서 일화적 시간-순서 기억을 위한 중요한 메커니즘임을 지지하며, 장기 일화 기억의 시간적 측면이 인공 및 생물학적 시스템 모두에서 어떻게 구현될 수 있는지에 대한 새로운 통찰을 제공한다.
MedLoCoMo는 다중 입원 의료 대화에 걸친 환자별 임상 추론을 위한 의료 장문맥 메모리(Medical Long-Context Memory) 벤치마크이다. 기존 의료 QA 벤치마크는 주로 짧은 문맥 지식이나 단일 문서 그라운딩(grounding)을 평가하여, LLM이 종단적(longitudinal) 환자 이력에 대해 정보를 활용하고, 연결하고, 답변을 유보(abstain)할 수 있는지는 열린 문제로 남아 있다. 우리는 MIMIC-IV 및 MIMIC-IV-Note의 비식별화 기록으로부터 입원 수준의 임상 패킷을 구성하고, 그라운딩된 의사-환자 대화를 합성하며, 단일 입원, 입원 간(cross-admission), 그리고 적대적(adversarial) 답변 불가(unanswerable) 설정에 걸친 근거 연결 QA 항목을 생성함으로써 MedLoCoMo를 구축했다. 이 벤치마크는 100개의 환자 타임라인을 포함하며, 대화당 평균 1,669.8턴, 29.7세션, 74,512.2토큰을 갖는다. 평가된 베이스라인 전반에서, 모델이 긴 컨텍스트 윈도우(context window)를 갖거나 외부 메모리 또는 검색(retrieval) 방법을 사용하더라도, 입원 간 추론은 국소화된 근거 활용보다 일관되게 더 어렵다. 코드와 MedLoCoMo 벤치마크 릴리스는 사용 및 재현성을 위해 https://github.com/leozzy13/MedLoCoMo 에서 제공된다.
대규모 언어 모델에서 전체 셀프 어텐션(self-attention)의 복잡도는 O(N^2)로 스케일링되며, 이는 긴 컨텍스트 문서 분석을 65,536 토큰으로 제한하고 비용이 큰 GPU 클러스터를 필요로 한다. Reduced Interaction Sampling(RIS) 추론 엔진은 모델 무관 아키텍처로서 이 제약을 해결한다. 가중치를 수정하지 않고, RIS는 상용 메모리 한계 내에 맞는 희소 확률적 기하학(sparse stochastic geometry)을 사용하여 셀프 어텐션 복잡도를 O(N log N)으로 줄인다. 우리는 두 가지 체제에서 Qwen2-1.5B-Instruct에 대해 RIS를 검증한다. 32,768 토큰에서의 통제된 평가(여기서 네이티브 밀집(dense) 어텐션이 상한 역할을 함)에서, 1% 밀도와 70개 앙상블 시드(seed)를 사용한 RIS-Stochastic은 75.00% 정확도를 달성하여 네이티브 밀집 기준선(71.88%)을 능가하며, 5% 밀도와 10개 시드를 사용한 RIS-Stochastic은 이와 동일한 수준(71.88%)에 도달한다. 이는 희소 어텐션이 정규화(regularizer) 역할을 함을 보여준다: 여러 시드에 걸친 낮은 밀도(1%)는 시퀀스 수준의 노이즈를 걸러내는 반면, 더 높은 밀도(5%)는 방해(distractor) 노이즈를 다시 도입한다. 가장 타이트한 예산 하에서, RIS-Structural은 10개 시드만으로 1% 밀도에서 68.75% 정확도에 도달하여, 제로 컨텍스트 하한(floor)(59.38%) 대비 컨텍스트 격차의 75%를 회복한다. 65,536 토큰에서는 밀집 어텐션이 메모리 부족(out-of-memory) 오류를 유발하는데, RIS는 제로 컨텍스트 하한(51.56%) 대비 최대 14.06퍼센트포인트의 검색(retrieval) 이득을 제공하며, 이는 McNemar의 대응 검정(paired test)에서 한계적으로 유의함(p = 0.078 < 0.10)으로 확인된다. 모든 평가는 상용 비가속 CPU 서버(16-128 GB RAM)에서 실행되었으며, GPU 가속 없이도 표준 학술 하드웨어에서 긴 컨텍스트 LLM 추론이 가능함을 보여준다.
데이터 적응형 희소 어텐션 마스크는 고정 패턴(예: BigBird, Longformer)을 크게 능가하며, 긴 시퀀스에서는 밀집(dense) 어텐션을 넘어설 수도 있다. SBM-Transformer, Dynamic Mask Attention, NSA를 포함한 기존 적응형 접근법은 일반적으로 추가 학습 가능 매개변수, 맞춤형 그래디언트 추정기, 또는 전용 CUDA 커널을 필요로 한다. 우리는 고전적인 데이터 압축이 추가 매개변수 없이 효과적인 마스킹 신호를 제공함을 보인다. 블록 단위 gzip 압축률을 계산함으로써 중복되지 않은 콘텐츠 블록을 식별하고, 장거리 어텐션을 이를 통해 선택적으로 라우팅한다. 직관적으로, gzip으로 압축할 수 없는 블록은 국소 반복으로부터 예측할 수 없는 정보를 담고 있어 자연스러운 장거리 어텐션 대상이 된다. 압축 프로파일이 입력에 의존하기 때문에, 결과적인 희소 마스크는 학습된 매개변수, 보조 손실, 또는 맞춤형 커널 없이 콘텐츠에 동적으로 적응한다. 92M 매개변수, 8K 컨텍스트 조건의 PG-19 바이트 수준 언어 모델링에서 본 방법은 1.71 bits-per-byte(BPB)를 달성하여, 밀집 어텐션(2.89), BigBird(2.34), Longformer(3.21), 재구현한 SBM-Transformer(3.38)---유일한 학습 마스크 기준선---보다 최대 1.67 BPB 우수한 성능을 보이며 매개변수를 추가하지 않는다. 이 우위는 시퀀스 길이가 길어질수록 커지며, BigBird 대비 격차는 4K 컨텍스트에서 0.05 BPB에서 8K에서 0.63 BPB로 넓어지고, 수렴은 3.3배 더 빠르다.
검색-증강 생성(RAG)은 대규모 언어 모델(LLM)의 환각을 효과적으로 완화하지만, 긴 컨텍스트 시나리오에서 Time-To-First-Token(TTFT) 지연이 과도하게 발생한다. 사전 계산된 문서 KV 캐시를 재사용하면 이 문제를 해결할 수 있지만, 분포 불일치가 발생한다. 오프라인 캐시에는 일관된 추론에 필요한 문서 간 어텐션 패턴이 없기 때문이다. CacheBlend는 선택적 어텐션을 통해 재계산을 줄이지만, 더 긴 컨텍스트에서는 정확도가 크게 저하된다. 이러한 과제를 해결하기 위해, 높은 정확도를 유지하면서 재계산 오버헤드를 크게 줄이는 프레임워크인 Decoupled Attention Fusion(DAF)을 제안한다. DAF는 어텐션 과정을 세 가지 통합 단계로 분리한다: 누락된 문서 간 어텐션을 복원하는 중요 토큰 self-attention, 표준 추론을 위한 질문-문서 self-attention, 그리고 두 출력을 연결하여 최종 은닉 상태를 합성하는 상태 융합. 이 연산들을 dense 패턴으로 분리함으로써 DAF는 Flash-Attention 커널과 기본적으로 호환되어 복잡한 어텐션 마스크 없이도 하드웨어 활용을 극대화한다. 실험 결과, DAF는 긴 컨텍스트 벤치마크에서 vLLM을 사용할 때 CacheBlend 대비 최대 2배, 전체 재계산 대비 5.6배의 속도 향상을 정확도 희생 없이 달성한다.
대규모 언어 모델(LLM)의 컨텍스트 윈도우 확장은 일반적으로 위치 인코딩(positional encoding)을 스케일링한 뒤 경량 연속 사전학습(CPT, Continual Pre-Training)을 수행하는 방식으로 이루어진다. 긴 시퀀스 처리에는 효과적이지만, 이 패러다임은 종종 원래 모델의 능력을 훼손하여 표준 단문 벤치마크에서 성능 저하를 초래한다. 우리는 LinearARD를 제안한다. 이는 동결된 기본 RoPE(native-RoPE) 교사와의 어텐션 구조 일관성을 통해 RoPE 스케일링된 학생(student) 모델을 복원하는 자기 증류(self-distillation) 방법이다. 불투명한 은닉 상태(hidden state)를 맞추는 대신, LinearARD는 밀집 $Q/Q$, $K/K$, $V/V$ 자기 관계(self-relation) 행렬의 행별(row-wise) 분포를 정렬하여 어텐션 역학을 직접 감독한다. $n \times n$ 관계 맵(relation map)의 이차 메모리 병목을 극복하기 위해, 우리는 선형 메모리 커널을 도입한다. 이 커널은 토큰별 log-sum-exp 통계를 활용하고, 역전파(backward pass)에 로짓 재계산을 융합하여 정확한 Kullback-Leibler(KL) 발산과 그래디언트를 계산한다. 4K에서 32K로 확장한 LLaMA2-7B에서 LinearARD는 최첨단 기준선(baseline)의 단문 성능의 98.3%를 회복하면서 장문 컨텍스트 벤치마크에서는 이를 능가한다. 특히, 우리 방법은 LongReD와 CPT가 필요로 하는 256M 토큰에 비해 단 4.25M 학습 토큰만으로 이러한 결과를 달성한다. 코드는 https://github.com/gracefulning/LinearARD 에서 제공된다.