Long chain-of-thought (CoT) reasoning models such as DeepSeek-R1 keep lengthening their inference chains under test-time scaling, yet standard self-attention incurs quadratic cost in context length, making long-CoT deployment costly in production. We therefore introduce LISA (Linear-Indexed Sparse Attention), a plug-and-play replacement for self-attention that requires no full pretraining. LISA combines a linear-attention branch for long-range memory with a Lightning Indexer that dynamically selects the most relevant tokens for a sparse self-attention branch. The two branches are fused through a learned gate, so the model retains broad context while focusing computation on informative tokens. We train LISA in two stages. In Stage 1, a linear-attention branch is integrated with sliding-window attention and distilled from a frozen teacher's full-attention distribution. In Stage 2, the Lightning Indexer replaces the static window and is trained with a per-head KL-divergence objective to mimic teacher attention patterns. The resulting model reduces eager-mode self-attention computation from quadratic in sequence length to linear in the number of generated tokens and the selected context budget. Experiments on DeepSeek-distilled Qwen models show that LISA cuts measured eager-mode mean sample latency by 23.9% at 16K context without degrading long-context reasoning quality. Across nine mathematical and code reasoning benchmarks, the gated LISA-1.5B model improves the equal-weight benchmark average by 4.2 percentage points relative to the full-attention baseline.
Recurrent memory agents extend LLMs to arbitrarily long contexts by iteratively consolidating input into a fixed-size memory window. Despite their scalability, these agents exhibit a well-documented reliability problem: end-to-end performance degrades systematically as context length grows. We diagnose this failure by decomposing performance into two factors---memory capture and memory retention---and quantitatively confirm that retention is the dominant bottleneck. Retention collapses because existing designs maintain memory as a monolithic text block, forcing every update to risk overwriting previously retained content. Motivated by this diagnosis, we propose Multi-Head Recurrent Memory (MHM), a general, training-free framework that partitions memory into independent heads governed by a stage-wise select-then-update strategy. At each step, exactly one head is selected for update while the remaining heads are structurally shielded from overwriting, shifting the burden of retention from model behavior to architectural design. As a lightweight instantiation, we introduce Least-Recently-Updated MHM (MHM-LRU), which guarantees uniform head utilization with zero additional token overhead. Extensive experiments on long-context benchmarks show that MHM-LRU substantially improves both retention and end-to-end accuracy across the 100K--1M token range, where baselines degrade sharply. On RULER-HQA at 896K tokens, MHM-LRU improves the memory retention rate from less than 30% to 73.96%. These gains generalize across model families, scales, and task types, positioning architectural optimization as a practical and cost-efficient path toward reliable long-context recurrent memory.
선형 어텐션(linear attention)은 롱컨텍스트(long-context) 언어 모델링에 필요한 효율성을 제공하지만, 크기가 고정된 순환 상태(recurrent state)가 지속적인 연산을 지원하는 동시에 계속 증가하는 과거 정보를 보존해야만 합니다. 이러한 결합은 상태의 메모리 용량이 모델의 롱컨텍스트 능력을 규정한다는 지배적인 관점을 강화해 왔습니다. 본 연구에서는 순환 연산이 장기 저장의 모든 부담을 짊어질 필요가 없다는 점을 들어 이러한 한계성에 의문을 제기합니다. 우리는 미래의 쿼리를 알 수 없는 상태에서 선별된 텍스트를 보관하고, 백본의 고유 특징을 활용하여 기록 및 주소 지정을 수행하며, 리플레이(replay)를 통해 고유의 순전파 연산으로 검색된 근거를 읽어오는 희소 에피소딕 메모리인 NoteBank를 소개합니다. 이 학습 불필요(training-free) 플러그 앤 플레이(plug-and-play) 인터페이스는 외부 임베딩 모델이나 별도로 학습된 검색기, 독립된 신경망 리더(neural reader)를 필요로 하지 않습니다. 100만 토큰 환경에서, 이는 Gated DeltaNet의 6개 RULER 검색 태스크 평균 정확도를 1.7%에서 70.3%로 향상시켰으며, 4K에서 1M 토큰까지 유의미한 검색 성능 저하가 관찰되지 않았습니다. 이러한 성능 회복 과정에서 추가되는 이론적 FLOPs는 0.025% 이하($\leqslant$0.025%)에 불과하며, 영구 컨텍스트 저장 공간은 동일한 너비, 깊이 및 정밀도 조건의 트랜스포머 전체 MHA KV 캐시 대비 약 1/2,600 수준입니다. 실험은 세 가지 1.3B 순환 백본부터 Mamba-2-8B 및 사후학습(post-training)을 거친 Qwen3.5-9B까지 확장되어 LongBench v1/v2와 MemoryAgentBench 전반에서 성능 향상을 입증했습니다. 종합적으로 이러한 결과는 희소 근거 저장과 고유 리플레이 메커니즘이 순환 연산의 효율성을 유지하면서도 사전학습된 선형 어텐션 모델의 롱컨텍스트 역량을 크게 확장할 수 있음을 보여줍니다.
선형 어텐션(linear attention)과 슬라이딩 윈도우 어텐션(sliding window attention) 같은 효율적인 어텐션 메커니즘은 트랜스포머의 계산 복잡도를 제곱(quadratic)에서 선형(linear)으로 줄이는 것을 목표로 한다. 그러나 이러한 메커니즘은 문맥 내 재현율(in-context recall)이 저하되는 경우가 많아 전체 어텐션(full attention) 레이어를 교차 배치해야 하는 경우가 많으며, 이로 인해 긴 문맥(long-context) 처리에서 제곱 복잡도 병목이 여전히 해결되지 않은 채로 남아 있다. 이를 해결하기 위해, 우리는 효율성 패러다임을 구조적 할당(structural allocation)에서 단계 인식 분리(phase-aware decoupling)로 전환하는 Orthros 어텐션을 제안한다. Orthros는 통합된 모듈로서 시퀀스 처리의 서로 다른 단계(phase)에 걸쳐 계산 패턴을 동적으로 전환하여, 프리필링(prefilling)에서는 선형 복잡도를, 디코딩(decoding)에서는 전체 어텐션을 가능하게 한다. 이러한 설계는 무거운 프리필링과 가벼운 디코딩으로 특징지어지는 일반적인 긴 문맥 시나리오에서 Orthros 어텐션이 기본 트랜스포머(vanilla Transformer)보다 더 낮은 점근적 복잡도(asymptotic complexity)를 갖도록 한다. 이론적 정식화와 복잡도 분석을 넘어, 광범위한 실증적 평가를 통해 Orthros가 여러 측면에서 우수함을 입증한다. 첫째, 우리는 Orthros의 기본적인 언어 모델링 능력을 검증하여 다양한 모델 크기에 걸친 확장성(scalability)과 종합적인 아키텍처 비교에서의 강력한 경쟁력을 보여준다. 둘째, Orthros는 데이터 효율적인 트랜스포머-투-Orthros 변환(Transformer-to-Orthros conversion)을 통해 뛰어난 변환 가능성(conversion feasibility)을 보여주며, 원본 트랜스포머를 능가하는 성능을 달성한다. 마지막으로, Orthros는 트랜스포머 대비 21.9배의 프리필링 속도 향상(prefilling speedup)을 달성하며 종단 간(end-to-end) 추론 성능 향상을 보이는 동시에, 거의 완벽한 128K 니들 인 어 헤이스택(needle-in-a-haystack) 결과와 실제 문맥 내 재현율 과제에서 트랜스포머 수준의 성능을 통해 긴 문맥 처리 능력을 유지한다. 전반적으로, 이러한 높은 성능, 유연성, 효율성의 장점들은 Orthros를 산업 응용 분야에서 트랜스포머를 계승할 유망한 후보로 자리매김하게 한다.
회전 위치 인코딩(RoPE)은 현대 대규모 언어 모델(LLM)에서 널리 사용되고 있습니다. 그러나 시퀀스가 학습(training) 중에 보았던 범위를 넘어 확장될 때, 회전 위상이 분포 외(out-of-distribution) 영역으로 진입하여 잘못된 장거리 정렬, 확산된 어텐션(attention), 검색 성능 저하를 초래할 수 있습니다. 기존의 해결책들은 종종 장문맥 안정성을 위해 국소적인 위치 해상도를 희생시키기 때문에 이러한 문제를 부분적으로만 해결합니다. 본 논문에서는 회전 기하학적 구조를 보존하면서 어텐션 로짓에 직접 콘텐츠 인식 바이어스(bias)를 도입하는 위치 인코딩용 드롭인 증강 기법인 GAPE(Gated Adaptive Positional Encoding)를 제안합니다. GAPE는 무관한 문맥을 축소하는 쿼리 의존적 게이트와 중요한 원거리 토큰(token)을 보존하는 키 의존적 게이트를 통해 거리 기반 억제를 토큰 중요도와 분리합니다. 약하게 보호된 원거리 문맥은 쿼리 게이트의 함수에 따라 지수적으로 감쇠되는 반면, 선택된 키는 랜드마크 보호를 통해 접근 가능한 상태를 유지할 수 있음을 보입니다. 또한 GAPE가 표준 점곱 어텐션(scaled dot-product attention) 내에서 구현될 수 있음을 보여줍니다. 실증적으로 GAPE는 통제된 검색 및 언어 모델링 실험 전반에서 장문맥 강건성을 향상시키며, 학습 길이의 최대 8배까지 외삽합니다. 나아가 사전학습된 7B 모델에 GAPE를 사후 적용하여 표준 벤치마크 성능을 유지하면서 평가된 최장 문맥에서의 성능을 향상시켰습니다. 이러한 결과는 장문맥 일반화를 위한 위치 표현의 보완책으로서 적응형 문맥 억제의 유용성을 뒷받침합니다.
긴 시각적 문맥(long visual context)은 비전-언어 모델(VLM)에 큰 도전 과제가 됩니다. 방해 요소(distractor)의 수가 증가함에 따라 성능이 저하되고, 모든 토큰을 한 번에 처리하면 GPU 메모리 한계를 초과할 수 있기 때문입니다. 본 논문에서는 사전 채워진(pre-filled) KV 캐시에서 질의 관련 시각 토큰을 선택하기 위해 VLM의 내부 표현에서 검색 신호를 추출하는 단일 학습 가능 임베딩인 RETOKEN을 제시합니다. 이를 통해 별도의 검색기(retriever)나 재인코딩 없이도 답변을 생성하는 VLM 내부에서 검색이 가능해집니다. 소규모 이미지-QA 데이터셋만을 기반으로 학습되었음에도 불구하고, RETOKEN은 이미지 및 비디오 벤치마크 전반에 걸쳐 뛰어난 일반화 성능을 보입니다. Visual Haystacks에서 Qwen3VL-8B의 성능을 13.4점, InternVL3.5의 성능을 12.4점(상대적 20% 이상) 향상시켰습니다. LVBench에서는 긴 비디오에 제로샷(zero-shot)으로 전이되어 Qwen3VL-8B의 성능을 8.0점 향상시켰습니다. 경량화된 설계 덕분에 학습과 긴 비디오 추론이 모두 단일 H100에서 수행 가능합니다. 코드는 https://github.com/avaxiao/ReToken 에서 이용할 수 있습니다.
KV-cache 축출(eviction)은 일반적으로 평균적인 품질-메모리 트레이드오프를 통해 평가되지만, 평균 손실이 작더라도 유틸리티가 크게 저하되는 요청이 가려질 수 있습니다. 본 연구는 축출을 배포 환경의 위험 제어(risk-control) 문제로 재정의합니다. 즉, 동일한 요청에 대해 전체 KV(full-KV) 추론 대비 축출로 인해 작업 유틸리티가 배포 환경에서 지정한 허용 오차보다 더 크게 낮아지면 실질적인 성능 저하가 발생한 것으로 보고, 배포 위험을 이러한 사건이 발생하는 모집단 내 빈도로 정의합니다. 목표 위험 수준과 신뢰도 요건을 명시한 신뢰성 계약(reliability contract)이 주어지면, 압축기에 구애받지 않는(compressor-agnostic) 사후(post-hoc) 인증 절차를 사용하여 보정(calibration) 데이터로부터 유한 표본 보장(finite-sample guarantee)을 갖는 보존 정책(retention policy)을 선택하며, 인증된 압축 정책이 없을 경우 full KV로 폴백(fallback)합니다. 여러 축출 방법, Llama 및 Mistral 모델, 그리고 LongBench와 RULER-32K 전반에 걸쳐, 동일한 계약이 상당히 다른 수준의 축출을 지원합니다. Llama에서는 LongBench의 75% 보존률에서 SnapKV를 인증하지만, RULER-32K에서는 테스트한 어떤 압축 정책도 인증하지 못해 full-KV 폴백이 발동됩니다. 경험적 저하율이 5% 목표 미만인 정책이라도 유한 표본 인증에는 실패할 수 있으며, Llama LongBench에서 경험적 임계값 설정(empirical thresholding)은 고정 예산 방법 전반에서 캐시를 5~10%p 적게 보존하는 미인증 정책을 선택합니다. 제안하는 프레임워크는 배포 수준의 신뢰성 요건을 KV 메모리 운영점(operating point)으로 변환합니다.
Large language models (LLMs) now support contexts of up to 1M tokens, but their strengths and weaknesses on complex long-context tasks remain unclear. To study this, we focus on multi-document legal case summarization, where a single case often spans many documents exceeding 100K tokens. We systematically evaluate 12 frontier LLMs with Gavel, which consists of Gavel-Ref, a reference-based evaluation framework with checklist, residual-fact, and writing-style evaluations, and Gavel-Agent, a reference-free agent for evaluating factual coverage directly from source documents. Our results show that current models are more prone to omitting key information than hallucinating. They all perform well on simple checklist items, such as filing date, but struggle with rare and complex items, such as settlements. Performance also declines as case length increases. To meta-evaluate Gavel, we collect 160 hours of human annotations. Gavel-Agent reduces token usage by at least 36% compared to end-to-end and chunk-by-chunk methods while achieving competitive performance. Gavel-Agent also generalizes to the medical domain, performing the best with at least 77% fewer tokens.
장기 컨텍스트 의존성 관리는 LLM 에이전트의 주요 병목으로 남아 있으며, 중복되고 무관한 정보는 다단계 추론을 저하시킬 수 있다. 에이전트 메모리 시스템을 위한 전�ategic Forgetting for Agent Memory Systems, SF-AMS)은 메모리 단위의 장기적 중요도를 모델링하여 간결하고 고유용성(high-utility) 메모리를 유지하는 프레임워크로 제안된다. SF-AMS는 정적 검색과 휴리스틱 감쇠를 사용 빈도 중복성과 시간적 신호로부터 메모리 중요도를 갱신하는 유틸리티 기반 생존 메커니즘으로 대체하며, 이를 통해 안정적이고 엔티티 일관성(entity-consistent) 정보를 우선시하고 노이즈를 걸러내는 계층적 메모리 구조를 형성한다. 이를 바탕으로 복합 중요도 점수(Composite Importance Scoring)는 의미적 및 엔티티 수준 신호를 통합하여 검색의 견고성(robustness)을 향상시킨다. LoCoMo 및 LongMemEval-s에서의 실험은 LightMem, MemO, A-Mem을 포함한 강력한 최신(state-of-the-art) 기준선 대비 일관된 성능 향상을 보여준다. 가장 큰 개선은 Qwen2.5-7B에서의 다중 홉(multi-hop) 추론에서 나타나며, SF-AMS는 가장 강한 기준선 대비 F1 +9.65를 달성한다. 이어 GPT-4o-mini에서의 시간적 추론(temporal reasoning) +6.91 F1, 개방형(open-domain) 태스크 +6.53 F1이 뒤를 이으며, 강력한 백본(backbone) 간 일반화를 보여준다. 이러한 결과는 메모리 중요도를 동적 유틸리티 신호로 모델링하는 것이 신뢰할 수 있는 장기 컨텍스트 추론에 핵심적임을 보여준다.
긴 컨텍스트 트랜스포머 추론은 점점 KV 캐시 압축 또는 양자화에 의존하고 있다. 이전 회전(rotation) 및 변환 코딩(transform-coding) 결과는 각 key/value 벡터의 채널 기저(channel basis)가 고정된 백엔드가 모델 동작을 얼마나 충실히 보존하는지에 영향을 미친다는 것을 시사한다. 우리는 기존 압축 및 양자화 백엔드 주변에서 작은 직교 채널 변환을 학습하는 사후 학습 캐시 좌표층인 Codec-Gauge를 제안한다. 그 주파수 분포 목적 함수는 토큰-채널 DCT 스펙트럼 중심 손실과 부드러운 비율(rate) 프록시를 결합하여 KV 에너지를 저주파 코덱 대면(codec-facing) 레이아웃에 집중시킨다. 우리는 측정된 바이트와 롤링 압축 히스토리 스코어링을 사용하여 실제 압축 및 압축 해제를 평가한다. 6개 모델에서 value당 3, 4, 6비트 조건에서, 학습된 게이지는 원시 좌표 대비 zfp KL 발산을 평균 44.0% 감소시키며 random, Hadamard, DCT, PCA/KLT 대조군을 능가한다. 동일한 게이지는 block-uniform 및 KIVI 스타일 양자화에 대해서도 품질 보존을 개선한다. 27B 모델과 긴 컨텍스트 작업 프롬프트에 대한 실험은 품질 추세를 재현하며, 직렬 저장 및 타이밍 측정은 구현된 압축 캐시 경로를 검증한다. 이러한 결과는 모델 가중치, 어텐션 의미, 또는 백엔드 코딩 규칙을 변경하지 않고 압축 충실도를 개선하기 위한 실용적인 사후 학습 변수로서 캐시 좌표 기하학(cache-coordinate geometry)을 확립한다.
대규모 언어 모델(LLM)은 표현 붕괴(representation collapse)라는 근본적 한계에 의해 제한되며, 이는 장문맥 성능을 심각하게 저하시키는 병목이다. 기존 접근법은 두 가지 병리적 극단 중 하나로 기울어질 위험이 있음을 확인했다: 동질화 붕괴(homogenization collapse)(예: 어텐션 sink로 인한 rank deficiency)와 고립 붕괴(isolation collapse)(예: 지역 어텐션으로 인한 문맥 단절). 어텐션 동역학의 스펙트럴 분석을 통해, 표준 메커니즘이 균형을 맞추기 어려운 혼합 효율(spectral gap)과 정보 용량(effective rank) 사이의 내재적 트레이드오프를 도출했다. 이 딜레마를 해결하기 위해 스펙트럴 균형을 달성하는 비침습적 아키텍처 개입인 위상학적 정규화 부수 경로(TRSP)를 제안한다. TRSP는 경량의 길이 인식(length-aware) 게이트로 스케일링되는 매개변수 없는(parameter-free) Triangular Box 메커니즘을 사용하여 토큰 상호작용 위상(topology)을 정규화한다. 근접 결합(proximal coupling)으로 effective rank를 보존하고 원거리 전파(distal propagation)로 비퇴화하지 않는(non-degenerate) 혼합을 지원함으로써, TRSP는 핵심 어텐션을 변경하지 않고 기하학적으로 더 건강한 전이 연산자(transition operator)를 촉진한다. 실험 결과 일반 역량과 장문맥 벤치마크 전반에서 유의미한 개선을 보였다. 특히 학습 길이의 $8\times$에서 NoLiMa에서 TRSP는 $83\%$의 정확도를 유지하며, Differential Transformer와 Gated Attention을 각각 약 30 및 50 퍼센트포인트만큼 초과한다. 코드는 https://github.com/Eziotao-tyd/TRSP 에서 제공된다.
SciTrek은 대규모 언어 모델(LLM)의 장문맥 수치 추론을 평가하고 개선하기 위한 합성 질의응답 데이터셋을 소개한다. 입력이 64K 토큰을 넘는 기존 장문맥 데이터셋은 단순 정보 검색을 대상으로 하거나, 추론을 포함하더라도 인공적 문맥에 의존하며, 두 경우 모두 수치 추론은 대체로 간과되어 왔다. SciTrek은 전문(full-text) 과학 논문 모음에 대해 수치 연산(예: 개수 세기, 정렬, 집계, 비교)을 요구하는 질문으로 이러한 한계를 해결한다. 질문은 논문 메타데이터(제목, 저자, 참고문헌) 데이터베이스에 대한 SQL 쿼리로 공식화하여 자동 생성되며, 정답은 해당 쿼리를 실행하여 얻는다. 기반 SQL은 각 질문이 요구하는 추론에 대한 투명하고 검증 가능한 명세를 제공하여 세밀한 오류 분석을 가능하게 하며, 완전 자동화된 파이프라인은 최소한의 인간 감독으로 임의의 문맥 길이와 데이터셋 규모로 확장되어 데이터 오염을 완화하고 사후 학습을 위한 풍부한 데이터를 제공한다. 광범위한 실험 결과, 최신 공개 가중치 및 독점 LLM은 겉보기에 단순한 질문에서도 어려움을 겪는다. 최고 성능 모델은 128K 토큰에서 정확 일치 46.5%에 불과하며, 문맥이 길어질수록 성능은 지속적으로 저하된다. 세밀한 분석 결과, 인용 관련 질문과 특히 부정을 포함하는 복합 논리 조건에서 체계적인 약점이 드러난다. 마지막으로, SciTrek으로 공개 가중치 모델을 사후 학습하면 수치 추론이 개선되며, 이는 도메인 외 장문맥 과제로 일반화된다.
매개변수 효율적 미세조정은 모델과 옵티마이저 메모리를 줄이지만, 밀집(dense) 어텐션 때문에 긴 학습 시퀀스는 여전히 비용이 큽니다. 우리는 계층적 전역 어텐션(Hierarchical Global Attention, HGA)을 세그먼트 단위 역전파와 계층형 KV 저장과 결합합니다. 활성 세그먼트만 VRAM에서 미분 가능하게 유지되며, 이전 KV는 RAM 또는 NVMe로 분리(detach)되고, HGA는 각 쿼리 블록마다 유한한 수의 정확한 과거 토큰을 로드합니다. Qwen3-8B에서 4비트 QLoRA와 PG19를 사용할 때, 16GB Quadro RTX 5000에서 밀집 학습은 2,048 토큰까지는 가능하지만 4,096에서는 실패하는 반면, HGA는 15.28GB 피크 VRAM으로 16,384 토큰에 도달합니다. 평가에서는 동일한 어댑터가 이 카드에서 131,072 토큰까지 처리하며, VRAM은 일정하지 않지만 상주 청크 요약에 따라 완만히 증가하므로 RAM과 NVMe 용량이 이보다 긴 길이에서 실질적 한계를 설정합니다. 공통 2K 학습 길이에서 HGA로 학습한 어댑터와 밀집으로 학습한 어댑터는 동일한 밀집 어텐션 readout에서 각각 2.7405와 2.7383 nat를 달성하는 반면, 기본 모델은 2.9541을 얻습니다. 이 경계에서 HGA 학습은 이미 미세하게 더 빠르며(217.75 대 207.02 tokens/s), HGA 대 밀집 처리량 비율은 1K에서 2K로 개선됩니다. HGA는 토큰당 어텐션 대상 과거 집합을 대략 일정하게 유지하는 반면 밀집 방식의 토큰당 작업량은 증가하기 때문에, 컨텍스트가 길어질수록 이 격차가 더 벌어질 것으로 기대합니다. 품질 및 검색 비교의 주요 평가에는 학습된 가중치를 측정하고 표준 생성 프레임워크와 호환되도록 밀집 어텐션을 사용합니다. HGA는 검색 및 생성에도 사용할 수 있으며, 최적화된 프로덕션급 서빙 구현이 개발 중입니다.
대규모 언어 모델(LLM)이 자율 작업을 위해 방대한 컨텍스트 윈도우(context window)를 작업 메모리로 점점 더 활용하면서, 실제 코퍼스에서 정보가 어떻게 분포되어 있는지에 따라 그 신뢰성이 크게 달라진다. 우리는 확장성을 고려해 설계된 모델에 구애받지 않는 확장 needle-in-a-haystack 벤치마크를 도입하고, 이를 Gemini-2.5-flash, ChatGPT-5-mini, Claude-4.5-haiku, Deepseek-v3.2-chat 평가에 적용함으로써, 사실 배치, 코퍼스 수준 분포, 그리고 환각 억제("Don't Make It Up") 프롬프트가 모델 행동에 어떤 영향을 미치는지 조사한다. 기존 연구와 달리, 우리는 문자 그대로의 추출, 논리적 추론, 환각 위험을 별도로 평가한다. 우리는 두 가지 핵심 실패 양상을 확인한다: 증거가 분산될 때 성능이 크게 저하되는 분포 붕괴(Distributional Collapse); 그리고 환각 억제 프롬프트가 존재하는 사실과 증거에 대해 과도하게 보수적으로 거부하여 정확도를 급격히 떨어뜨리는 안전성 세금(Safety Tax). 우리 결과는 많은 실패가 부효과적인 컨텍스트 활용에서 비롯됨을 시사한다. 모델은 관련 정보가 존재하더라도 이를 우선순위화하는 데 어려움을 겪기 때문이다. 이러한 발견은 장기간 에이전트(agentic) 워크플로에서의 신뢰할 수 있는 배포를 보장하기 위해 모델별 견고성과 효과적인 컨텍스트 관리의 필요성을 강조한다.
KV-캐시 압축 방법은 대개 압축 전에 문맥에 쿼리를 붙여 평가하는 쿼리 인지(query-aware) 프로토콜을 사용한다. 그러나 압축된 KV-캐시의 경제적 이점은 재사용에 있다: 문서를 한 번 압축하고 이후 여러 질문에 답하는 것이다. 그러한 배포에서는 어떤 질문도 보기 전에 압축이 이루어져야 하므로, 압축은 쿼리 비의존(query-agnostic)적이어야 한다. 우리는 3개의 공개 7-9B 모델에서 6개의 공개 압축 방법을 3개의 단순 기준선과 비교하는 매칭 예산(matched-budget) 감사를 제시한다(RULER-8192에서 144,300회의 쌍 평가; LongBench에서 40,800회; 전체적으로 50,000회 리샘플 쌍 부트스트랩). 채점 규칙을 제외하고는 모델, 압축 비율, 인스턴스, 디코딩 등 모든 요소를 고정한다. 세 가지 결과. (1) 쿼리 가시성은 순위를 바꾼다: 쿼리 비의존 프로토콜에서는 공통 어텐션 백엔드를 공유하는 5개의 감사 대상 방법 중 KeyDiff만이 3개 단순 기준선 중 최적(best-of-3 trivial baseline)을 지속적으로 이긴다(36개 셀 중 31개), 그리고 가장 널리 배포된 방법인 SnapKV는 평균적으로 "시작부와 최근 윈도우 유지" 방식에 패한다(-0.066). (2) 두 프로토콜 간 방법별 성능 하락은 각 방법의 채점 신호에 질문이 얼마나 가시적인지—소스 코드에서 확인 가능—와 일관되게 순서가 맞춰진다: SnapKV의 Delta=+0.198(질문이 64-토큰 관측 윈도우 안에 위치)부터 KeyDiff의 Delta=+0.011(점수에 쿼리 항이 전혀 없음)까지.
대규모 언어 모델(LLM)의 컨텍스트 길이를 확장하는 것은 많은 실세계 애플리케이션에서 매우 중요하지만, 표준 트랜스포머는 이차적 연산량과 선형적 메모리 스케일링이라는 제약에서 벗어나지 못하고 있다. 본 연구에서는 LLM의 장문 컨텍스트 처리, 고정 메모리 스케일링, 높은 효율성을 실용적으로 실현하기 위한 방법으로 ARMT(Associative Recurrent Memory Transformer)를 탐구한다. 본 논문의 주요 기여는 세 가지다. 첫째, 현실적인 워크로드 평가를 위해 협소 도메인 미세조정 시나리오에 초점을 맞춘 두 가지 도메인 특화 장문 컨텍스트 데이터셋을 구축하였다. 둘째, 지속적 사전학습, 합성 장문 컨텍스트 데이터 생성, 커리큘럼 학습, 연상 메모리의 선택적 모델 레이어 통합을 결합한 ARMT 기반 컨텍스트 확장을 위한 포괄적인 학습 레시피를 제안한다. 셋째, ARMT로 강화된 모델이 (i) 컨텍스트 한계 내 기준선 대비 성능 저하 없이 원래 컨텍스트 한계를 훨씬 초과하는 입력을 처리하고, (ii) 분포 외 컨텍스트 길이에 더 효과적으로 일반화하며, (iii) 원래 컨텍스트 윈도우 내에서 기준선 성능을 유지하면서 FLOPs를 30% 절감함을 보여주는 광범위한 실험 연구를 제시한다.
KV 캐시에 대한 사후 컨텍스트 삭제는 국소적 편집이 전역적 결과를 초래하기 때문에 어렵다. 특정 스팬이 처리되면, 그 영향이 이후 모든 토큰의 캐시 상태로 전파된다. 이 문제는 장문 컨텍스트 대규모 언어 모델(LLM) 응용에서 자연스럽게 발생하는데, 오래된 검색된 사실, 잘못된 도구 관찰 결과, 철회된 사용자 선호, 또는 유해한 프롬프트 주입이 프리필(prefill) 이후에야 식별될 수 있다. 정확한 삭제는 삭제된 스팬 이후의 모든 토큰을 재연산해야 하므로, 계산 비용이 삭제 스팬의 길이가 아닌 접미부(suffix) 길이에 따라 결정된다. 우리는 효율적인 지역적 컨텍스트 삭제를 위한 학습 기반 KV 캐시 편집 방법인 KVEraser를 소개한다. 처리된 컨텍스트와 제거할 스팬이 주어지면, KVEraser는 삭제 구간의 KV 상태만 학습된 조종 상태(steering states)로 교체하고 나머지 캐시는 변경하지 않고 재사용한다. 전이 가능한 삭제 메커니즘을 학습하기 위해, 우리는 2단계 학습 파이프라인을 구축한다. 범용 스팬-이웃 사전학습은 삭제기가 삭제된 스팬의 영향을 억제하도록 학습시키고, 태스크별 미세조정은 이 능력을 하위 시나리오에 적응시킨다. 실험 결과, KVEraser는 1K~32K 컨텍스트 길이에 걸친 도메인 내(in-domain) 태스크에서 삭제 후 성능이 완전 재연산과 거의 동등한 수준을 보이면서도, 지연 시간은 완전 재연산의 17.6배 증가에 비해 24%만 증가하는 것으로 나타났다. KVEraser는 또한 유해한 사실적 방해 요소가 포함된 미지의 장문 문서 질의응답(QA) 태스크에도 일반화되어, 완전 재연산 대비 3~4배의 속도 향상으로 근사 기준선(approximate baselines) 중 최고 성능을 달성한다.
비전-언어 모델(VLM)은 DocVQA, ChartQA, MMLongBench-Doc 등 시각 문서 이해 벤치마크에서 높은 성능을 달성했습니다. 그러나 실제 문서는 길이, 레이아웃 복잡도, 모달리티, 질문 난이도 등 여러 요인이 복합적으로 결합되어 있어 모델 실패를 특정 원인에 귀인하기 어렵습니다. 우리는 문서 길이, 레이아웃 구조, 모달리티 구성, 질문 유형을 포함한 요인들을 체계적으로 통제하는 장문 컨텍스트 시각 문서 이해를 위한 완전 합성 벤치마크인 SynthDocBench를 소개합니다. 이 벤치마크는 조합적 설계 방식으로 구성되어 각 요인이 생성된 문서에 걸쳐 독립적으로 변화하며, 모델 행동에 대한 통제된 분석을 가능하게 합니다. 문서는 6가지 레이아웃 원형(archetype)에 걸쳐 LLM 파이프라인을 사용해 엔드투엔드로 생성되며, 모델이 허위 상관관계를 이용하지 못하도록 40%의 무작위 재정의(override)가 적용됩니다. 또한 SynthDocBench는 기존 벤치마크보다 훨씬 더 긴 길이와 구조적 다양성을 지닌 장문 컨텍스트 문서를 포함합니다. 7개의 최전선 VLM을 평가한 결과, 기존 벤치마크에서는 드러낼 수 없는 세 가지 실패 모드를 발견했습니다: 문서 길이에 따른 급격한 성능 저하, 6개 모델 중 5개에서 문서 중간 3분의 1 구간이 가장 어려운 체계적인 위치 민감성(가장 큰 하락 폭: 8.3 퍼센트 포인트)과 5개 모델에서 나타나는 초반-후반 음의 추세, 그리고 장문 문서 환경에서의 차트 이해 능력 저하입니다. 이러한 결과는 현재 모델들이 강건한 장문 컨텍스트 시각 문서 이해를 달성하기보다 벤치마크의 인위적 특성에 과적합되어 있을 가능성을 시사합니다.
긴 컨텍스트 처리는 대규모 언어 모델(LLM)에서 점점 더 중요해지고 있지만, 단순히 컨텍스트 윈도우를 확장하는 것만으로는 긴 입력의 효과적인 활용을 보장하지 않는다. 입력 길이가 늘어날수록 정확도가 저하되는 경우가 많으며, 이는 모델들이 여전히 질문과 가장 관련성 높은 증거를 식별하고 활용하는 데 어려움을 겪고 있음을 나타낸다. 긴 컨텍스트 활용을 개선하는 유망한 방법으로 테스트 시간 학습(TTT)이 있으며, 이는 테스트 컨텍스트를 인스턴스별 매개변수 적응을 위한 학습 예시로 취급한다. 그러나 전체 긴 컨텍스트에 TTT를 적용하는 것은 비용이 지나치게 크고, 무작위로 샘플링된 스팬에 적응하면 심각한 노이즈가 발생한다. 긴 컨텍스트의 대부분 스팬은 특정 질문과 무관하기 때문에, 이러한 스팬으로 학습하면 기반 모델의 성능이 오히려 저하될 수 있다. 우리의 예비 연구에 따르면 TTT는 학습 스팬의 품질에 매우 민감하다: LongBench-v2에서 무작위로 샘플링된 스팬에 대한 TTT는 성능을 저하시키는 반면, 오라클 스팬에 대한 TTT는 성능을 크게 향상시킨다. 이에 동기를 얻어, 우리는 간단한 방법인 자기 유도 TTT(S-TTT)를 제안한다: 적응 전에 모델이 스스로 학습해야 할 증거 스팬을 식별하고, 표준 언어 모델링 학습 목표를 선택된 스팬에만 적용한다. LongBench-v2와 LongBench-Pro라는 두 가지 도전적인 긴 컨텍스트 추론 벤치마크에서 S-TTT는 Qwen3-4B-Thinking-2507과 Llama-3.1-8B-Instruct 모두의 정확도를 향상시켜 최대 15%의 상대적 개선을 달성한다.
대규모 언어 모델의 시퀀스 길이가 증가함에 따라 키-값(KV) 캐시에 상당한 어려움이 발생하고 있다. 기존의 최신 캐시 제거 방법들은 주로 검색-추론 성공 사례에서의 어텐션 헤드 추론 행동을 분석하며, 바이어스나 주의 분산과 같은 실패 사례의 다양한 행동은 간과하는 경우가 많다. 이러한 간과는 이질적인 헤드 행동을 활용하여 제거 성능을 향상시킬 수 있는 잠재력을 제한한다. 혼동 행렬에서 영감을 받아, 우리는 성공 및 실패 시나리오 모두에서 어텐션 헤드 행동을 포괄적으로 분석하기 위한 어텐션 행동 행렬(Attention Behavior Matrix)을 제안한다. 성공 사례에서는 유효한 추론 경로를 강화하고 실패 사례에서는 바이어스와 주의 분산으로 인한 노이즈를 억제함으로써 신호 대 잡음비를 최대화하는 방식으로, 우리는 다중 행동 분석을 활용하는 최초의 방법인 REAL(REtrieval-reAsoning and Logic-constructed) KV 캐시 제거 기법을 제안한다. 포괄적인 평가 결과, REAL은 다양한 모델과 벤치마크에서 뛰어난 성능을 달성했으며, 특히 LongBench v2에서 가장 강력한 기준선인 HeadKV-R2와 비교 가능한 정확도를 달성하면서도 32배 적은 공간만을 필요로 한다(Figure 1). 행동 분석에 대한 새로운 관점을 제공함으로써, 우리는 긴 컨텍스트 모델링에서 성공 사례만을 고려하는 방식에서 실패를 인식하는 포괄적인 방법으로의 전환을 위한 길을 열고 있다. 코드는 https://github.com/yonseicasl/REAL 에서 확인할 수 있다.