긴 프롬프트 추론은 prefill 어텐션이 시퀀스 길이에 대해 이차적으로 스케일링되기 때문에 여전히 비용이 큽니다. 우리는 Spectral-LSH를 제안합니다. 이는 프롬프트가 언어 모델에 들어가기 전에 동작하는 무학습 프롬프트 압축 방법입니다. Spectral-LSH는 Krylov 부분공간(subspace) 방법과 랜덤 특징(random features)을 함께 사용하여 암시적 어텐션-커널 연산자의 주요 성분을 근사하며, 명시적인 $O(N^2)$ 어텐션-커널 구체화(materialization)를 피합니다. 그다음 결과적인 어텐션 고유공간(eigenspace)에서 SimHash를 적용하여 유사한 토큰을 그룹화하고, 인과적(causal) 위치 할당으로 이를 거시 토큰(macro-tokens)으로 집약합니다. 우리는 C4에서 Mistral-7B-Instruct-v0.3, Qwen2.5-7B-Instruct, Qwen2.5-14B-Instruct를 평가합니다. 실험 결과 압축률(compression ratio)의 위상 전이(phase transition)가 나타납니다. $ρ= 4 \times$ 미만에서는 지역적 토큰 중복도가 충분히 낮아 경량 청킹(chunking)이 일반적으로 최상의 지연-품질(latency-quality) 트레이드오프를 제공합니다. $ρ= 8 \times$ 이상에서는 스펙트럴(spectral) 경로가 청킹이 잃는 품질을 보존합니다. $ρ= 16 \times$에서 Qwen2.5-7B(adaptive)는 PPL 비율을 353.409에서 196.963으로 낮추고, Qwen2.5-14B(adaptive)는 9.533에서 3.427로 낮춥니다. JSON 유사, 코드 유사, 표 유사 입력을 포함하는 소규모 장문맥 구조화 스트레스 테스트에서, 지역 LSH 또한 $8 \times$에서 청킹 대비 모든 지표를 개선합니다. 적응형(adaptive) 백엔드는 낮은 압축에서는 청킹 경로를, 높은 압축에서는 스펙트럴 클러스터링을 사용하여 두 영역을 모두 포착하지만, 총 지연 시간(total latency)에서는 청킹이 여전히 가장 빠른 백엔드입니다.
Rotary Position Embedding(RoPE)는 Transformer에서 위치 정보를 인코딩하기 위해 널리 채택되지만, 표준 구현은 모든 어텐션 헤드에 대해 균일한 주파수 스케줄과 스케일링을 강제한다. 단순화된 검색(retrieval) 과제와 길이 일반화(length generalization) 시나리오를 사용하여, 기능적 역할이 다른 헤드는 효과적으로 동작하기 위해 서로 다른 주파수 범위와 어텐션 스케일링 계수가 필요함을 실증적·이론적으로 모두 보인다. 이 구조를 무시하면 임베딩 차원이 최적으로 활용되지 않고 성능이 저하되며, 특히 긴 컨텍스트(long-context) 설정에서 두드러진다. 이러한 한계를 해결하기 위해, 각 어텐션 헤드에 학습 가능한 회전 주파수와 어텐션 스케일링 계수를 부여하는 AdaRoPE를 제안한다. AdaRoPE를 적용한 사전학습 LLM은 partial RoPE 및 NoPE 베이스라인을 포함한 기존 RoPE 변형보다 일관되게 우수한 성능을 보인다. 컨텍스트 확장(context extension)의 경우, YaRN과 같은 방법에서 사용되는 균일한 주파수 및 어텐션 스케일링이 차선임을 추가로 보인다. 헤드별 스케일링을 적용함으로써 AdaRoPE는 외삽(extrapolation) 설정과 긴 컨텍스트 지속 사전학습(long-context continued pretraining) 설정 모두에서 짧은 컨텍스트 성능을 더 잘 유지하면서 더 나은 컨텍스트 확장을 가능하게 한다. 이 결과는 개별 어텐션 헤드 수준에서 회전 위치 임베딩(rotary position embedding)을 최적화하는 것의 중요성을 강조한다.
효율적인 긴 컨텍스트 추론은 메모리 비용을 줄이는 것뿐만 아니라, 생성이 진행되는 동안 유용한 문맥적 증거를 접근 가능하게 유지하는 것에도 관련된다. 그러나 key-value(KV) 캐시 압축과 컨텍스트 압축과 같은 기존의 압축 지향 접근법들은, 종종 어떤 문맥 정보를 유지할지 초기에 결정하거나 외부 압축기에 의존한다. 이러한 설계는 압축된 컨텍스트를 이후 추론 단계에 필요한 증거에 맞게 조정하기 어렵게 만든다. 본 논문은 PReM(Preserve and Refresh Memory)을 제안한다. PReM은 긴 컨텍스트를 모델의 내부 층별 KV 메모리로 유지하고, 무엇을 보존하고 언제 갱신할지를 학습하는 컨텍스트 압축 프레임워크이다. 구체적으로 PReM은 전용 메모리 층을 사용해 메모리 선택을 결정하고, 생성 중 갱신을 트리거하는 특수 메모리 토큰 <m>을 사용한다. 이러한 동작을 학습하기 위해 PReM은 Phase-Separated Refresh Training을 도입하여, 갱신 간 연속성을 유지하면서 메모리 선택을 메모리 조건 생성과 정렬한다. 32K 토큰 컨텍스트에 대한 실험에서 PReM은 16배 및 32배 압축 모두에서 강력한 베이스라인을 능가하면서, 답변 품질과 추론 효율 사이의 유리한 균형을 유지한다.
추론의 컨텍스트 길이와 RL 사후 학습 사이에는 점점 커지는 격차가 있다. 추론 시스템은 백만 토큰 규모의 컨텍스트에 접근하고 있는 반면, 사후 학습 워크로드는 종종 256K 토큰 이하에 머물며 배포 시 길이 일반화(length generalization)에 의존한다. 이 격차는 관측, 도구 출력, 문서, 이전 결정이 긴 궤적에 걸쳐 누적되는 AI 에이전트에게 특히 중요하다. LongStraw은 고정 GPU 예산 하에서 백만 토큰 규모 RL 사후 학습을 위한 아키텍처 인식 실행 스택으로, Group Relative Policy Optimization(GRPO)으로 구체화된다. 이는 공유 프롬프트를 자동 미분 없이 평가하고, 이후 토큰에 필요한 모델별 상태만 보존하며, 짧은 응답 분기를 하나씩 재실행하여 추가 재실행 시간이라는 대가로 활성 학습 그래프를 줄인다. 하이브리드 순환형 및 full-attention Qwen3.6-27B와 compressed-attention 전문가 혼합(MoE) GLM-5.2에 이를 구현한다. 8개의 H20 GPU에서 LongStraw은 그룹 크기 2와 8에 대해 210만 위치에서 그룹화된 Qwen 스코어링 및 응답 역전파를 완료한다. 그룹 크기를 늘려도 피크 할당 메모리는 0.21GB만 증가하며, 별도의 스트레스 테스트에서는 446만 위치에 도달한다. 32개의 H20 GPU에서 GLM-5.2의 78개 레이어 전체에 걸쳐 210만 토큰 프롬프트에 대한 end-to-end LongStraw 실행 경로를 검증한다. 이 실험들은 캡처된 프롬프트 상태가 분리(detached)되어 있고 일부 분산 순전파 및 그래디언트 합성 경로가 아직 완성되지 않았기 때문에, 완전한 학습 정확성보다는 실행 용량을 입증한다.
Retrieval-augmented generation (RAG) for long-context question answering is bottlenecked by inference-time prefilling over large retrieved contexts. A common strategy is to precompute key-value (KV) caches for individual documents and selectively recompute a small subset of tokens to restore global causal dependencies, but existing methods rely on heuristics or representation discrepancies without modeling whether selected tokens can effectively influence generation. We cast selective KV recomputation as an information flow problem and show that a simple attention-norm signal from the query reliably identifies tokens that are both semantically relevant and structurally positioned to propagate information, when computed under an inference-consistent RoPE geometry. We therefore reconstruct global positional assignments for retrieved chunks and introduce an information-flow-guided chunk reordering strategy. Experiments on Large Language Model and Vision-Language Model benchmarks demonstrate consistent gains over prior methods under comparable latency.
어텐션 기반 KV 캐시 퇴출(H2O 및 그 후속 방법)은 누적 어텐션 질량—여기서는 신호 에너지로 간주—으로 토큰을 순위화하여 가장 큰 것만 유지함으로써, 장문 맥락 모델의 메모리 제약 상태를 압축한다. 중첩 JSON과 같은 스키마 밀집(schema-dense) 입력 스트림에서, 이 점수는 비정상(non-stationary) 필터로 작동하여 잡음을 불균형적으로 유지한다. 비콘텐츠 싱크 역할(구분자 또는 공백)은 어떤 콘텐츠 역할보다 한 자릿수(order of magnitude) 더 많은 에너지를 담고, 구조적 KEY 토큰은 답을 담는 VALUE 토큰 대비 대략 1.8배의 비율로 과다 유지되어, 유지된 상태의 신호 대 잡음비(signal-to-noise ratio)가 저하되면서 5% 예산에서 정확 일치(exact-match) 정확도가 88%에서 0%로 붕괴한다. 반사실(counterfactual) 실험은 KEY 토큰을 억제하는 것이 최상의 배포 가능한 필터임을 입증한다. SnapKV의 윈도우 점수에 대한 재학습 없는(retraining-free) 역할 조건부 할당은 단일 튜닝 하이퍼파라미터로 제어되며, 20% 미만 예산에서 H2O 격차의 63–98%를 메우고, 더 높은 예산에서는 전체 캐시 정확도와 비슷하거나 약간 능가한다. 이는 작고 시드에 민감한 노이즈 제거(denoising) 효과이다(B=0.50에서 경계선상 유의; 4개 시드에서 B=0.30일 때 0과 구별 불가). 15 MB 선형 역할 프로브(role probe)가 추론 비용을 거의 들이지 않고 이러한 레이블을 제공하지만, 파서 수준의 하류 정확도와의 일치는 여전히 미해결 과제로 남아 있다.
대규모 언어 모델(LLM)은 셀프 어텐션의 이차 복잡도로 인해 긴 컨텍스트를 처리할 때 상당한 계산적 어려움에 직면한다. 입력 텍스트를 더 작은 잠재 표현으로 매핑하는 소프트 컨텍스트 압축 방법이 가능성을 보여왔으나, 실제 환경에서의 채택은 제한적이다. 기존 기법들은 일반적으로 컨텍스트를 단일 단위로 압축하며, 이로 인해 이차 압축 복잡도가 발생하고 컨텍스트가 겹치는 쿼리 간 계산 재사용이 불가능하다. 본 연구에서는 실용적인 배포를 위해 설계된 소프트 압축 기법인 CompLLM을 소개한다. CompLLM은 컨텍스트를 전체적으로 처리하는 대신 이를 세그먼트로 분할하여 각각 독립적으로 압축한다. 이 단순한 설계 선택은 세 가지 핵심 속성을 제공한다: 압축 단계가 컨텍스트 길이에 선형적으로 확장되는 효율성, 짧은 시퀀스(예: 1k 토큰)로 학습된 모델이 100k 토큰의 컨텍스트로 일반화할 수 있는 확장성, 그리고 압축된 세그먼트를 캐싱하여 서로 다른 쿼리에 재사용할 수 있는 재사용성이다. 실험 결과, 2배 압축률에서 긴 컨텍스트 길이의 경우 CompLLM은 첫 번째 토큰 생성 시간(TTFT)을 최대 4배 단축하고 KV 캐시 크기를 50% 감소시킨다. 또한 CompLLM은 비압축 컨텍스트와 비교 가능한 성능을 달성하며, 매우 긴 시퀀스에서는 이를 능가하여 그 효과성과 실용적 유용성을 입증한다.
장황한 컨텍스트 문제(verbose context problem)는 구조화된 개념이 토큰 비효율적인 텍스트 표현을 가질 때 발생한다. 이 병목 현상은 인구 보건(population health) 분야에서 특히 심각한데, 종단 환자 기록(longitudinal patient records)의 코호트 수준 분석은 수천 개의 의학적으로 코딩된 이벤트에 대한 추론을 필요로 하며, 총 토큰 수가 40만 개를 초과하는 경우가 많다. 우리는 종단 환자 기록 그룹에 대한 계산 태스크를 통해 이 문제를 분리하는 벤치마크인 PopMedQA를 제시한다. 이 벤치마크는 인공 환자 기록의 언어 제어 생성을 위한 새로운 라이브러리인 neopatient를 사용하여 구축하였다. 프롬프팅 전략, 프롬프트 압축, 에이전트 분해(agentic decomposition)를 포함한 광범위한 에블레이션을 통해, 도메인 독립적 방법은 장황한 컨텍스트 문제를 완화하는 데 실패함을 발견하였다. 인구 규모 추론(population-scale reasoning)을 위해 언어 모델 입력에서 도메인 특화 구조를 활용할 수 있는 상당한 기회가 여전히 남아 있다.
아키텍처 변경 없이 gist 토큰을 컨텍스트 청크 사이에 삽입하는 연속 사전학습을 통해, 추론 시 쿼리와 소수의 gist 토큰 간 어텐션 점수로 관련 청크를 선택적으로 전개하는 Simplified Sparse Attention(SSA)을 제안한다. LongBench에서 동일 압축 비율의 기존 sparse 어텐션 기법을 일관되게 능가하고, 검색-증강 생성(RAG)에서 전체 어텐션 대비 5.7점 이상 향상을 달성하며, 계층적 변형 H-SSA는 최대 32배 압축에서도 log-linear 디코딩 복잡도를 유지한다.
긴 컨텍스트에서 발생하는 위치 바이어스(position bias)를 단일 패스로 보정하기 위해 저어텐션 문서군에서 추정한 바이어스 곡선으로 어텐션 점수를 교정하는 Debiased One-Pass Attention Sorting을 제안하였으나, LLaMA-2-7B-32K-Instruct에서는 보정 전 단일 패스와 동일한 성능을, YaRN-Llama-2-7b-64k에서는 반복 정렬(k=5) 대비 격차의 37%만을 좁히는 데 그쳐 위치 바이어스 보정만으로는 반복적 재정렬을 대체하기에 불충분함을 실험적으로 확인하였다.
RoPE 기반 LLM의 'lost-in-the-middle' 문제를 해결하기 위해, 각 레이어에 서로 다른 스케일링 계수를 할당하는 층별 위치 임베딩 스케일링(LPES) 방법을 제안하며, Bézier 곡선으로 탐색 공간을 줄인 유전 알고리즘으로 최적 계수를 도출한다. 파라미터 파인튜닝이나 추론 지연 없이 균형 잡힌 어텐션 분포를 달성하며, 키-값 검색 데이터셋에서 최대 11.2% 정확도 향상을 기록했다.
다중모달 대규모 언어 모델(MLLM)의 놀라운 능력에도 불구하고, 긴 컨텍스트 시나리오에서 여전히 시각적 페이딩(visual fading) 문제를 겪는다. 구체적으로, 텍스트 시퀀스가 길어질수록 시각 토큰에 대한 어텐션이 약해져 시각적 제약에서 벗어난 텍스트 생성이 발생한다. 우리는 이러한 성능 저하의 원인을 다중모달 RoPE의 고유한 귀납적 바이어스에 두는데, 이는 시각 토큰과 텍스트 토큰 사이의 거리가 증가할수록 모달 간 어텐션에 페널티를 부과한다. 이를 해결하기 위해, 모달리티 상호작용에 기반하여 위치 인코딩을 분리하는 단순하지만 효과적인 메커니즘인 모달 간 거리 불변 위치 인코딩(DIPE)을 제안한다. DIPE는 모달 내 상호작용에 대해 자연스러운 상대적 위치 관계를 유지하여 지역 구조를 보존하면서, 모달 간 상호작용에 대해서는 고정된 지각적 근접성을 강제한다. 이 전략은 모달 간 거리 기반 페널티를 효과적으로 완화하여, 컨텍스트 길이와 관계없이 시각 신호가 지각적으로 일관되게 유지되도록 한다. 실험 결과, DIPE를 다중모달 RoPE와 통합하면 모델이 긴 컨텍스트 시나리오에서 안정적인 시각적 그라운딩(visual grounding)을 유지하며, 시각적 페이딩을 크게 완화하면서 표준 단기 컨텍스트 벤치마크에서의 성능은 보존함을 보여준다. 코드는 https://github.com/lchen1019/DIPE 에서 제공된다.
델타 규칙 선형 어텐션은 현재 쓰기 주소에만 능동 수정이 묶여 다른 주소의 오래된 메모리를 선제적으로 지우기 어렵다는 한계가 있으며, 지우기와 쓰기 주소를 분리하는 Erase-then-Delta Attention(EDA)은 학습된 지우기 방향으로 표적 삭제 후 기존 델타식 교정 쓰기를 수행한다. dense 2.5B·MoE 25B-A2.8B 사전학습과 800억 토큰 장문맥 중간학습 뒤 4k–128k 평가에서 EDA가 최고 성능을 보였고, 수동적 감쇠가 약할 때 추가 정리 경로를 쓰는 것으로 분석된다.
긴 문맥에서 softmax 어텐션의 확률 질량 희석과 슬라이딩 윈도우-전역 어텐션 간 트레이드오프를 ATMA가 Polar Attention의 방향·크기 2채널 분해와 게이트-델타(gated-delta) 압축 recurrent memory를 결합한 convolution-attention 하이브리드로 해소한다. 학습 길이 2K의 32배인 64K 토큰까지 induction needle-in-a-haystack 검색 정확도 90% 이상을 유지하면서 문서 perplexity가 단조 개선되어 softmax 메모리 기준선을 능가한다.
학습 없이 적용 가능한 희소 어텐션(sparse attention) 6가지 방법을 여러 모델·최대 128K 토큰·최대 0.95 희소도에서 대규모로 평가하고, 4개 설계 축으로 분류한 결과 동일 비용에서 더 큰 희소 모델이 작은 dense 모델을 능가하며, prefilling과 decoding 단계별로 최적 선택이 달라지고 긴 시퀀스일수록 더 높은 희소도를 견딜 수 있음을 보였다.
문서 기반 생성 AI에서 검색-증강 생성(RAG)과 장문 맥락 프롬프팅을 정확도-비용 프론티어 상의 두 가지 에피스템적 접근으로 비교하고, 제조업 안전 교육 벤치마크에서 장문 맥락이 시맨틱 RAG(73.1% 대 65.4%)보다 정확하지만 쿼리당 토큰 비용이 26배 높은 토큰 세금을 보인다. 자원이 제한된 조직은 더 넓은 증거 접근으로 얻는 에피스템적 정확도 향상과 반복 비용 사이의 트레이드오프를 고려해야 한다.
사전학습된 LLM에서 장문맥이 표준이 되었지만 실행 비용은 여전히 높다. prefill 연산은 시퀀스 길이에 대해 이차적으로 증가하고, 디코드의 각 단계마다 시퀀스 길이에 선형적으로 증가하는 key-value 캐시를 다시 읽어야 한다. 희소 어텐션(sparse attention)은 과거 토큰의 관련 부분집합에만 어텐션함으로써 이러한 비용을 줄이지만, 그 부분집합을 선택하는 것 자체가 비용이 많이 든다. 우리는 SpotAttention을 제안한다. 이는 고정된(frozen) 사전학습 트랜스포머에 부착되는 경량 선택기(selector)로, KL 증류(KL distillation)를 통해 학습하여 트랜스포머의 어텐션 분포를 추정한다. 선택기는 각 쿼리가 어텐션하는 상위 K개의 키를 선택하며, 추정치가 보정된(calibrated) 분포이기 때문에 이중 top-p 규칙이 쿼리별·층별 예산을 여기서 직접 읽어낸다. Qwen3(밀집형, 4B–32B)와 Qwen3.5(하이브리드 선형/전체 어텐션, 4B–9B) 전반에 걸쳐 SpotAttention은 최대 128K 토큰의 문맥에서, 학습 길이의 8배에 해당하는 범위에서 밀집(dense) 정확도와 일치한다. L=128K에서의 디코드는 FlashAttention보다 3.9배, 학습 없이 가능한 최강 기준선인 Twilight보다 1.8배 빠르게 실행된다. 선택기의 K-캐시를 INT4 또는 FP4 microscale로 양자화하면 정확도 손실 없이 3.5배 축소된다.
검색 헤드(retrieval head)는 이전 컨텍스트의 정보를 현재 위치로 복사하는 어텐션 헤드로, 장문 컨텍스트 재현율의 메커니즘적 기반으로 제안되어 왔다. 회전 위치 임베딩(RoPE)은 기저 하이퍼파라미터 theta에 따라 감쇠하는 주파수로 쿼리와 키를 회전시키며, 이 회전이 검색 헤드의 형성을 방지하거나 그 기능을 저하시킨다는 가설이 자연스럽게 제기되어 왔다. 우리는 멀티헤드 및 그룹 쿼리 어텐션을 아우르며 theta 범위가 100배에 달하는 네 가지 오픈 가중치 7-8B 모델에 대해, 페어드 시드 건초더미 바늘 찾기 테스트(needle-in-a-haystack test), 층 클러스터 순열, 인과적 헤드 마스킹을 활용하여 두 가설 모두를 검증한다. (i) 검색 헤드는 인과적으로 필수적이다: OLMo-2에서 탐지된 87개 헤드를 마스킹하면 재현율이 1.00에서 0.00으로 붕괴되는 반면, 대응하는 무작위 헤드를 마스킹해도 아무런 영향이 없으며, 이는 Qwen에서도 재현된다. (ii) theta 값이 높을수록 검색 헤드 수가 감소하지 않으며(theta=500K인 LLaMA-3.1은 47개, theta=10K인 LLaMA-2는 42개), 이는 억제 가설을 반박한다. (iii) 노름-활용도(norm-utility) 관계는 모델 패밀리에 따라 다르며 반대 방향으로 유의미하다(Qwen d=-0.49, OLMo d=+0.50, 모두 유의미; LLaMA는 유의미하지 않음); OLMo와 LLaMA-3.1이 theta=500K를 공유하면서도 차이를 보이므로, 이 효과는 theta에 의해 유발되지 않는다. (iv) Chiang and Yogatama (2025)를 기반으로, 통제된 패치 실험을 통해 검색 헤드의 최저 주파수 RoPE 차원을 0으로 설정하면 재현율이 용량 의존적으로 저하됨을 보인다(128개 차원 중 32개를 0으로 설정 시 1.00에서 0.18로 감소; 무작위 차원의 경우 0.98 유지); 이 효과는 헤드별, 과제별로 특이적이다. 인과 변수는 노름-활용도가 아닌 RoPE 주파수이다. 이 방향성은 네 가지 계보와 두 가지 규모에 걸쳐 패치된 다섯 개 모델 전체(OLMo-2, Qwen2.5-7B/14B, Gemma-2, Mistral)에서 유지된다. 모델 간 효과 크기에 대한 주장은 하지 않는다. 코드와 페어드 시드 하네스가 공개되었다.
어텐션의 이차 복잡도는 긴 컨텍스트 처리에 중요한 병목 현상을 야기하며, 이는 하이브리드 어텐션 설계에 대한 관심을 불러일으켰습니다. 대부분의 오픈 소스 하이브리드 모델은 층별(layer-wise) 전략을 채택합니다. 그러나 선행 연구는 선형 어텐션(LA)과 완전 어텐션(FA)을 통합하는 데 내재된 어려움을 지적했으며, 이는 어텐션 하이브리드화의 설계 공간이 아직 탐구되지 않았음을 시사합니다. 이 공간을 탐구하기 위해 우리는 해석 가능성 분석을 수행했으며, 층들은 블록별 기능적 유사성을 보이는 반면, 동일한 층 내의 개별 헤드는 입력 특징을 공유함에도 불구하고 뚜렷한 기능적 전문화를 나타냄을 관찰했습니다. 이러한 헤드 수준 이질성은 헤드 차원이 이질적인 어텐션 신호를 융합하기 위한 자연스럽고 원칙적인 세분성을 제공함을 시사합니다. 이러한 통찰을 바탕으로, 우리는 헤드 축을 따라 FA와 LA를 혼합하는 새로운 아키텍처인 HydraHead를 소개합니다. HydraHead는 두 가지 주요 혁신을 특징으로 합니다: (1) 검색에 중요한(retrieval-critical) 헤드를 식별하고 이들에 대해서만 FA를 유지하는 해석 가능성 기반 선택 전략, 그리고 (2) FA와 LA 헤드 출력 사이의 분포 차이를 조정하는 스케일 정규화 융합 모듈입니다. 매개변수 재사용과 지식 증류를 포함하는 3단계 전이 파이프라인을 활용하여, 우리는 최소한의 학습 오버헤드로 고성능 하이브리드 모델을 달성했습니다. 통일된 학습 설정 하에서, HydraHead는 강력한 일반적 추론 능력을 유지하면서 긴 컨텍스트 작업에서 다른 하이브리드 설계를 능가합니다. 해석 가능성 기반 헤드 선택을 통해, 7:1의 LA 대 FA 비율로 3:1 층별 하이브리드의 긴 컨텍스트 성능과 대등합니다. 결정적으로, 단 150억 토큰으로만 학습된 HydraHead는 512K 컨텍스트 길이에서 기준선(baseline) 대비 69% 이상의 향상을 달성했으며, 기본 컨텍스트 길이가 256K인 유사한 규모의 선도적인 모델인 Qwen3.5에 근접하는 성능을 보입니다. 이는 헤드 수준 하이브리드화의 상당한 스케일링 잠재력을 강조합니다.
Grouped Query Attention(GQA) 기반의 MiniMax Sparse Attention(MSA)는 인덱스 분기와 메인 분기를 활용한 블록 단위 희소 어텐션으로 대규모 언어 모델(LLM)의 초장문맥 처리 비용 문제를 해결한다. 109B 파라미터 모델에서 GQA 대비 성능 저하 없이 1M 컨텍스트 기준 토큰당 연산량을 28.4배 줄이고 추론 속도를 최대 14.2배 향상시켰다.