잊는 것을 기억하라: 게이트 기반 적응형 위치 인코딩
Remember to Forget: Gated Adaptive Positional Encoding
한국어 초록
회전 위치 인코딩(RoPE)은 현대 대규모 언어 모델(LLM)에서 널리 사용되고 있습니다. 그러나 시퀀스가 학습(training) 중에 보았던 범위를 넘어 확장될 때, 회전 위상이 분포 외(out-of-distribution) 영역으로 진입하여 잘못된 장거리 정렬, 확산된 어텐션(attention), 검색 성능 저하를 초래할 수 있습니다. 기존의 해결책들은 종종 장문맥 안정성을 위해 국소적인 위치 해상도를 희생시키기 때문에 이러한 문제를 부분적으로만 해결합니다. 본 논문에서는 회전 기하학적 구조를 보존하면서 어텐션 로짓에 직접 콘텐츠 인식 바이어스(bias)를 도입하는 위치 인코딩용 드롭인 증강 기법인 GAPE(Gated Adaptive Positional Encoding)를 제안합니다. GAPE는 무관한 문맥을 축소하는 쿼리 의존적 게이트와 중요한 원거리 토큰(token)을 보존하는 키 의존적 게이트를 통해 거리 기반 억제를 토큰 중요도와 분리합니다. 약하게 보호된 원거리 문맥은 쿼리 게이트의 함수에 따라 지수적으로 감쇠되는 반면, 선택된 키는 랜드마크 보호를 통해 접근 가능한 상태를 유지할 수 있음을 보입니다. 또한 GAPE가 표준 점곱 어텐션(scaled dot-product attention) 내에서 구현될 수 있음을 보여줍니다. 실증적으로 GAPE는 통제된 검색 및 언어 모델링 실험 전반에서 장문맥 강건성을 향상시키며, 학습 길이의 최대 8배까지 외삽합니다. 나아가 사전학습된 7B 모델에 GAPE를 사후 적용하여 표준 벤치마크 성능을 유지하면서 평가된 최장 문맥에서의 성능을 향상시켰습니다. 이러한 결과는 장문맥 일반화를 위한 위치 표현의 보완책으로서 적응형 문맥 억제의 유용성을 뒷받침합니다.
원문 초록
Rotary Positional Encoding (RoPE) is widely used in modern large language models. However, when sequences are extended beyond the range seen during training, rotary phases can enter out-of-distribution regimes, leading to spurious long-range alignments, diffuse attention, and degraded retrieval. Existing remedies only partially address these failures, as they often trade local positional resolution for long-context stability. We propose GAPE (Gated Adaptive Positional Encoding), a drop-in augmentation for positional encodings that introduces a content-aware bias directly into the attention logits while preserving the rotary geometry. GAPE decouples distance-based suppression from token importance through a query-dependent gate that contracts irrelevant context and a key-dependent gate that preserves salient distant tokens. We show that weakly protected distant context is exponentially attenuated as a function of the query gate, while selected keys can remain accessible through landmark protection. We further show that GAPE can be implemented within standard scaled dot-product attention. Empirically, GAPE improves long-context robustness across controlled retrieval and language-modeling experiments, extrapolating up to 8x the training length. We further retrofit GAPE into a pretrained 7B model, maintaining performance on standard benchmarks and improving performance at the longest evaluated context. These results support adaptive context suppression as a complement to positional representation for long-context generalization.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
역사는 반복된다: 선형 어텐션에서 롱컨텍스트 능력 발현하기
History Replays Itself: Unleashing Long-Context Capability in Linear Attention
선형 어텐션(linear attention)은 롱컨텍스트(long-context) 언어 모델링에 필요한 효율성을 제공하지만, 크기가 고정된 순환 상태(recurrent state)가 지속적인 연산을 지원하는 동시에 계속 증가하는 과거 정보를 보존해야만 합니다. 이러한 결합은 상태의 메모리 용량이 모델의 롱컨텍스트 능력을 규정한다는 지배적인 관점을 강화해 왔습니다. 본 연구에서는 순환 연산이 장기 저장의 모든 부담을 짊어질 필요가 없다는 점을 들어 이러한 한계성에 의문을 제기합니다. 우리는 미래의 쿼리를 알 수 없는 상태에서 선별된 텍스트를 보관하고, 백본의 고유 특징을 활용하여 기록 및 주소 지정을 수행하며, 리플레이(replay)를 통해 고유의 순전파 연산으로 검색된 근거를 읽어오는 희소 에피소딕 메모리인 NoteBank를 소개합니다. 이 학습 불필요(training-free) 플러그 앤 플레이(plug-and-play) 인터페이스는 외부 임베딩 모델이나 별도로 학습된 검색기, 독립된 신경망 리더(neural reader)를 필요로 하지 않습니다. 100만 토큰 환경에서, 이는 Gated DeltaNet의 6개 RULER 검색 태스크 평균 정확도를 1.7%에서 70.3%로 향상시켰으며, 4K에서 1M 토큰까지 유의미한 검색 성능 저하가 관찰되지 않았습니다. 이러한 성능 회복 과정에서 추가되는 이론적 FLOPs는 0.025% 이하($\leqslant$0.025%)에 불과하며, 영구 컨텍스트 저장 공간은 동일한 너비, 깊이 및 정밀도 조건의 트랜스포머 전체 MHA KV 캐시 대비 약 1/2,600 수준입니다. 실험은 세 가지 1.3B 순환 백본부터 Mamba-2-8B 및 사후학습(post-training)을 거친 Qwen3.5-9B까지 확장되어 LongBench v1/v2와 MemoryAgentBench 전반에서 성능 향상을 입증했습니다. 종합적으로 이러한 결과는 희소 근거 저장과 고유 리플레이 메커니즘이 순환 연산의 효율성을 유지하면서도 사전학습된 선형 어텐션 모델의 롱컨텍스트 역량을 크게 확장할 수 있음을 보여줍니다.
Orthros: 효율적인 트랜스포머를 위한 단계 인식 이종 어텐션
Orthros: Phase-Aware Heterogeneous Attention for Efficient Transformers
선형 어텐션(linear attention)과 슬라이딩 윈도우 어텐션(sliding window attention) 같은 효율적인 어텐션 메커니즘은 트랜스포머의 계산 복잡도를 제곱(quadratic)에서 선형(linear)으로 줄이는 것을 목표로 한다. 그러나 이러한 메커니즘은 문맥 내 재현율(in-context recall)이 저하되는 경우가 많아 전체 어텐션(full attention) 레이어를 교차 배치해야 하는 경우가 많으며, 이로 인해 긴 문맥(long-context) 처리에서 제곱 복잡도 병목이 여전히 해결되지 않은 채로 남아 있다. 이를 해결하기 위해, 우리는 효율성 패러다임을 구조적 할당(structural allocation)에서 단계 인식 분리(phase-aware decoupling)로 전환하는 Orthros 어텐션을 제안한다. Orthros는 통합된 모듈로서 시퀀스 처리의 서로 다른 단계(phase)에 걸쳐 계산 패턴을 동적으로 전환하여, 프리필링(prefilling)에서는 선형 복잡도를, 디코딩(decoding)에서는 전체 어텐션을 가능하게 한다. 이러한 설계는 무거운 프리필링과 가벼운 디코딩으로 특징지어지는 일반적인 긴 문맥 시나리오에서 Orthros 어텐션이 기본 트랜스포머(vanilla Transformer)보다 더 낮은 점근적 복잡도(asymptotic complexity)를 갖도록 한다. 이론적 정식화와 복잡도 분석을 넘어, 광범위한 실증적 평가를 통해 Orthros가 여러 측면에서 우수함을 입증한다. 첫째, 우리는 Orthros의 기본적인 언어 모델링 능력을 검증하여 다양한 모델 크기에 걸친 확장성(scalability)과 종합적인 아키텍처 비교에서의 강력한 경쟁력을 보여준다. 둘째, Orthros는 데이터 효율적인 트랜스포머-투-Orthros 변환(Transformer-to-Orthros conversion)을 통해 뛰어난 변환 가능성(conversion feasibility)을 보여주며, 원본 트랜스포머를 능가하는 성능을 달성한다. 마지막으로, Orthros는 트랜스포머 대비 21.9배의 프리필링 속도 향상(prefilling speedup)을 달성하며 종단 간(end-to-end) 추론 성능 향상을 보이는 동시에, 거의 완벽한 128K 니들 인 어 헤이스택(needle-in-a-haystack) 결과와 실제 문맥 내 재현율 과제에서 트랜스포머 수준의 성능을 통해 긴 문맥 처리 능력을 유지한다. 전반적으로, 이러한 높은 성능, 유연성, 효율성의 장점들은 Orthros를 산업 응용 분야에서 트랜스포머를 계승할 유망한 후보로 자리매김하게 한다.
ReToken: 시각 검색 토큰을 활용한 긴 문맥 VLM 성능 향상
ReToken: Improving Long-Context VLMs with Visual Retrieval Token
긴 시각적 문맥(long visual context)은 비전-언어 모델(VLM)에 큰 도전 과제가 됩니다. 방해 요소(distractor)의 수가 증가함에 따라 성능이 저하되고, 모든 토큰을 한 번에 처리하면 GPU 메모리 한계를 초과할 수 있기 때문입니다. 본 논문에서는 사전 채워진(pre-filled) KV 캐시에서 질의 관련 시각 토큰을 선택하기 위해 VLM의 내부 표현에서 검색 신호를 추출하는 단일 학습 가능 임베딩인 RETOKEN을 제시합니다. 이를 통해 별도의 검색기(retriever)나 재인코딩 없이도 답변을 생성하는 VLM 내부에서 검색이 가능해집니다. 소규모 이미지-QA 데이터셋만을 기반으로 학습되었음에도 불구하고, RETOKEN은 이미지 및 비디오 벤치마크 전반에 걸쳐 뛰어난 일반화 성능을 보입니다. Visual Haystacks에서 Qwen3VL-8B의 성능을 13.4점, InternVL3.5의 성능을 12.4점(상대적 20% 이상) 향상시켰습니다. LVBench에서는 긴 비디오에 제로샷(zero-shot)으로 전이되어 Qwen3VL-8B의 성능을 8.0점 향상시켰습니다. 경량화된 설계 덕분에 학습과 긴 비디오 추론이 모두 단일 H100에서 수행 가능합니다. 코드는 https://github.com/avaxiao/ReToken 에서 이용할 수 있습니다.
SF-AMS: LLM 에이전트의 구조화된 메모리를 위한 전략적 망각
SF-AMS: Strategic Forgetting for Structured Memory in LLM Agent
장기 컨텍스트 의존성 관리는 LLM 에이전트의 주요 병목으로 남아 있으며, 중복되고 무관한 정보는 다단계 추론을 저하시킬 수 있다. 에이전트 메모리 시스템을 위한 전�ategic Forgetting for Agent Memory Systems, SF-AMS)은 메모리 단위의 장기적 중요도를 모델링하여 간결하고 고유용성(high-utility) 메모리를 유지하는 프레임워크로 제안된다. SF-AMS는 정적 검색과 휴리스틱 감쇠를 사용 빈도 중복성과 시간적 신호로부터 메모리 중요도를 갱신하는 유틸리티 기반 생존 메커니즘으로 대체하며, 이를 통해 안정적이고 엔티티 일관성(entity-consistent) 정보를 우선시하고 노이즈를 걸러내는 계층적 메모리 구조를 형성한다. 이를 바탕으로 복합 중요도 점수(Composite Importance Scoring)는 의미적 및 엔티티 수준 신호를 통합하여 검색의 견고성(robustness)을 향상시킨다. LoCoMo 및 LongMemEval-s에서의 실험은 LightMem, MemO, A-Mem을 포함한 강력한 최신(state-of-the-art) 기준선 대비 일관된 성능 향상을 보여준다. 가장 큰 개선은 Qwen2.5-7B에서의 다중 홉(multi-hop) 추론에서 나타나며, SF-AMS는 가장 강한 기준선 대비 F1 +9.65를 달성한다. 이어 GPT-4o-mini에서의 시간적 추론(temporal reasoning) +6.91 F1, 개방형(open-domain) 태스크 +6.53 F1이 뒤를 이으며, 강력한 백본(backbone) 간 일반화를 보여준다. 이러한 결과는 메모리 중요도를 동적 유틸리티 신호로 모델링하는 것이 신뢰할 수 있는 장기 컨텍스트 추론에 핵심적임을 보여준다.
Deconfounded and Explainable Interactive Vision-Language Retrieval of Complex Scenes
Zero-Shot Learning Based Approach For Medieval Word Recognition Using Deep-Learned Features
토론
이 논문과 연결된 포럼 글이 아직 없습니다.