회전 위치 인코딩(RoPE)은 현대 대규모 언어 모델(LLM)에서 널리 사용되고 있습니다. 그러나 시퀀스가 학습(training) 중에 보았던 범위를 넘어 확장될 때, 회전 위상이 분포 외(out-of-distribution) 영역으로 진입하여 잘못된 장거리 정렬, 확산된 어텐션(attention), 검색 성능 저하를 초래할 수 있습니다. 기존의 해결책들은 종종 장문맥 안정성을 위해 국소적인 위치 해상도를 희생시키기 때문에 이러한 문제를 부분적으로만 해결합니다. 본 논문에서는 회전 기하학적 구조를 보존하면서 어텐션 로짓에 직접 콘텐츠 인식 바이어스(bias)를 도입하는 위치 인코딩용 드롭인 증강 기법인 GAPE(Gated Adaptive Positional Encoding)를 제안합니다. GAPE는 무관한 문맥을 축소하는 쿼리 의존적 게이트와 중요한 원거리 토큰(token)을 보존하는 키 의존적 게이트를 통해 거리 기반 억제를 토큰 중요도와 분리합니다. 약하게 보호된 원거리 문맥은 쿼리 게이트의 함수에 따라 지수적으로 감쇠되는 반면, 선택된 키는 랜드마크 보호를 통해 접근 가능한 상태를 유지할 수 있음을 보입니다. 또한 GAPE가 표준 점곱 어텐션(scaled dot-product attention) 내에서 구현될 수 있음을 보여줍니다. 실증적으로 GAPE는 통제된 검색 및 언어 모델링 실험 전반에서 장문맥 강건성을 향상시키며, 학습 길이의 최대 8배까지 외삽합니다. 나아가 사전학습된 7B 모델에 GAPE를 사후 적용하여 표준 벤치마크 성능을 유지하면서 평가된 최장 문맥에서의 성능을 향상시켰습니다. 이러한 결과는 장문맥 일반화를 위한 위치 표현의 보완책으로서 적응형 문맥 억제의 유용성을 뒷받침합니다.
다음 질문을 알기 전에 키-값(KV) 캐시를 압축하려면 어떤 근거가 중요해질지 모르는 상태에서 무엇을 유지할지 결정해야 합니다. 값 에너지(value energy)는 항목의 강도를 측정하지만 고립된 키와 유사한 이웃이 많은 키를 구분하지 못합니다. 본 연구에서는 비국소 post-RoPE 키 빈도로 값 에너지를 할인하는 무학습(training-free) 방식인 TwinKV를 소개합니다. 접두 문맥(prefix) 어텐션으로 헤드 용량을 할당하는 동시에, 유지된 항목은 정확한 저장 예산 내에서 원래 키와 값을 보존합니다. 네 가지 언어 모델(model)에 걸쳐 TwinKV는 50% KV 제거 시 LongBench, LooGLE, RULER에서 평가된 다섯 가지 압축 베이스라인의 평균 점수를 상회합니다. 구성 요소 통제 실험을 통해 빈도의 기여도를 분리 분석했습니다. 75% 제거 조건의 Llama-3.2-1B RULER에서 정규화된 빈도 가중치는 평균 0.95에 불과하지만, 비보호 유지 위치의 7%를 변경하고 균일 용량 및 적응형 용량 모두에서 값 전용 유지 대비 성능을 약 5.5점 향상시킵니다. 헤드 내에서 가중치를 무작위 치환(permuting)하면 이러한 이득이 약화됩니다. 이 결과는 완만한 빈도 보정만으로도 유지 및 답변 결과가 달라질 수 있으며, 그 효과는 모델과 작업에 따라 달라짐을 보여줍니다.
뛰어난 시각적 품질에도 불구하고, 최신 비디오 확산 모델은 종종 실세계 물리 법칙을 위반하는 콘텐츠를 생성한다. 기존 해결책은 외부 사전(prior)이나 특화 데이터에 의존하는 반면, 우리는 이러한 모델의 내부 메커니즘을 탐구하여 근본 원인을 조사한다. 구체적으로, text-to-video 확산 모델의 ''motion planning'' 과정에 대한 최초의 해석 가능성(interpretability) 연구를 제시하며, 초기 디노이징(denoising) 단계에서 움직임 궤적(motion trajectory)이 어떻게 형성되는지 밝힌다. ''first shape, then details'' 발견을 바탕으로, cross-attention 궤적 패턴과 인과적 헤드(causal head) 기여를 결합하여 motion planning을 주도하는 어텐션 헤드의 특정 부분집합을 식별한다. 또한 self-attention 분석은 Rotary Position Embedding(RoPE)이 과도한 공간 어텐션 감쇠(attention decay)를 유발함을 보여준다. 이로 인해 초기 후보 영역이 물리적으로 불가능한 위치에 조기 고정되어, 인접 프레임의 합리적인 궤적을 억압하고 생성 실패 모드를 유발한다. 이 근본적 결함을 해결하기 위해, 서로 다른 디노이징 단계에서 RoPE의 주파수를 조절(scale)하는 경량 아키텍처 수정을 제안한다. 이 전략은 과도한 어텐션 감쇠를 줄여, 모델이 일관된 물리적 움직임을 확립하기 위해 더 나은 후보 영역을 탐색하도록 돕는다. 마지막으로, 학습 없는(training-free) 및 학습 기반(training-based) 실험이 생성된 비디오의 물리 상식(physical commonsense) 향상에서 우리 접근법의 효과를 확인한다.
Möbius RoPE는 반주기 주파수 사다리 $θ_i=π(2i+1)/N$ 위에 구축된 회전 위치 인코딩(RoPE)이다. 각 회전 평면은 학습 컨텍스트 전체에서 $π$의 홀수 배만큼 진행하므로, 위치 홀로노미(holonomy)는 $-1$이 되고 시퀀스의 양 끝은 폐형식 Dirichlet "dipole"을 통해 결정적으로 결합된다. 우리가 아는 한 이는 위치 인코딩에서 최초의 반주기 경계 조건이다. 우리는 이론을 수치적으로 $\sim 10^{-6}$까지 검증하고, 6개의 160M급 및 3개의 410M급 실험 분기에 걸쳐 48개 모델을 사전학습했다(각각 2B FineWeb-Edu 토큰; 하이브리드 분기는 헤드의 25%에 Möbius 주파수를 배치한다). 하이브리드 perplexity는 변하지 않았으나(29.66 대 29.72), 건초 더미 속 바늘(needle-in-a-haystack) 검색이 신뢰 가능해진다. 컨텍스트 512에서 $90.3\pm5.7\%$ 대 $63.3\pm31.4\%$($n=6$ 시드), 관측된 최악 시드 86% 대 14%, 강건 분산 검정 $p=0.013$-$0.029$(보정 없음), 410M에서도 재현된다(Levene $p=0.040$). 대응 통제 실험이 메커니즘을 분리한다. 동일 주파수 대역의 비주기(aperiodic) 사다리는 효과를 전혀 재현하지 않으며, 주기(holonomy $+1$) 사다리는 일부만 재현한다. 학습된 모델의 주파수 테이블을 표준 RoPE로 되돌리면(가중치 고정) 검색이 붕괴하며, 손상은 먼 바늘에 집중된다. 학습된 모델은 이 장거리 기하학에 의존한다. NoPE 분기는 짧은 컨텍스트에서 더욱 신뢰 가능하지만 13% perplexity 비용을 지불하며 외삽(extrapolation)이 최악이다. 반주기 하이브리드만이 기준선 perplexity와 높은 신뢰성 하한(floor)을 함께 달성한다. 이 효과는 학습 윈도우 내 단일 바늘 검색으로 범위가 한정된다. 따라서 한 줄 주파수 교체만으로 검색 시드 복권(seed lottery)에 대한 무(無)비용 보험을 제공한다.
대규모 언어 모델(LLM)의 컨텍스트 윈도우 확장은 일반적으로 위치 인코딩(positional encoding)을 스케일링한 뒤 경량 연속 사전학습(CPT, Continual Pre-Training)을 수행하는 방식으로 이루어진다. 긴 시퀀스 처리에는 효과적이지만, 이 패러다임은 종종 원래 모델의 능력을 훼손하여 표준 단문 벤치마크에서 성능 저하를 초래한다. 우리는 LinearARD를 제안한다. 이는 동결된 기본 RoPE(native-RoPE) 교사와의 어텐션 구조 일관성을 통해 RoPE 스케일링된 학생(student) 모델을 복원하는 자기 증류(self-distillation) 방법이다. 불투명한 은닉 상태(hidden state)를 맞추는 대신, LinearARD는 밀집 $Q/Q$, $K/K$, $V/V$ 자기 관계(self-relation) 행렬의 행별(row-wise) 분포를 정렬하여 어텐션 역학을 직접 감독한다. $n \times n$ 관계 맵(relation map)의 이차 메모리 병목을 극복하기 위해, 우리는 선형 메모리 커널을 도입한다. 이 커널은 토큰별 log-sum-exp 통계를 활용하고, 역전파(backward pass)에 로짓 재계산을 융합하여 정확한 Kullback-Leibler(KL) 발산과 그래디언트를 계산한다. 4K에서 32K로 확장한 LLaMA2-7B에서 LinearARD는 최첨단 기준선(baseline)의 단문 성능의 98.3%를 회복하면서 장문 컨텍스트 벤치마크에서는 이를 능가한다. 특히, 우리 방법은 LongReD와 CPT가 필요로 하는 256M 토큰에 비해 단 4.25M 학습 토큰만으로 이러한 결과를 달성한다. 코드는 https://github.com/gracefulning/LinearARD 에서 제공된다.
Rotary Position Embedding(RoPE)는 Transformer에서 위치 정보를 인코딩하기 위해 널리 채택되지만, 표준 구현은 모든 어텐션 헤드에 대해 균일한 주파수 스케줄과 스케일링을 강제한다. 단순화된 검색(retrieval) 과제와 길이 일반화(length generalization) 시나리오를 사용하여, 기능적 역할이 다른 헤드는 효과적으로 동작하기 위해 서로 다른 주파수 범위와 어텐션 스케일링 계수가 필요함을 실증적·이론적으로 모두 보인다. 이 구조를 무시하면 임베딩 차원이 최적으로 활용되지 않고 성능이 저하되며, 특히 긴 컨텍스트(long-context) 설정에서 두드러진다. 이러한 한계를 해결하기 위해, 각 어텐션 헤드에 학습 가능한 회전 주파수와 어텐션 스케일링 계수를 부여하는 AdaRoPE를 제안한다. AdaRoPE를 적용한 사전학습 LLM은 partial RoPE 및 NoPE 베이스라인을 포함한 기존 RoPE 변형보다 일관되게 우수한 성능을 보인다. 컨텍스트 확장(context extension)의 경우, YaRN과 같은 방법에서 사용되는 균일한 주파수 및 어텐션 스케일링이 차선임을 추가로 보인다. 헤드별 스케일링을 적용함으로써 AdaRoPE는 외삽(extrapolation) 설정과 긴 컨텍스트 지속 사전학습(long-context continued pretraining) 설정 모두에서 짧은 컨텍스트 성능을 더 잘 유지하면서 더 나은 컨텍스트 확장을 가능하게 한다. 이 결과는 개별 어텐션 헤드 수준에서 회전 위치 임베딩(rotary position embedding)을 최적화하는 것의 중요성을 강조한다.
회전 위치 인코딩(RoPE)은 현재 현대 언어 모델에서 가장 널리 사용되는 위치 인코딩 방식입니다. RoPE는 쿼리와 키 벡터의 2차원 청크를 상대적 위치 오프셋의 함수로 회전시킵니다. RoPE에서 위치별 회전 속도는 일반적으로 고정된 기본 주파수 하이퍼파라미터로 지정된 등비수열을 따릅니다. 선행 연구들은 이 하이퍼파라미터를 증가시켜 회전을 느리게 하거나 QK 차원의 일부에만 RoPE를 적용하는 방식으로 성능을 개선해 왔습니다. 본 연구에서는 주파수당 스칼라 값을 학습하여 주파수를 하이퍼파라미터가 아닌 학습 가능한 매개변수로 처리함으로써 RoPE를 수정합니다. 우리는 52M에서 2.5B 매개변수에 이르는 언어 모델을 처음부터 학습하는 사다리(ladder) 실험을 통해 Learned RoPE(LeRoPE)를 검증합니다. 고노름(high-norm) 위치적 LeRoPE 밴드의 출현을 관찰하고 분석합니다. LeRoPE는 모든 규모에서 RoPE 및 부분 RoPE보다 일관되게 우수한 성능을 보이며, 가장 큰 규모에서 RoPE가 LeRoPE에 필적하려면 3.4% 더 많은 연산량(FLOPs)이 필요합니다.
현대의 대규모 언어 모델(LLM)은 검색-증강 생성(RAG), 저장소 수준 코딩, 에이전트 워크플로우 등 장문 컨텍스트 응용에 점점 더 많이 배포되고 있으며, 이러한 응용에서 누적된 추론 및 도구 추적이 입력을 사전학습 윈도우보다 수십 배 이상 초과시키는 경우가 흔해 제로샷(zero-shot) 컨텍스트 확장이 오픈 가중치 체크포인트의 주된 배포 경로로 자리잡고 있다. 대표적인 제로샷 방법들(YaRN, Self-Extend, DCA)은 단일 재조정 인수를 사전에 고정하기 때문에, 공격적인 인수를 사용하면 단문 컨텍스트 충실도가 저하되고 보수적인 인수를 사용하면 장문 컨텍스트에서 성능이 무너진다. 최근의 길이 인식 변형들은 매핑을 적응시키지만 피팅된 또는 거리 의존적 스케줄에 의존한다. 우리는 튜닝이 필요 없는 제로샷 방법인 Jet-Long을 제안한다. Jet-Long은 RoPE에 충실한 로컬 윈도우와, 현재 시퀀스 길이에 따라 매개변수 없는 해석적 스케줄을 통해 재조정 인수가 동적으로 적응하는 장거리 윈도우를 결합하여, 단문 입력에서는 기반 모델을 정확히 복원하면서 장문에서는 깔끔하게 외삽한다. 포함-제외 어텐션 병합과 즉석 RoPE 보정 회전을 통해 이중초점 구조의 추론 비용을 사실상 무료로 만들며, 단일 CuTe 커널로 융합하여 H100에서 장문 컨텍스트 프리필이 FA2 처리량의 최대 1.39배에 달하고(Hopper 전용 FA4에 근접), 단일 배치 생성 시 모든 길이에서 오버헤드가 4% 이하이다. 128K 컨텍스트까지의 Qwen3-1.7B/4B/8B에서 Jet-Long은 1.7B/4B/8B 각각의 가장 강력한 기준선 대비 RULER에서 +4.79/+2.18/+2.03 pp 우위를 기록하며, HELMET-RAG(HELMET이 다운스트림 장문 컨텍스트 성능의 가장 효율적인 예측 지표로 식별한 벤치마크)에서 최고 전체 정확도를 달성하고 PG-19 퍼플렉서티에서 최저값을 기록한다. Jet-Long은 재학습 없이 추가적인 장문 컨텍스트 향상을 위해 Jet-Nemotron과 같은 하이브리드 어텐션 아키텍처에도 일반화되며, 배포 용이성을 위해 하이퍼파라미터에 강건하다.
3D 회전 위치 임베딩(3D RoPE)을 탑재한 DiT 기반 비디오 생성 모델에서, 어텐션 메커니즘은 시퀀스 길이에 대한 이차 복잡도로 인해 주요 연산 병목으로 남아 있다. 양자화된 FlashAttention은 하드웨어 가속화를 향한 유망한 경로를 제공하지만, 기존의 저비트 양자화 방법들은 이 설정에서 두 가지 핵심 과제를 간과한다: 1) 쿼리(Q)와 키(K)의 이상치를 완화하는 데 널리 사용되는 기법인 온라인 회전 행렬의 적용이 RoPE와 양립하기 어렵고; 2) 비음수 어텐션 행렬 $P = \exp(QK - \max(QK))$가 대칭 양자화로 하여금 4비트 동적 범위의 절반을 낭비하게 만든다. 본 연구에서 우리는 Q와 K의 이상치 분포가 3D RoPE의 차원 분할에 의해 크게 영향을 받음을 관찰하였다. 이 발견을 기반으로, 정확도에 민감한 어텐션 블록과 노이즈 제거 단계에 선택적 FP16 폴백을 사용하여 3D RoPE를 갖춘 DiT 기반 비디오 생성 모델에 맞춤화된 효율적인 혼합 정밀도 INT4 FlashAttention 프레임워크인 RotateAttention을 제안한다. RotateAttention은 두 가지 핵심 기법을 도입한다: 1) RoPE 인식 회전(RoPE-aware Rotation): RoPE에 융합 가능한 병합 가능 회전 행렬 또는 무시할 수 있는 오버헤드의 행렬을 활용하여 Q와 K에서 RoPE로 인한 이상치를 완화하고; 2) 범위 최적화 P 양자화(Range-optimized P Quantization): 최소한의 연산 오버헤드로 INT4 수치 범위를 완전히 활용하기 위해 고정 스케일과 영점을 사용한다. 실험 결과, RotateAttention은 최대 1.68×의 종단 간 속도 향상과 2.2×의 커널 수준 가속을 달성하면서 전체 정밀도 기준선과 거의 동일한 비디오 생성 품질을 유지함을 보인다.
RoPE 기반 LLM의 'lost-in-the-middle' 문제를 해결하기 위해, 각 레이어에 서로 다른 스케일링 계수를 할당하는 층별 위치 임베딩 스케일링(LPES) 방법을 제안하며, Bézier 곡선으로 탐색 공간을 줄인 유전 알고리즘으로 최적 계수를 도출한다. 파라미터 파인튜닝이나 추론 지연 없이 균형 잡힌 어텐션 분포를 달성하며, 키-값 검색 데이터셋에서 최대 11.2% 정확도 향상을 기록했다.
본 연구에서는 대규모 언어 모델(LLM)과 비전 트랜스포머(ViT)에 널리 채택된 최근의 트랜스포머 위치 인코딩 알고리즘인 회전 위치 인코딩(RoPE)을 그래프 구조 데이터에 적용할 수 있는 범위를 연구한다. 그래프 라플라시안의 스펙트럼에 따라 토큰을 회전시키면 어텐션 메커니즘에 구조적 정보를 효율적으로 주입할 수 있으며, 합성 및 실세계 그래프 학습 태스크에서 성능을 향상시킴을 발견하였다. _Wave-Induced Rotary Encodings_ (WIRE)로 명명된 이 접근법은 흥미로운 이론적 특성을 갖는다: 격자 구조에서 일반 RoPE를 복원하며, 그래프의 유효 저항(effective resistance)에 점근적으로 의존한다. 바이어스 기반 상대적 위치 인코딩과 달리, WIRE는 선형 어텐션과 호환된다.
Position information is essential for language modeling. In softmax transformers, Rotary Position Embeddings (\textit{RoPE}) encode positions through \textit{fixed-angle} rotations, while in linear transformers, order is handled via input-dependent (selective) gating that decays past key-value associations. Selectivity has generally been shown to improve language-related tasks. Inspired by this, we introduce \textit{Selective RoPE}, an \textit{input-dependent} rotary embedding mechanism, that generalizes \textit{RoPE}, and enables rotation in \textit{arbitrary angles} for both linear and softmax transformers. We show that softmax attention already performs a hidden form of these rotations on query-key pairs, uncovering an implicit positional structure. We further show that in state-space models and gated linear transformers, the real part manages forgetting while the imaginary part encodes positions through rotations. We validate our method by equipping gated transformers with \textit{Selective RoPE}, demonstrating that its input-dependent rotations improve performance in language modeling and on difficult sequence tasks like copying, state tracking, and retrieval.
검색 헤드(retrieval head)는 이전 컨텍스트의 정보를 현재 위치로 복사하는 어텐션 헤드로, 장문 컨텍스트 재현율의 메커니즘적 기반으로 제안되어 왔다. 회전 위치 임베딩(RoPE)은 기저 하이퍼파라미터 theta에 따라 감쇠하는 주파수로 쿼리와 키를 회전시키며, 이 회전이 검색 헤드의 형성을 방지하거나 그 기능을 저하시킨다는 가설이 자연스럽게 제기되어 왔다. 우리는 멀티헤드 및 그룹 쿼리 어텐션을 아우르며 theta 범위가 100배에 달하는 네 가지 오픈 가중치 7-8B 모델에 대해, 페어드 시드 건초더미 바늘 찾기 테스트(needle-in-a-haystack test), 층 클러스터 순열, 인과적 헤드 마스킹을 활용하여 두 가설 모두를 검증한다. (i) 검색 헤드는 인과적으로 필수적이다: OLMo-2에서 탐지된 87개 헤드를 마스킹하면 재현율이 1.00에서 0.00으로 붕괴되는 반면, 대응하는 무작위 헤드를 마스킹해도 아무런 영향이 없으며, 이는 Qwen에서도 재현된다. (ii) theta 값이 높을수록 검색 헤드 수가 감소하지 않으며(theta=500K인 LLaMA-3.1은 47개, theta=10K인 LLaMA-2는 42개), 이는 억제 가설을 반박한다. (iii) 노름-활용도(norm-utility) 관계는 모델 패밀리에 따라 다르며 반대 방향으로 유의미하다(Qwen d=-0.49, OLMo d=+0.50, 모두 유의미; LLaMA는 유의미하지 않음); OLMo와 LLaMA-3.1이 theta=500K를 공유하면서도 차이를 보이므로, 이 효과는 theta에 의해 유발되지 않는다. (iv) Chiang and Yogatama (2025)를 기반으로, 통제된 패치 실험을 통해 검색 헤드의 최저 주파수 RoPE 차원을 0으로 설정하면 재현율이 용량 의존적으로 저하됨을 보인다(128개 차원 중 32개를 0으로 설정 시 1.00에서 0.18로 감소; 무작위 차원의 경우 0.98 유지); 이 효과는 헤드별, 과제별로 특이적이다. 인과 변수는 노름-활용도가 아닌 RoPE 주파수이다. 이 방향성은 네 가지 계보와 두 가지 규모에 걸쳐 패치된 다섯 개 모델 전체(OLMo-2, Qwen2.5-7B/14B, Gemma-2, Mistral)에서 유지된다. 모델 간 효과 크기에 대한 주장은 하지 않는다. 코드와 페어드 시드 하네스가 공개되었다.
회전 위치 임베딩(RoPE)은 트랜스포머 모델에서 널리 채택되었으나, 고차원 도메인으로의 확장에는 통일된 이론적 정식화가 부족합니다. 대부분의 기존 접근 방식은 각 축을 따라 독립적으로 회전을 적용하거나 경험적으로 주파수를 혼합하는데, 이는 차원 간 상호작용을 제한하고 방향 의존적 표현을 생성합니다. 이러한 제한 사항을 해결하기 위해, 우리는 임의의 차원으로의 분해 없는 RoPE 일반화인 nD-RoPE를 제안합니다. 연속 힐베르트 공간에서의 병진 불변 정식화로부터, 우리는 위치와 주파수를 결합된 \(n\)-차원 벡터로 처리해야 하는 등방성에 대한 스펙트럼 조건을 유도합니다. 우리는 비퇴화 공간 커버리지와 대칭적이며 방향적으로 균형 잡힌 2차 응답을 제공하는 다중 스케일 정단체 파동 벡터 설계를 통해 이 정식화를 구체화합니다. 이미지, 비디오 및 포인트 클라우드에 걸친 실험은 고차원 설정에서 일관된 성능 향상과 개선된 일반화를 입증합니다.
회전형 위치 임베딩(RoPE)은 어텐션 점수를 위치에 상대적으로 만들지만, 값 경로(value pathway)는 위치를 인식하지 못하게 둡니다. 즉, 값 토큰이 전달하는 메시지는 쿼리로부터의 거리에 관계없이 동일합니다. 본 논문에서는 RoVE를 제안합니다. RoVE는 키(key)와 동시에 값을 회전시켜 위치에 민감하게 만드는 매개변수가 없는 수정 방식이며, RoPE 어텐션을 어텐션 합성곱(attentive convolution)으로 변환함을 보여줍니다. 이 새로운 관점은 컴퓨터 비전, 로봇공학, 현대 대규모 언어 모델(LLM) 아키텍처에 걸쳐 동일한 연산에 대한 여러 독립적인 정형화를 통합합니다. 학습된 124M 및 354M GPT-2 모델은 퓨샷 문맥 내 학습(ICL), 분포 외 퍼플렉서티, 긴 문맥 검색에서 RoPE 대비 일관된 경험적 이득을 보여주었으며, 특히 장거리 집계가 필요한 작업에서 가장 명확한 개선 효과를 나타냈습니다.