회전 위치 인코딩(RoPE)은 현대 대규모 언어 모델(LLM)에서 널리 사용되고 있습니다. 그러나 시퀀스가 학습(training) 중에 보았던 범위를 넘어 확장될 때, 회전 위상이 분포 외(out-of-distribution) 영역으로 진입하여 잘못된 장거리 정렬, 확산된 어텐션(attention), 검색 성능 저하를 초래할 수 있습니다. 기존의 해결책들은 종종 장문맥 안정성을 위해 국소적인 위치 해상도를 희생시키기 때문에 이러한 문제를 부분적으로만 해결합니다. 본 논문에서는 회전 기하학적 구조를 보존하면서 어텐션 로짓에 직접 콘텐츠 인식 바이어스(bias)를 도입하는 위치 인코딩용 드롭인 증강 기법인 GAPE(Gated Adaptive Positional Encoding)를 제안합니다. GAPE는 무관한 문맥을 축소하는 쿼리 의존적 게이트와 중요한 원거리 토큰(token)을 보존하는 키 의존적 게이트를 통해 거리 기반 억제를 토큰 중요도와 분리합니다. 약하게 보호된 원거리 문맥은 쿼리 게이트의 함수에 따라 지수적으로 감쇠되는 반면, 선택된 키는 랜드마크 보호를 통해 접근 가능한 상태를 유지할 수 있음을 보입니다. 또한 GAPE가 표준 점곱 어텐션(scaled dot-product attention) 내에서 구현될 수 있음을 보여줍니다. 실증적으로 GAPE는 통제된 검색 및 언어 모델링 실험 전반에서 장문맥 강건성을 향상시키며, 학습 길이의 최대 8배까지 외삽합니다. 나아가 사전학습된 7B 모델에 GAPE를 사후 적용하여 표준 벤치마크 성능을 유지하면서 평가된 최장 문맥에서의 성능을 향상시켰습니다. 이러한 결과는 장문맥 일반화를 위한 위치 표현의 보완책으로서 적응형 문맥 억제의 유용성을 뒷받침합니다.
회전 위치 인코딩(RoPE)은 현재 현대 언어 모델에서 가장 널리 사용되는 위치 인코딩 방식입니다. RoPE는 쿼리와 키 벡터의 2차원 청크를 상대적 위치 오프셋의 함수로 회전시킵니다. RoPE에서 위치별 회전 속도는 일반적으로 고정된 기본 주파수 하이퍼파라미터로 지정된 등비수열을 따릅니다. 선행 연구들은 이 하이퍼파라미터를 증가시켜 회전을 느리게 하거나 QK 차원의 일부에만 RoPE를 적용하는 방식으로 성능을 개선해 왔습니다. 본 연구에서는 주파수당 스칼라 값을 학습하여 주파수를 하이퍼파라미터가 아닌 학습 가능한 매개변수로 처리함으로써 RoPE를 수정합니다. 우리는 52M에서 2.5B 매개변수에 이르는 언어 모델을 처음부터 학습하는 사다리(ladder) 실험을 통해 Learned RoPE(LeRoPE)를 검증합니다. 고노름(high-norm) 위치적 LeRoPE 밴드의 출현을 관찰하고 분석합니다. LeRoPE는 모든 규모에서 RoPE 및 부분 RoPE보다 일관되게 우수한 성능을 보이며, 가장 큰 규모에서 RoPE가 LeRoPE에 필적하려면 3.4% 더 많은 연산량(FLOPs)이 필요합니다.
멀티뷰 트랜스포머에서 SE(3) 불변성, 패치 고유성, 장면 기하학 적응성, 다중 주파수 유사도를 동시에 만족하는 위치 인코딩이 없다는 문제를 해결하기 위해, 광선(ray) 기반 투영 좌표를 활용한 RayRoPE를 제안한다. RayRoPE는 직접 지도 없이 토큰별 깊이를 예측해 위치를 결정하고 불확실성을 해석적으로 모델링하며, 새로운 시점 합성·스테레오 깊이 추정·3DGS 재구성 등 다양한 3D 비전 태스크에서 기존 인코딩 방식 대비 일관된 성능 향상(RE10K LPIPS 기준 24% 개선)을 달성했다.
위치 인코딩(PE)이 장착된 신경 필드(neural field)에서 가중치로부터 읽어낼 수 있는 대칭은 진정한 대칭군이 아니라 PE와 관측량(observable)에 의해 결정되는 관측 가능 대칭 집합임을 이론적으로 형식화하고, 2D 부호 거리 함수(signed distance function)에 학습된 MLP 실험을 통해 DyadicAxisPE는 $D_4$ 판독을 지원하지만 $D_3$을 구조적으로 억제하는 등 PE 설계에 따라 가중치 수준 대칭 판독 결과가 일관되게 달라짐을 실증하였다.
DUSt3R, MASt3R, VGGT, $π^3$, Depth Anything 3와 같은 최근 3D 기반 모델들은 핀홀 이미지에서 강력한 피드포워드 깊이 및 포즈 추정을 제공하지만, 피시아이 카메라 기하학에서는 성능이 급격히 저하된다. 본 연구는 이러한 실패가 부분적으로 사전학습된 3D 기반 모델의 위치 인코딩에 내재된 핀홀 카메라 바이어스에 기인함을 보이고, 경량 카메라 적응 접근법인 RayTun3R을 제안한다. RayTun3R은 사전학습된 네트워크를 고정한 채 토큰 위치 및 카메라 기하학과 연관된 경량 구성요소만 적응시킨다. 이 방법은 절대적 위치 인코딩과 회전 위치 인코딩에 대한 매개변수 효율적인 잔차 보정을 학습하며, 잔여 핀홀 가정을 제거하는 매개변수 없는 토큰화 및 예측 그리드 좌표 보정을 함께 수행한다. 결과로 얻는 어댑터는 학습 가능한 매개변수가 10,752개에 불과하며, 기하학적 손실을 이용해 짧은 시간 구간에서 학습할 수 있다. 적응 후 RayTun3R은 추가적인 런타임 비용 없이 시퀀스의 나머지 프레임에 효과적으로 전이된다. 시야각이 $110^\circ$에서 $200^\circ$까지 다양한 피시아이 데이터셋에서, 본 어댑터는 적응되지 않은 모델 대비 회전 오차를 $2$~$12$배 감소시키고, 학습 가능한 매개변수를 약 $14$배 적게 사용하면서도 LoRA를 능가하며, 다중 뷰 추론 비용을 회피하면서도 적응 없는 기준선보다 포즈 성능을 향상시키고, 깊이 정확도에서도 경쟁력을 유지한다.
비전 트랜스포머(ViT)의 위치 주입(positional injection) 메커니즘을 추론 시 제거하기 위해, 학습 단계에서만 최종 레이어 패치 토큰에 2D 좌표 회귀 손실을 적용하는 보조 목적 함수 Active Spatial Guidance(Guidance)를 제안한다. ImageNet-100 분류, ADE20K 시맨틱 세그멘테이션, Hypersim 단안 깊이 추정에서 AbsPE, RoPE 등 강력한 위치 주입 기반 베이스라인을 능가하며, 위치 주입 없이도 공간적 귀납 바이어스를 학습으로 유도할 수 있음을 보인다.
교환가능성 위배는 베이지안 문맥 내 학습(ICL)을 일괄 반박하지 않으며, 초과 프리퀀셜(prequential) 코드 길이가 누적 예측 KL과 같고 순서 민감성은 log loss로 가격이 매겨진다는 이론적 틀을 제시한다. Qwen2.5-7B/14B 통제 실험에서 예측 분포가 베이지안 사후 예측(posterior predictive)에 MLE 플러그인보다 가깝고, 각 직렬화마다 교환가능 사후 예측을 실현하지 않아도 기대 관점에서 베이지안에 경쟁력 있는 프리퀀셜 예측자가 될 수 있음을 보인다.
Randomized YaRN은 YaRN 기반 위치 외삽, 무작위 위치 인코딩, 길이 커리큘럼을 결합해 짧은 컨텍스트 학습 중에도 더 긴 범위에서 샘플링한 위치 인코딩으로 분포 밖(OOD) 위치 표현에 모델을 노출시켜 긴 컨텍스트 추론의 길이 일반화를 높인다. 8K 미만 컨텍스트 데이터로 학습해도 BABILong과 MRCR에서 16K–128K 길이의 추론 성능이 일관되게 향상되어 표준 미세조정(fine-tuning)을 능가하며, 특히 분포에서 크게 벗어난 길이에서 이득이 크다.
위치 인코딩(positional encoding)은 입력의 공간적 또는 순차적 배치에 대한 정보를 주입하므로 트랜스포머(transformer) 아키텍처의 핵심 구성 요소입니다. 표준 절대 위치 인코딩 및 사인파(sinusoidal) 인코딩에 대한 최근의 대안들 중에서, 유사도 기반 위치 인코딩(simPE)은 쌍별(pairwise) 관계를 통해 위치 구조를 표현하는 유연한 프레임워크로 등장했습니다. simPE는 기하학적 강인성이 특히 중요한 의료 영상(medical imaging) 애플리케이션을 위해 처음 설계되었습니다. 이미징 기기, 환자 자세, 또는 미세한 획득 오정렬로 인해 이미지 획득 과정에서 작은 회전이 자연스럽게 발생하기 때문입니다. 실증적인 유망성에도 불구하고, 기하학적 섭동(geometric perturbation) 하에서 simPE의 이론적 거동은 아직 완전히 규명되지 않았습니다. 본 논문에서는 엄밀한 이론적 분석과 실험적 검증을 결합하여 회전에 대한 simPE의 강인성을 연구합니다. 먼저, simPE가 일반적으로 회전 불변(rotation-invariant)이 아님을 보여줍니다. 그 다음, 기본 구성 요소에 대한 약한 립시츠(Lipschitz) 가정 하에서 simPE가 회전 섭동에 대해 안정적임을 증명하고, 프로베니우스 놈(Frobenius norm)으로 명시적인 섭동 경계를 도출합니다. 합성 Arrow 데이터셋, 합성 Shapes 데이터셋(4개의 기하학적 모양 범주), 합성 Digits 데이터셋, 벤치마크 이미지 분류 데이터셋(FashionMNIST) 등 4가지 통제된 데이터셋을 통해 이러한 발견을 실험적으로 검증합니다. 해당 실험에서는 학습 및 검증 이미지를 고정된 표준 방향(canonical orientation)으로 유지하는 반면, 테스트 이미지에는 점진적으로 증가하는 회전 각도를 적용했습니다. 모든 데이터셋에서 simPE는 회전 상황에서 정확도, F1 점수, 정밀도(precision), 재현율(recall) 측면에서 표준 학습 가능 위치 인코딩을 일관되게 초과하는 성능을 보였으며, 이는 특히 소각에서 중각 범위에서 두드러져 이론적 안정성 보장을 뒷받침합니다.
신경망 매개변수 공간은 본질적으로 단사적이지 않은데, 이는 서로 다른 매개변수 구성이 기능적 동등성을 통해 동일한 함수를 실현할 수 있기 때문입니다. 이러한 대칭성은 고전적인 완전 연결 및 합성곱 모델에서는 잘 이해되어 있지만, 최신 어텐션 기반 아키텍처에서는 훨씬 더 복잡해집니다. 멀티헤드 어텐션에 대한 기존 분석은 대부분 기본 공식에 초점을 맞추어, 아키텍처 대칭성을 근본적으로 재형성하는 위치 인코딩을 간과해 왔습니다. 본 연구에서는 위치 인코딩이 포함된 트랜스포머에서의 기능적 동등성에 대한 형식적인 연구를 제공합니다. 가장 널리 사용되는 두 가지 변형인 사인파(sinusoidal) 및 회전 위치 인코딩(RoPE)에 초점을 맞추어, 사인파 인코딩은 기본 어텐션의 동등성 구조를 보존하는 반면, 회전 인코딩은 대칭군을 크게 줄여 표현력을 향상시킴을 보여줍니다. 이는 실무에서 RoPE의 부상에 대한 원칙에 기반한 설명을 제공합니다. 또한 우리는 위치 인코딩이 선형 모드 연결성에 미치는 영향을 추가로 조사하고, 정렬 알고리즘을 통해 트랜스포머 설정 전반에 걸친 연결성의 존재와 변동성이 위치 인코딩에 결정적으로 의존함을 실험적으로 입증합니다.
그래프 신경망(GNN)에서 계산 효율성을 위해 널리 사용되는 잘린 위치 인코딩(positional encoding)의 이론적 특성을 분석하여, 잘린 스펙트럴 PE가 1-WL 테스트보다 더 강력한 표현력을 갖지 못함을 밝혔다. 또한 실제 데이터셋에서는 단일 PE 대신 잘린 PE들의 혼합 사용이 더 우수한 성능을 보임을 실험적으로 입증했다.
멤리스터 기반 아날로그 연산에서 위치 인코딩의 큰 출력 값이 아날로그-디지털 변환(ADC) 열화를 유발함을 식별하고, 특정 레이어의 ADC 비트 비율을 조정하여 실행 열화를 약 50% 감소시켰다. ADC 수정이 불가능한 경우 인코딩 관련 선형 변환을 제거하여 열화를 약 30% 완화했다.