nD-RoPE: n차원 위치 임베딩을 위한 일반화된 RoPE
nD-RoPE: A Generalized RoPE for n-Dimensional Position Embedding
회전 위치 임베딩(RoPE)은 트랜스포머 모델에서 널리 채택되었으나, 고차원 도메인으로의 확장에는 통일된 이론적 정식화가 부족합니다. 대부분의 기존 접근 방식은 각 축을 따라 독립적으로 회전을 적용하거나 경험적으로 주파수를 혼합하는데, 이는 차원 간 상호작용을 제한하고 방향 의존적 표현을 생성합니다. 이러한 제한 사항을 해결하기 위해, 우리는 임의의 차원으로의 분해 없는 RoPE 일반화인 nD-RoPE를 제안합니다. 연속 힐베르트 공간에서의 병진 불변 정식화로부터, 우리는 위치와 주파수를 결합된 \(n\)-차원 벡터로 처리해야 하는 등방성에 대한 스펙트럼 조건을 유도합니다. 우리는 비퇴화 공간 커버리지와 대칭적이며 방향적으로 균형 잡힌 2차 응답을 제공하는 다중 스케일 정단체 파동 벡터 설계를 통해 이 정식화를 구체화합니다. 이미지, 비디오 및 포인트 클라우드에 걸친 실험은 고차원 설정에서 일관된 성능 향상과 개선된 일반화를 입증합니다.