nD-RoPE: n차원 위치 임베딩을 위한 일반화된 RoPE
nD-RoPE: A Generalized RoPE for n-Dimensional Position Embedding
한국어 초록
회전 위치 임베딩(RoPE)은 트랜스포머 모델에서 널리 채택되었으나, 고차원 도메인으로의 확장에는 통일된 이론적 정식화가 부족합니다. 대부분의 기존 접근 방식은 각 축을 따라 독립적으로 회전을 적용하거나 경험적으로 주파수를 혼합하는데, 이는 차원 간 상호작용을 제한하고 방향 의존적 표현을 생성합니다. 이러한 제한 사항을 해결하기 위해, 우리는 임의의 차원으로의 분해 없는 RoPE 일반화인 nD-RoPE를 제안합니다. 연속 힐베르트 공간에서의 병진 불변 정식화로부터, 우리는 위치와 주파수를 결합된 \(n\)-차원 벡터로 처리해야 하는 등방성에 대한 스펙트럼 조건을 유도합니다. 우리는 비퇴화 공간 커버리지와 대칭적이며 방향적으로 균형 잡힌 2차 응답을 제공하는 다중 스케일 정단체 파동 벡터 설계를 통해 이 정식화를 구체화합니다. 이미지, 비디오 및 포인트 클라우드에 걸친 실험은 고차원 설정에서 일관된 성능 향상과 개선된 일반화를 입증합니다.
원문 초록
Rotary Position Embedding (RoPE) is widely adopted in Transformer models, yet its extension to high-dimensional domains lacks a unified theoretical formulation. Most existing approaches either apply rotations independently along each axis or empirically mix frequencies, which limits cross-dimensional interactions and yields direction-dependent representations. To address these limitations, we propose nD-RoPE, a decomposition-free generalization of RoPE to arbitrary dimensions. From a translation-invariant formulation in continuous Hilbert space, we derive a spectral condition for isotropy that requires treating positions and frequencies as coupled \(n\)-dimensional vectors. We instantiate this formulation with a multi-scale regular-simplex wave-vector design, which provides non-degenerate spatial coverage and a symmetric, directionally balanced second-order response. Experiments across images, videos, and point clouds demonstrate consistent performance gains and improved generalization in high-dimensional settings.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.12146v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
신경망 모델과 인간 뇌에서의 음소 정체성과 위치의 결합
Binding Phoneme Identity to Position in Neural Models and the Human Brain
인지과학과 신경 계산 분야의 근본적인 난제 중 하나는 결합 문제(binding problem)이다. 조합적 일반화(compositional generalization)는 표상을 역할(role, 예: 순서 위치나 구문적 기능과 같은 표상의 구조적 슬롯)과 필러(filler, 예: 음소나 단어와 같이 슬롯을 차지하는 내용물)로 인수분해하여 달성할 수 있으며, 이 둘을 자유롭게 재조합함으로써 새로운 조합을 표현할 수 있다. 그러나 신경계가 역할-필러 결합을 어떻게 구현하는지는 여전히 알려져 있지 않다. 가장 단순한 사례 중 하나는 음소 시퀀싱으로, /gum/과 /mug/가 서로 다르게 표현되도록 음소 정체성(필러)이 위치(역할)에 결합되어야 한다. 자연어 처리(NLP) 분야에서 제안된 '양파 가설(onion hypothesis)'(Csordas et al., 2024)은 신경 집단 상태의 방향이 토큰 정체성을 부호화하고 그 크기가 위치를 부호화한다고 주장한다. 이 가설은 무작위 토큰 시퀀스를 대상으로 정립되었으며, 본 연구에서는 이를 자연어로 확장하여 신경망 모델과 인간의 뇌에서 검증한다. 먼저 표상 기하학 분석과 인과적 개입을 활용하여 영어 단어를 반복하도록 학습된 인코더-디코더 모델에서 이를 평가했다. 그 결과 크기만으로는 불완전함이 입증되었다. 위치는 크기와 함께 상태 방향의 체계적인 회전에 의해 부호화되며, 본 연구는 이러한 기제를 '나선 가설(spiral hypothesis)'로 공식화한다. 이어 짧은 문장을 듣는 20명의 참가자의 청각 피질에서 기록된 두개내 뇌파(intracranial recordings)를 분석했다. 상측두회(superior temporal gyrus) 전극 전반에서 연속된 음소 간의 집단 반응 변화는 위치가 진행됨에 따라 크기가 감소했으며, 그 방향은 자음군 내부 및 모음군 내부에서 정렬되었으나 두 부류 간에는 거의 직교하여 두 가설이 공유하는 크기 코딩을 뒷받침했다. 이러한 결과는 신경계가 음소 정체성을 위치에 결합하는 방식에 대한 기하학적 설명을 제공하며, 신경망 모델 가설이 인간 신경 계산에 대한 검증 가능한 예측을 어떻게 도출할 수 있는지를 보여준다.
GPEC: 심장 초음파 비디오 캡션 생성을 위한 효율적인 LLM 사전 가우시안 프로세스 임베딩 보정
GPEC: Efficient Pre-LLM Gaussian Process Embedding Correction for Cardiac Video Caption Generation
멀티모달 대규모 언어 모델(MLLM)은 비디오 이해 및 캡션 생성에서 강력한 잠재력을 보여주었으나, 심장 초음파 검사와 같은 전문 의료 영상 분야에서는 성능이 저하될 수 있습니다. 본 연구에서는 심장 초음파 캡션 생성을 위해 VideoChat2에서 사용하는 시각적 표현을 개선하는 모듈형이자 계산 효율적인 LLM 사전 오류 보정 방법인 가우시안 프로세스 임베딩 보정(Gaussian Process Embedding Correction, GPEC)을 소개합니다. GPEC은 시각적 투영 층(visual projection layer)과 언어 모델 사이에 삽입되어 투영된 시각적 표현을 어노테이션 기반 타깃으로 이동시키는 잔차 보정(residual correction)을 학습합니다. 이 타깃은 구조화된 비디오 어노테이션을 정성적 속성으로 변환하고, 고정된 형식의 참조 캡션을 생성한 뒤, 이를 언어 모델 임베딩 공간으로 매핑하여 구축됩니다. 보정은 유도점(inducing points), 자연 매개변수 변분 업데이트(natural-parameter variational updates), 블록별 선형 커널을 갖춘 희소 변분 가우시안 프로세스(sparse variational Gaussian Process)를 사용하여 모델링되며, 기존 VideoChat2 구성 요소는 고정(frozen) 상태로 유지됩니다. 본 방법은 동일한 입력 및 참조 조건에서 기존 VideoChat2와 VideoChat2 + GPEC을 비교하여 표현 수준, 캡션 수준, 콘텐츠 지향 및 실행 시간 지표를 사용해 평가됩니다. 실험 결과, 제안된 보정을 적용한 후 캡션 유사도 및 콘텐츠 정합성이 향상된 것으로 나타났습니다. 또한 GPEC은 평가 환경에서 비디오당 0.05초 미만의 추론 시간 오버헤드만을 추가합니다. 이러한 결과는 사전학습된 멀티모달 백본의 엔드투엔드 미세조정 없이도 GPEC이 최소한의 계산 비용으로 전문 의료 비디오 분야의 캡션 생성을 향상할 수 있음을 보여줍니다.
사라지기 전에: 비디오 대규모 언어 모델(VideoLLM)에서 추론 시점 시간적 표현 강화
Before It Fades: Reinforcing Temporal Representations at Inference Time in VideoLLMs
비디오 대규모 언어 모델(VideoLLM)은 프레임을 순차적인 순서로 입력받아 시각적 콘텐츠가 시간 축을 따라 어떻게 전개되는지 해석하지만, 시간적 추론(temporal reasoning)은 다양한 아키텍처 전반에서 여전히 지속적인 약점으로 남아 있습니다. 시간적 답변을 뒤바꿔야 하는 변환인 비디오 프레임 순서 반전에도 불구하고 최종 예측이 바뀌지 않는 경우가 많습니다. 본 연구에서는 시간 순서를 반전시켰을 때 유도되는 층별 표현 차이인 시간적 발산 벡터(temporal divergence vector) $τ_l$를 정의하여 이러한 실패의 원인을 조사합니다. 여러 층에 걸쳐 이 벡터의 크기를 추적한 결과, 발산이 중간 층에서 정점에 도달한 뒤 출력 방향으로 가면서 점진적으로 감소하는 일관된 시간적 발산 프로파일이 나타남을 확인했습니다. 본 연구는 이 정점이 시간적 추론에 특화되어 있으며 예측에 기능적으로 중요하다는 점을 확인하여, VideoLLM이 중간 층에서는 시간적 정보를 획득하지만 출력까지 이를 유지하지 못한다는 사실을 규명했습니다. 이러한 점진적 소실에 착안하여, 각 입력에 대해 프로파일의 정점에서 $τ_l$를 추출한 후 측정된 감쇠에 따라 후속 층에 다시 주입하는 방법인 시간적 활성화 주입(Temporal Activation Injection, TAI)을 제안합니다. TAI는 학습이 필요하지 않으며, 비시간적 과제에 미치는 영향은 무시할 수 있는 수준으로 유지하면서 세 가지 VideoLLM과 네 가지 벤치마크 전반에서 시간적 추론을 일관되게 개선합니다. 코드는 https://github.com/Youngwoo-git/Before-It-Fades 에서 확인할 수 있습니다.
플라톤적 표현 가설에서 무엇이 수렴하는가? 기하학보다 구조
What Converges in the Platonic Representation Hypothesis? Structure over Geometry
플라톤적 표현 가설(Platonic Representation Hypothesis)은 모델의 능력이 향상될수록 공유된 표현으로 수렴(convergence)한다고 제안합니다. 최근 연구에서는 이 주장을 공유된 국소적 이웃 관계로 좁히며, 보정(calibration)을 거치고 나면 여러 전역적 유사도 측정치에서 나타나는 용량 의존적 경향이 대체로 사라진다는 점을 발견했습니다. 본 연구에서는 기존의 국소-전역 비교가 구조적 스케일(국소적 대 전역적)과 비교 대상 자체를 혼동하고 있음을 보여줌으로써 이러한 해석에 의문을 제기합니다. 즉, 어떤 샘플들이 연관되어 있는지를 정의하는 '관계적 구조(relational structure)'와 거리, 유사도, 상관관계와 같은 정량적 관계로 특징지어지는 '계량적 기하학(metric geometry)'을 혼동했다는 것입니다. 이러한 요인들을 분리하기 위해, 국소 및 전역 스케일 모두에서 관계적 구조와 계량적 기하학을 평가하는 통제된 $2\times2$ 프레임워크를 구축합니다. 상호 $k$-최근접 이웃(mutual $k$-nearest neighbors)의 전역적 대응물로서 $H_0$ 스켈레톤 중첩(skeleton overlap)을 도입하고, 이에 대응하는 거리 인식(distance-aware) 변형들도 함께 제시합니다. 비전-언어 모델 전반에 걸쳐, 관계적 구조는 보정 후 두 스케일 모두에서 강력한 표현 수렴을 보이는 반면, 거리에 대한 일치 기준이 엄격해질수록 정렬(alignment)이 크게 약화되며 용량 의존적 경향도 점차 평탄화됩니다. 나아가 리만 계량 근사(Riemannian metric approximation) 하에서 거리 일치도를 평가함으로써 주변 유클리드 기하학을 넘어서는 분석으로 확장하였으며, 동일한 구조-기하학 패턴을 재현해 냈습니다. 이 패턴은 비디오-텍스트 표현에서도 동일하게 재현됩니다. 종합적으로, 이러한 결과는 관계적 수렴이 국소적 이웃을 넘어 전역적 스패닝 구조(global spanning structure)로까지 확장되는 반면, 계량적 기하학은 현저히 약한 수렴을 보임을 명백히 드러냅니다.
LAYERSCOPE: 비디오 및 멀티모달 학습 표현의 층별 특성 분석
LAYERSCOPE: A Layerwise Characterization of Video and Multimodal Learned Representations
우리는 비디오 및 멀티모달 환경에서 모델이 학습한 표현(representation)의 특성을 분석하는 것을 목표로 하는, 레이블이 필요 없는 층별(layerwise) 프레임워크인 LAYERSCOPE를 제안한다. 최종 층 또는 중간 층의 표현을 사용해 다운스트림 성능을 평가하려면 일반적으로 대량의 레이블 데이터, 반복적인 태스크별 평가, 그리고 상당한 연산량이 필요하다. 이러한 한계를 해결하기 위해 LAYERSCOPE는 국소적(local), 전역적(global), 분포적(distributional), 대응 기반(correspondence-based) 기하 지표를 활용하여, 태스크별 레이블 없이도 모델 내부와 모델 간의 층별 표현 구조를 비교한다. 우리는 MVEB/MVEB+의 비디오 및 멀티모달 분류(classification), 클러스터링, 텍스트-비디오 검색 태스크에서 아키텍처가 서로 다른 일곱 개의 모델을 평가한다. 그 결과, 중간 층의 표현이 최종 층 및 모델 기본 출력보다 더 좋은 성능을 낼 수 있음을 발견했다. 또한 어떤 단일 기하 지표도 다운스트림 성능을 일관되게 예측하지는 못하지만, 모델 계열별로 서로 구별되는 층별 기하 시그니처가 나타남을 확인했다. LID는 성능과 태스크에 따라 달라지는 관계를 보이며, RankMe는 분류와 클러스터링에 대해 가장 강력한 척도를 제공하지만 범용적인 층 선택 기준은 아니다. 아울러 페어링(pairing)을 고려하는 지표가 분포 거리만 사용하는 경우보다 검색 성능을 더 잘 설명한다는 점도 발견했다. 따라서 LAYERSCOPE는 모델과 층 전반에 걸쳐 표현을 비교할 수 있는 프레임워크를 제공하며, 비디오 및 멀티모달 환경에서 보다 체계적인 평가를 가능하게 한다.
동결 Flow는 잊는다: Latent-flow 월드 모델에서 소실된 움직임의 진단과 복원
Frozen Flows Forget: Diagnosing and Restoring Lost Motion in a Latent-flow World Model
동결된 자기지도(self-supervised) 잠재(latent) 공간에 flow를 통합한 latent 월드 모델은 안정적이고 저렴하게 학습되지만, 조작(manipulation)이 가장 의존하는 속성인 움직임(motion)을 조용히 잃어버린다. 사전학습된 flow는 조작 대상을 전혀 움직이지 않으며, latent만 사용하는 손실로 재학습하면 정지 상태와 텔레포트처럼 움직이는 motion 사이를 바꾸는 것에 그친다. 우리는 실패 원인을 표현(representation)이 아니라 학습(training) 신호에 두며, anchor-sparse하고 latent만 사용하는 supervision은 horizon을 따라 변화가 어디에 속하는지 말해주지 못한다. Decode-augmented rollout 학습(DART)은 표현을 동결한 채 flow만 decode-path supervision으로 재학습하여 이를 수정한다. DART는 전체 프로토콜에서 latent-only 부모 모델을 능가하고, motion의 시간적 구조를 복원하며, 예측 motion을 장면(scene)과 다시 결합한다; 더 큰 규모에서는 예측 품질이 더 개선되어 oracle-informed interpolation reference까지 남은 격차의 거의 절반을 줄인다. 마지막으로 평가에 관한 예상치 못한 발견을 보고한다: 픽셀 오류만으로는 동결된 예측을 보상한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.