결합 임베딩 예측 아키텍처(Joint-Embedding Predictive Architecture, JEPA)는 표현 붕괴(representation collapse)가 발생하기 쉬우며, 일반적으로 경험적 휴리스틱을 통해 이를 완화합니다. 본 연구에서는 이러한 휴리스틱들을 통합하는 초기 학습 안정성 이론을 개발합니다. 자명한 고정점 주변에서 결합된 JEPA 그래디언트 흐름을 선형화하면 두 가지 상충하는 효과인 구동력($γ$)과 감쇠 효과($σ$)가 드러납니다. 근사적 스펙트럼 디커플링 조건에서 모드별 안정성 비율 $μ_i = γ_i / σ_i$는 독립적인 데이터 측 및 예측기(predictor) 측 항으로 인수분해되며, 불안정한 모드의 수는 나타날 수 있는 표현의 랭크(rank)를 추적합니다. 이 프레임워크는 상전이 경계(phase boundary)를 예측하며, 저자들은 800개 이상의 Tabular-JEPA 구성을 통해 이를 실증적으로 확인합니다. 또한 이 프레임워크는 예측기 스케일링, 마스킹 비율, EMA를 $μ$를 이동시키는 별개의 메커니즘으로 통합합니다. 이러한 분석을 바탕으로, 초기화 시 어텐션이 항등(identity) 방향으로 편향된 트랜스포머 예측기인 ResidualPred를 도입합니다. ResidualPred는 정형 데이터(tabular) 벤치마크뿐만 아니라 CIFAR-10, CIFAR-100, STL-10, ImageNet에서의 I-JEPA 사전학습 모두에서 유효 랭크와 다운스트림 정확도를 향상시킵니다. 본 프레임워크는 경험적인 붕괴 방지 휴리스틱을 명시적인 역학적 관점으로 연결하여 이론 기반의 안정화 기법을 제시합니다. 코드는 https://github.com/jose-melo/drive-vs-decay 에서 확인할 수 있습니다.
어텐션 싱크(attention sink), 표현 붕괴(representation collapse), 노름 계층화(norm stratification)는 트랜스포머 특유의 병리로 취급된다. 우리는 이것들이 어텐션에 특정되지 않음을 보인다. 고정된 유사도 측정(metric) 하에서 콘텐츠 기반 라우팅(content-based routing)이 보이는 현상이다. 재구성 정체성(reframing identity)을 제시한다. 소프트맥스 어텐션은 키 노름이 일정한 유클리드 거리(Euclidean distances)에 대한 볼츠만 가중 집계(Boltzmann-weighted aggregation)이므로, 그 점수는 $-\|k\|^2$ 항을 생략하고 키 크기(key magnitude)에 눈멀다. 이는 표현과 부조화된 측정을 쓰는 모든 라우터가 라우팅을 집중하고 라우팅된 표현을 붕괴시키는 방식으로 보상할 것임을 예측한다. 토큰에 대한 소프트맥스 어텐션(사전학습 트랜스포머 9개), 노드에 대한 그래프 어텐션, 시간축의 선택적 상태공간 모델과 순환 혼합기(recurrent mixer), 깊이에 대한 학습된 잔차(learned residuals) 등 서로 다른 축에서 점수를 매기고 집계하는 라우터에서 이를 검증한다. 모두 동일한 특징(signature)을 발달시키며, 모델 내 두 가지 ablation은 부수적 동역학이 아니라 라우팅 메커니즘에 기인함을 보여준다. 그 형태는 우연적(contingent)이며, 각 라우터가 콘텐츠 점수와 함께 갖는 위치적 제동(positional brake)의 강도에 의해 설정된다. 우리는 그 제동을 스윕(sweep)하여 발현 시점(onset)을 전 범위에서 이동시킨다. 메커니즘은 우연적이지 않으며, 노름 계층화를 요구하지 않는다. 노름 정규화된 키를 가진 라우터도 동일하게 집중한다. 우리는 이 모델들이 리만 기하(Riemannian geometry)를 구현한다고 주장하지 않는다. 기하학적 관점은 평탄하고(norm-blind) 노름에 눈멀은 측정의 부적절성을 진단하는 이름을 부여한다.