구동 대 감쇠: 결합 임베딩 예측 아키텍처의 학습 역학에 대하여
Drive vs. Decay: On the Training Dynamics of Joint-Embedding Predictive Architectures
한국어 초록
결합 임베딩 예측 아키텍처(Joint-Embedding Predictive Architecture, JEPA)는 표현 붕괴(representation collapse)가 발생하기 쉬우며, 일반적으로 경험적 휴리스틱을 통해 이를 완화합니다. 본 연구에서는 이러한 휴리스틱들을 통합하는 초기 학습 안정성 이론을 개발합니다. 자명한 고정점 주변에서 결합된 JEPA 그래디언트 흐름을 선형화하면 두 가지 상충하는 효과인 구동력($γ$)과 감쇠 효과($σ$)가 드러납니다. 근사적 스펙트럼 디커플링 조건에서 모드별 안정성 비율 $μ_i = γ_i / σ_i$는 독립적인 데이터 측 및 예측기(predictor) 측 항으로 인수분해되며, 불안정한 모드의 수는 나타날 수 있는 표현의 랭크(rank)를 추적합니다. 이 프레임워크는 상전이 경계(phase boundary)를 예측하며, 저자들은 800개 이상의 Tabular-JEPA 구성을 통해 이를 실증적으로 확인합니다. 또한 이 프레임워크는 예측기 스케일링, 마스킹 비율, EMA를 $μ$를 이동시키는 별개의 메커니즘으로 통합합니다. 이러한 분석을 바탕으로, 초기화 시 어텐션이 항등(identity) 방향으로 편향된 트랜스포머 예측기인 ResidualPred를 도입합니다. ResidualPred는 정형 데이터(tabular) 벤치마크뿐만 아니라 CIFAR-10, CIFAR-100, STL-10, ImageNet에서의 I-JEPA 사전학습 모두에서 유효 랭크와 다운스트림 정확도를 향상시킵니다. 본 프레임워크는 경험적인 붕괴 방지 휴리스틱을 명시적인 역학적 관점으로 연결하여 이론 기반의 안정화 기법을 제시합니다. 코드는 https://github.com/jose-melo/drive-vs-decay 에서 확인할 수 있습니다.
원문 초록
Joint-Embedding Predictive Architectures (JEPAs) are prone to representation collapse, typically mitigated through empirical heuristics. We develop an early-training stability theory that unifies these heuristics. Linearising the coupled JEPA gradient flow around the trivial fixed point reveals two competing effects: a driving force ($γ$) and a decay effect ($σ$). Under approximate spectral decoupling, a per-mode stability ratio $μ_i = γ_i / σ_i$ factorises into independent data-side and predictor-side terms and the count of unstable modes tracks the rank of representations that can emerge. The framework predicts a phase boundary, which we confirm empirically across more than 800 Tabular-JEPA configurations. It also unifies predictor scaling, masking ratio, and EMA as distinct mechanisms for shifting $μ$. Guided by this analysis, we introduce ResidualPred, a transformer predictor whose attention is biased toward the identity at initialisation; it improves both effective rank and downstream accuracy on tabular benchmarks and in I-JEPA pretraining on CIFAR-10, CIFAR-100, STL-10, and ImageNet. Our framework connects empirical collapse-avoidance heuristics to an explicit dynamical picture, yielding theory-driven stabilizers. Code is available at https://github.com/jose-melo/drive-vs-decay.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
SPERA: 기하학 및 주파수 인식 잠재 예측을 적용한 구면 사전분포 기반 뇌파 파운데이션 모델
SPERA: Spherical Prior EEG Foundation Model with Geometry- and Frequency-Aware Latent Prediction
호흡 활동 및 자세 인식을 위한 JEPA 표현 기반 멀티모달 센서 융합 학습
Learning Multimodal Sensor Fusion with JEPA Representations for Breathing Activity and Pose Recognition
예측 비디오 표현 자체만으로는 결측 센서를 멀티모달 시스템이 어떻게 처리해야 하는지 명시하지 않습니다. 본 연구에서는 동결된 V-JEPA2 특징을 RGB 비디오, 깊이 비디오 및 레이더 시계열로 구성된 이종 센서 세트로 전이합니다. 공유 융합 모델은 모달리티 쿼리, 고정 센서 슬롯, 명시적 가용성을 사용하여 비어 있지 않은 7개의 모든 센서 하위 집합으로부터 호흡 활동 및 자세를 분류합니다. 본 연구의 기여는 5개 피험자 그룹 폴드와 3개의 시드를 갖춘 39명의 OMuSense-23 피험자를 대상으로 하위 집합 지도, 풀링(pooling) 용량 및 표현 전이에 대한 통제된 평가를 수행한 것입니다. 일치된 다운스트림 매개변수(parameter) 수에서 최종 모델은 7개 하위 집합에 걸쳐 평균 $75.23%\pm0.60$의 기록 수준 활동 매크로 F1에 도달합니다. 각 배치(batch)에서 모든 하위 집합을 지도하면 매칭된 쿼리 풀링 대조군 대비 1.923%p 향상(조건부 95% 피험자 부트스트랩 신뢰구간 [0.647, 3.209])되는 반면, 균형 잡힌 지도 하에서는 쿼리 풀링이 매칭된 평균 풀링에 비해 뚜렷한 이점을 보이지 않습니다. 레이더 프로브는 풀링된 웨이블릿 픽셀을 넘어서는 전이를 뒷받침하고, 64-토큰(token) 추론(inference)은 평균 활동 성능을 거의 유지하며, 테스트된 Consensus-JEPA 손실(loss)은 정확한 대조군 대비 측정 가능한 이점을 추가하지 못합니다.
MA-JEPA: 다중 에이전트 강화학습을 위한 결합 임베딩 월드 모델
MA-JEPA: Joint-Embedding World Models for Multi-Agent Reinforcement Learning
월드 모델(world model)은 상상된 궤적(imagined trajectory)을 바탕으로 정책(policy)을 학습(training)함으로써 표본 효율성(sample efficiency)을 향상시키지만, 그 유용성은 미래 제어에 필요한 정보를 포착하는 표현(representation)을 학습하는 것에 달려 있습니다. 본 연구에서는 자기지도 결합 임베딩 예측(JEPA)이 다중 에이전트 강화학습(MARL)에 이러한 학습 신호를 제공할 수 있는지 조사합니다. 관측 재구성(observation reconstruction)을 타깃 표현 예측으로 대체하여 중앙 집중식 학습 및 분산 실행(CTDE)을 갖춘 모델 기반 다중 에이전트 강화학습을 가능하게 하는 확률적 월드 모델인 MA-JEPA를 소개합니다. 사후(posterior) 및 행동 조건부 역학 예측 목표를 통해 범주형 잠재 상태(categorical latent state)와 인과적 트랜스포머(causal Transformer)를 학습시키며, 이후 잠재적 상상(latent imagination)으로부터 액터-크리틱(actor-critic) 학습에 이를 활용합니다. 학습 단계에서만 사용되는 결합 예측기(joint predictor)는 모든 에이전트의 로컬 상태 및 행동을 조건으로 삼아 각 에이전트의 다음 로컬 관측 임베딩(embedding)을 예측합니다. 이러한 예측값은 실제 상호작용 중에 사용되는 동일한 로컬 사후 분포를 거쳐 가치 학습에만 사용되는 중앙 집중식 크리틱으로 전달되며, 실행은 분산된 상태를 유지합니다. 실험 결과, 이 아키텍처는 SMAC에서 강력한 성능을 보여주었으며, 평가된 8개 맵 중 4개 맵에서 기존에 보고된 가장 강력한 비교 대상의 평균 승률과 일치하거나 이를 능가했습니다.
월드 모델을 위한 적응형 잠재 용량
Adaptive Latent Capacity for World Models
본 논문에서는 넓은 잠재 표현의 조밀한 접두 문맥(prefix)에 예측 정보를 집중시키도록 학습하는 결합 임베딩 예측 아키텍처(JEPA) 기반의 월드 모델인 Adaptive LeWorldModel(ALeWM)을 소개합니다. 이러한 순서화를 유도하기 위해 ALeWM은 접두 문맥 길이에 대한 시퀀스 조건부 분포를 학습하고, 샘플링된 입력 접두 문맥으로부터 완전한 다음 임베딩을 추정하도록 예측기를 훈련합니다. 표준 붕괴 방지 목적 함수는 잠재 좌표 전반의 다양성을 장려할 뿐 예측 중요도에 따라 좌표를 정렬하지 못하므로, 본 논문은 MixSIGReg도 함께 제안합니다. MixSIGReg는 가우시안 활성 접두 문맥과 나머지 좌표의 0으로 구성된 사전 가중치 혼합 분포에 맞춰 마스킹된 임베딩을 정규화합니다. 그 결과 ALeWM 목적 함수는 앞쪽 좌표가 예측 및 재귀적 계획 수립에 유용한 정보를 유지하도록 유도합니다. 분석에 따르면 MixSIGReg가 사용하는 혼합 분포는 앞쪽 좌표 블록에 더 높은 분산을, 뒤쪽 좌표 블록에 더 낮은 분산을 할당합니다. 또한 특정 가정 하에서 예측에 가장 유용한 정보를 앞쪽 블록에 배치할 때 예측 오차가 최소화됨을 보여줍니다. 실증적으로는 상태 변수가 알려진 제어된 동적 시스템과 목표 조건부 시각 제어 환경에서 ALeWM의 동작을 연구합니다. 실험을 통해 ALeWM이 튜닝된 고정 너비 LeWM보다 평균 계획 용량을 더 적게 사용하면서도 일관되게 더 높은 평균 성공률을 달성함을 보입니다.
Tactile-JEPA: 분산 촉각 센서를 위한 위상 인식 자기지도 표현 학습
Tactile-JEPA: Topology-Aware Self-Supervised Representation Learning for Distributed Tactile Sensors
촉각 감지는 접촉이 많고 능숙한 조작, 특히 시각적 가림 상황에서 로봇이 수행하는 데 필수적인 양식이다. 로봇 학습 파이프라인에서는 사전학습된 이미지 인코더가 표준이지만, 촉각 인코더는 여전히 원시의 노이즈가 많은 신호로부터 처음부터 학습되는 경우가 많아 표현력이 제한될 수 있다. 기존 자기지도 학습(SSL) 접근법은 주로 비전 기반 촉각 센서에 초점을 맞추어 분산 전자 피부는 대체로 다루지 않았다. 그러나 이러한 센서는 감지 요소가 덮는 표면 위에 sparse하고 불규칙하게 배치된다는 독특한 특성을 가지며, 이로 인해 시각 SSL 방법을 그대로 재사용하기는 최적이 아니다. 본 논문은 촉각 센서의 공간 배치를 이용해 위상 인식 표현을 학습하는 효율적인 자기지도 사전학습 방법 Tactile-JEPA를 제안한다. 구체적으로, 공간 마스킹을 안내하기 위해 센서 연결 그래프를 사용하여 마스킹되지 않은 나머지로부터 마스킹된 감지 요소의 임베딩을 예측하도록 학습한다. 분석 결과, 효과적인 촉각 표현은 국소 접촉 세부와 촉각 표면의 전역 상태를 모두 포착해야 하며, 이를 이중 스케일 마스킹으로 달성한다. 자기 및 압저항 센서, 서로 다른 로봇 형태, 단일 및 쌍 센서 구성을 아우르는 세 가지 다양한 데이터셋에서 Tactile-JEPA는 기존 최신 방법 대비 힘 추정 오류를 6.3%, 손안 방향 오류를 20.8% 줄였으며, 정책 학습을 포함한 다른 하류 응용에서도 일관된 향상을 보였다. 종합하면, 촉각 감지의 이점은 인코더 사전학습의 품질에 크게 좌우되며, Tactile-JEPA가 이 문제를 직접 해결함을 보여준다. 코드는 https://github.com/E-Kovtun/tactile 에서 제공된다.
자기지도 음성 모델을 이용한 L2 발음 편차 측정용 원어민 기준 좌표 기하학
A Native-Reference Coordinate Geometry for L2 Pronunciation Deviation Using Self-Supervised Speech Models
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
Accepted at NeurIPS 2026 (Main Track). 57 pages, 10 pages of main text; appendices and the NeurIPS paper checklist included. Code: https://github.com/jose-melo/drive-vs-decay