Electroencephalography (EEG) provides a non-invasive measure of ongoing neural activity, but building general-purpose EEG models remains challenging due to the heterogeneity of subjects, devices, and electrode montages. Existing EEG foundation models predominantly rely on reconstruction-based objectives defined on the observed signal, which contains both neural and non-neural components. We introduce the Spherical Prior EEG Representation Architecture (SPERA), an EEG foundation model that adopts the joint-embedding predictive architecture (JEPA) to predict in latent space. SPERA introduces a Legendre-polynomial spatial prior, incorporated into attention to encode varying scalp electrode geometries. Two further components adapt the model to EEG: factorized temporal and spatial attention interleaved with periodic full-attention blocks, and a relational spectral regularizer aligning latent similarity structure with spectral views. Pretrained on approximately 80,000 hours of EEG from 29,048 subjects across 106 datasets, SPERA achieves the highest average balanced accuracy across nine downstream tasks spanning clinical, cognitive, and BCI applications. SPERA further exhibits strong parameter efficiency under linear probing and robustness across varying recording conditions, suggesting its potential as a general-purpose backbone for diverse EEG analyses.
예측 비디오 표현 자체만으로는 결측 센서를 멀티모달 시스템이 어떻게 처리해야 하는지 명시하지 않습니다. 본 연구에서는 동결된 V-JEPA2 특징을 RGB 비디오, 깊이 비디오 및 레이더 시계열로 구성된 이종 센서 세트로 전이합니다. 공유 융합 모델은 모달리티 쿼리, 고정 센서 슬롯, 명시적 가용성을 사용하여 비어 있지 않은 7개의 모든 센서 하위 집합으로부터 호흡 활동 및 자세를 분류합니다. 본 연구의 기여는 5개 피험자 그룹 폴드와 3개의 시드를 갖춘 39명의 OMuSense-23 피험자를 대상으로 하위 집합 지도, 풀링(pooling) 용량 및 표현 전이에 대한 통제된 평가를 수행한 것입니다. 일치된 다운스트림 매개변수(parameter) 수에서 최종 모델은 7개 하위 집합에 걸쳐 평균 $75.23%\pm0.60$의 기록 수준 활동 매크로 F1에 도달합니다. 각 배치(batch)에서 모든 하위 집합을 지도하면 매칭된 쿼리 풀링 대조군 대비 1.923%p 향상(조건부 95% 피험자 부트스트랩 신뢰구간 [0.647, 3.209])되는 반면, 균형 잡힌 지도 하에서는 쿼리 풀링이 매칭된 평균 풀링에 비해 뚜렷한 이점을 보이지 않습니다. 레이더 프로브는 풀링된 웨이블릿 픽셀을 넘어서는 전이를 뒷받침하고, 64-토큰(token) 추론(inference)은 평균 활동 성능을 거의 유지하며, 테스트된 Consensus-JEPA 손실(loss)은 정확한 대조군 대비 측정 가능한 이점을 추가하지 못합니다.
월드 모델(world model)은 상상된 궤적(imagined trajectory)을 바탕으로 정책(policy)을 학습(training)함으로써 표본 효율성(sample efficiency)을 향상시키지만, 그 유용성은 미래 제어에 필요한 정보를 포착하는 표현(representation)을 학습하는 것에 달려 있습니다. 본 연구에서는 자기지도 결합 임베딩 예측(JEPA)이 다중 에이전트 강화학습(MARL)에 이러한 학습 신호를 제공할 수 있는지 조사합니다. 관측 재구성(observation reconstruction)을 타깃 표현 예측으로 대체하여 중앙 집중식 학습 및 분산 실행(CTDE)을 갖춘 모델 기반 다중 에이전트 강화학습을 가능하게 하는 확률적 월드 모델인 MA-JEPA를 소개합니다. 사후(posterior) 및 행동 조건부 역학 예측 목표를 통해 범주형 잠재 상태(categorical latent state)와 인과적 트랜스포머(causal Transformer)를 학습시키며, 이후 잠재적 상상(latent imagination)으로부터 액터-크리틱(actor-critic) 학습에 이를 활용합니다. 학습 단계에서만 사용되는 결합 예측기(joint predictor)는 모든 에이전트의 로컬 상태 및 행동을 조건으로 삼아 각 에이전트의 다음 로컬 관측 임베딩(embedding)을 예측합니다. 이러한 예측값은 실제 상호작용 중에 사용되는 동일한 로컬 사후 분포를 거쳐 가치 학습에만 사용되는 중앙 집중식 크리틱으로 전달되며, 실행은 분산된 상태를 유지합니다. 실험 결과, 이 아키텍처는 SMAC에서 강력한 성능을 보여주었으며, 평가된 8개 맵 중 4개 맵에서 기존에 보고된 가장 강력한 비교 대상의 평균 승률과 일치하거나 이를 능가했습니다.
본 논문에서는 넓은 잠재 표현의 조밀한 접두 문맥(prefix)에 예측 정보를 집중시키도록 학습하는 결합 임베딩 예측 아키텍처(JEPA) 기반의 월드 모델인 Adaptive LeWorldModel(ALeWM)을 소개합니다. 이러한 순서화를 유도하기 위해 ALeWM은 접두 문맥 길이에 대한 시퀀스 조건부 분포를 학습하고, 샘플링된 입력 접두 문맥으로부터 완전한 다음 임베딩을 추정하도록 예측기를 훈련합니다. 표준 붕괴 방지 목적 함수는 잠재 좌표 전반의 다양성을 장려할 뿐 예측 중요도에 따라 좌표를 정렬하지 못하므로, 본 논문은 MixSIGReg도 함께 제안합니다. MixSIGReg는 가우시안 활성 접두 문맥과 나머지 좌표의 0으로 구성된 사전 가중치 혼합 분포에 맞춰 마스킹된 임베딩을 정규화합니다. 그 결과 ALeWM 목적 함수는 앞쪽 좌표가 예측 및 재귀적 계획 수립에 유용한 정보를 유지하도록 유도합니다. 분석에 따르면 MixSIGReg가 사용하는 혼합 분포는 앞쪽 좌표 블록에 더 높은 분산을, 뒤쪽 좌표 블록에 더 낮은 분산을 할당합니다. 또한 특정 가정 하에서 예측에 가장 유용한 정보를 앞쪽 블록에 배치할 때 예측 오차가 최소화됨을 보여줍니다. 실증적으로는 상태 변수가 알려진 제어된 동적 시스템과 목표 조건부 시각 제어 환경에서 ALeWM의 동작을 연구합니다. 실험을 통해 ALeWM이 튜닝된 고정 너비 LeWM보다 평균 계획 용량을 더 적게 사용하면서도 일관되게 더 높은 평균 성공률을 달성함을 보입니다.
결합 임베딩 예측형 월드 모델(Joint-embedding predictive world models)은 잠재 예측을 통해 계획 수립(planning)을 지원하지만, 제약 없는 결합 학습(joint training)은 서로 다른 관측치를 동일한 임베딩으로 붕괴(collapse)시킬 수 있습니다. 붕괴를 방지하기 위한 두 가지 대표적인 전략은 DINO-WM처럼 사전학습된 특징을 상속받거나, LeWorldModel(LeWM)처럼 붕괴 방지 정규화를 적용하여 표현을 엔드투엔드로 학습하는 것입니다. 그러나 붕괴를 방지한다고 해서 잠재 공간의 거리가 과업에 중요한 방식으로 결과를 구별해 주는 것은 아닙니다. 예를 들어 물체 조작(object manipulation)에서 성공 여부는 목표 대비 물체의 위치와 방향에 따라 결정됩니다. 이러한 과업 관련 상태 정보는 정확하게 디코딩될 수 있으면서도 잠재 거리에는 거의 영향을 미치지 않을 수 있습니다. 그 결과 발생하는 계획 수립 비용은 예측된 결과가 과업 목표에 얼마나 가까운지를 반영하지 못할 수 있습니다. 본 논문에서는 샘플링된 쌍별(pairwise) 잠재 거리와 과업 관련 상태 공간의 거리 간 상관관계를 형성하는 방법인 SCALE(State-CAlibrated Latent Embeddings)을 제안합니다. LeWM의 기존 목적 함수에 추가되는 SCALE은 기존 아키텍처를 그대로 유지하고, 학습 중에만 특권 상태(privileged state)를 필요로 하며, 계획 수립 시점의 계산량을 추가하지 않습니다. 여러 솔버를 사용한 조작 및 내비게이션 과업 전반에서 SCALE이 LeWM 대비 계획 수립 성공률을 향상시킴을 보이고, SCALE이 계획 수립을 지원하기 위해 표현 기하학(representation geometry)을 어떻게 재구성하는지에 대한 포괄적인 분석을 제공합니다.
결합 임베딩 예측 아키텍처(Joint-Embedding Predictive Architecture, JEPA)는 표현 붕괴(representation collapse)가 발생하기 쉬우며, 일반적으로 경험적 휴리스틱을 통해 이를 완화합니다. 본 연구에서는 이러한 휴리스틱들을 통합하는 초기 학습 안정성 이론을 개발합니다. 자명한 고정점 주변에서 결합된 JEPA 그래디언트 흐름을 선형화하면 두 가지 상충하는 효과인 구동력($γ$)과 감쇠 효과($σ$)가 드러납니다. 근사적 스펙트럼 디커플링 조건에서 모드별 안정성 비율 $μ_i = γ_i / σ_i$는 독립적인 데이터 측 및 예측기(predictor) 측 항으로 인수분해되며, 불안정한 모드의 수는 나타날 수 있는 표현의 랭크(rank)를 추적합니다. 이 프레임워크는 상전이 경계(phase boundary)를 예측하며, 저자들은 800개 이상의 Tabular-JEPA 구성을 통해 이를 실증적으로 확인합니다. 또한 이 프레임워크는 예측기 스케일링, 마스킹 비율, EMA를 $μ$를 이동시키는 별개의 메커니즘으로 통합합니다. 이러한 분석을 바탕으로, 초기화 시 어텐션이 항등(identity) 방향으로 편향된 트랜스포머 예측기인 ResidualPred를 도입합니다. ResidualPred는 정형 데이터(tabular) 벤치마크뿐만 아니라 CIFAR-10, CIFAR-100, STL-10, ImageNet에서의 I-JEPA 사전학습 모두에서 유효 랭크와 다운스트림 정확도를 향상시킵니다. 본 프레임워크는 경험적인 붕괴 방지 휴리스틱을 명시적인 역학적 관점으로 연결하여 이론 기반의 안정화 기법을 제시합니다. 코드는 https://github.com/jose-melo/drive-vs-decay 에서 확인할 수 있습니다.
목표 프레임 대신 언어로 목표를 지정하는 방식은 잠재 월드 모델(latent world model)을 사용한 계획 수립(planning)에 자연스러운 인터페이스이지만, 이를 검증하려면 언어가 여러 객체를 구별해야 하는 장면이 필요합니다. 본 연구에서는 여러 개의 작은 객체와 동일한 장면에 대한 시각적 및 언어 목표 쌍으로 구성된 밀기 벤치마크인 SLIM을 구축했습니다. SLIM에서 PushT를 해결하는 LeWM 월드 모델은 시뮬레이터 상태를 사용하는 스크립트 컨트롤러가 모든 단계를 해결함에도 불구하고 1% 미만의 시도에서만 성공합니다. 프로브 분석 결과 인코더에서 실패의 원인을 찾아냈습니다. 인코더의 잠재 상태는 행동에 거의 반응하지 않으며, 푸셔(pusher)나 객체의 위치를 디코딩할 수 없고, 롤아웃은 현재 잠재 상태를 그대로 복사해 전달하는 수준에 불과합니다. 인코더 잠재 상태와 예측된 잠재 상태 모두에 공유 헤드를 통해 적용되며 테스트 시점에는 폐기되는 단 하나의 역동역학(inverse-dynamics) 보조 손실(loss)만으로 모든 프로브를 회복하고 성공률을 0.003에서 0.35로 끌어올렸으며(목표 무관 정책의 점수가 0인 고난도 밀기 단계에서는 0.16), 학습된 지평의 2배 길이에서도 PushT 성능을 향상시켰습니다. 대조군 분석을 통해 이러한 개선이 인코더로 유입되는 그래디언트(gradient) 덕분임을 확인했으며, 반응도 조사를 통해 기본 모델 또한 행동에 반응하는 프레임 영역이 충분해지면 계획을 수립할 수 있음을 보였습니다. 환경(environment) 접근 없이도 계산 가능한 저비용의 행동 민감도 프로브는 경험적 필요조건으로 작용하여 임계값 미만의 모든 설정에서 계획 수립에 실패했습니다. 복구된 잠재 공간 위에서는 소형 언어 목표 헤드가 월드 모델의 재학습 없이도 문장으로부터 계획을 수립합니다. 내비게이션에서 0.84에 도달하고(시각 목표 오라클은 1.00), 유인물(decoy)과 자리가 바뀌더라도 지정된 영역을 추적하며, 보지 못한 명사에 대해서도 완만하게 성능 저하를 보입니다. 단일 목표 문장으로는 밀기를 완수하기 어렵지만, 밀기 작업을 일련의 단계별 문장 시퀀스로 제공하면 중간 및 고난도 밀기 단계에서 헤드의 성공률이 0.04에서 목표 프레임 오라클 수준인 0.25로 향상되며, 단계 간의 전환을 잠재 상태에서만 읽어내는 경우에도 동일한 성과를 거둡니다.
결합 임베딩 예측 아키텍처(JEPA)를 통해 에이전트는 후보 행동의 결과를 상상함으로써 잠재 공간(latent space)에서 계획을 수립할 수 있지만, 여전히 태스크 명세(task specification)가 병목으로 남아 있습니다. 시각적 타깃은 정밀한 국소적 그래디언트를 제공하지만 장거리 유도에는 취약한 반면, 언어는 유연하지만 노이즈가 있는 크로스모달 정렬이나 별도의 대규모 생성 모델에 대한 의존성으로 인해 한계가 있습니다. 본 연구에서는 단일 예측기가 행동 조건부 역학(dynamics)을 예측하는 동시에 언어 지시를 일련의 중간 잠재 하위 목표(latent subgoal) 시퀀스로 그라운딩(grounding)하는 계층적 월드 모델인 LAGO(Latent Goal Prediction from Language)를 제안합니다. LAGO는 공유된 잠재 공간에서 단일 회귀 목적함수를 사용해 두 모드를 모두 학습합니다. 각 계획 수립 단계에서 LAGO는 언어 지시로부터 잠재 하위 목표 시퀀스를 예측하고, 고정된 경로를 강제하지 않으면서 하위 목표 근접성에 보상을 부여하는 소프트 최소(soft-minimum) 정렬 비용을 활용하여 행동 시퀀스를 최적화합니다. 하위 목표는 에이전트의 상태가 변함에 따라 재예측되어, 단일 장기 지시를 국소적으로 다루기 쉬운 일련의 목표 시퀀스로 전환합니다. 내비게이션 및 매니퓰레이션을 아우르는 환경 전반에서 LAGO는 평탄형(flat) 및 계층적 이미지 목표 플래너보다 우수한 성능을 보였으며, 곡선 형태의 위험 회피 경로가 있는 장기 내비게이션에서 가장 큰 폭의 향상을 달성하여 동일한 시연 데이터로 학습된 목표 조건부 행동 복제(behavior cloning) 정책의 성공률을 두 배 이상 끌어올렸습니다. 월드 모델 자체의 잠재 공간에 언어를 그라운딩하는 방식은 정답 역학(ground-truth dynamics)으로 계획을 수립하는 모델을 포함한 비전-언어(vision-language) 보상 모델보다도 우수한 성능을 보입니다.
고차원 시각적 관측으로부터 학습된 월드 모델(world model)은 에이전트가 픽셀 수준의 재구성을 피하면서 잠재 공간(latent space)에서 직접 의사결정하고 계획(planning)을 수립할 수 있도록 해줍니다. 그러나 DINO 월드 모델(DINO-WM)을 포함한 최근의 잠재 예측 아키텍처(JEPA)는 해결하려는 작업과 무관한 배경 변화 및 시각적 방해 요소(distractor)와 같은 시각적 변동을 포함하는 "느린 특징(slow features)"에 민감하여 테스트 시점의 강건성 저하를 보입니다. 본 연구에서는 제어 관련 상태 동등성을 강제하는 바이시뮬레이션 인코더(bisimulation encoder)로 예측 목적 함수를 보강하여 이 한계를 해결합니다. 이를 통해 느린 특징의 기여를 제한하는 동시에 유사한 전이 역학(transition dynamics)을 가진 상태를 가까운 잠재 상태로 매핑합니다. 우리는 다양한 테스트 시점 배경 변화 및 시각적 방해 요소 환경하의 내비게이션 작업(PointMaze)과 조작 작업(PushT)에서 모델을 평가(evaluation)합니다. 모든 벤치마크(benchmark)에 걸쳐 본 모델은 DINO-WM보다 최대 10배 작은 축소된 잠재 공간에서 작동하면서도 느린 특징에 대한 강건성을 일관되게 향상시킵니다. 또한, 본 모델은 사전학습(pre-training)된 시각적 인코더 선택에 구애받지 않으며, DINOv2, SimDINOv2, iBOT 특징과 결합했을 때도 강건성을 유지합니다.
월드 모델(world model) 플래너는 일반적으로 상상된 모든 전이(transition)에 동일한 연산량을 할당하면서 더 먼 단계까지 롤아웃(rollout)하거나, 더 많은 궤적을 샘플링하거나, 더 오래 최적화하는 방식으로 외적 스케일링(scaling outward)을 수행합니다. 본 논문에서는 모든 전이를 일률적으로 더 깊게 만드는 것이 연산량을 낭비하고, 유용한 개선이 소수의 의사결정상 핵심적인(decision-critical) 사건에 집중되어 있기 때문에 플래닝 성능을 저하시킬 수 있음을 보입니다. 이에 따라 전이 깊이를 내부의 테스트 시점 스케일링(test-time scaling) 축으로 취급하고, 각 후보 및 롤아웃 단계마다 추가적인 순환 업데이트를 계산할 가치가 있는 시점을 학습하는 가중치 공유(weight-tied) 결합 임베딩 예측(joint-embedding predictive) 월드 모델인 DeepJEPA를 제안합니다. 다섯 가지 시각 제어 환경에서 DeepJEPA는 전이당 평균 1.00~1.26회의 업데이트만을 수행하면서도 가장 강력한 고정 깊이 플래너의 성능을 능가하거나 대등한 수준을 달성합니다. 추가적인 연산은 접촉 시작 및 지속적인 물체 상호작용에 집중되며, 여기서 잠재 수정(latent correction)은 어떤 후보가 플래너의 엘리트 세트에 진입하고 어떤 행동이 선택되는지를 바꿀 수 있습니다. 또한 표현 프로브(representation probe) 분석을 통해 플래닝 성능 향상이 물체 상태 디코딩 가능성의 일률적인 개선을 필요로 하지 않음을 보입니다. 따라서 DeepJEPA는 월드 모델 스케일링을 플래너의 결정을 바꿀 수 있는 곳에 내부 연산을 할당하는 문제로 재구성합니다. 즉, 모든 롤아웃을 일률적으로 더 깊게 혹은 더 길게 만드는 대신 의사결정상 핵심적인 전이에서 더 깊이 사고하는 것입니다.
단백질 언어 모델은 주로 마스크된 언어 모델링(MLM)으로 학습되며, 이는 마스크된 아미노산 종류를 예측한다. 공동 임베딩 예측 아키텍처(JEPA)는 대신 잠재 표현을 예측하지만, 단백질에는 아직 적용되지 않았다. ProteinJEPA는 마스크되지 않은 서열이 주어졌을 때 teacher의 절반 깊이 은닉 상태를 예측하기 위한 코사인 손실로 MLM을 보완한다. 19개 태스크에서, 35M 및 150M 파라미터 ESM2와 세 가지 사전학습 시드 기준으로 MLM+JEPA는 114번 비교 중 78번과 76번에서 연산량 맞춤 및 스텝 맞춤 MLM 단독 지속 학습을 능가한다(14번 패배, 22번 동률). 연산량 맞춤 중앙값 이득은 구조·상동성 민감 태스크에서 $+0.0106$, 그 외에서는 $+0.0041$이며, SCOPe-40 검색과 원격 상동성에서 각각 Recall@1 6.1퍼센트포인트, 정확도 2.7포인트 향상이 앞선다. 이러한 태스크에서의 이득은 모델 크기 8M에서 150M까지 커질수록 증가한다. 기성 체크포인트 대비 MLM+JEPA는 114번 비교 중 81번에서 이기며(중앙값 $+0.0068$), MLM 손실은 개선하지 않는다. 무작위 초기화에서는 이득이 더 작고 시드 간 재현이 일관되지 않다($p{=}0.059$). 동일한 방법은 인과적 ProGen3 모델도 개선하여 16개 태스크 중 12개에서 연산량 맞춤 다음 토큰 예측 대조를 이긴다. ablation에 따르면 코사인 손실이 평균제곱 오차보다 낫고, 더 얕은 타깃을 추가하면 태스크 이득의 대부분이 사라진다. JEPA 단독 학습은 다운스트림 성능이 붕괴한다: 잠 latent 예측은 MLM을 대체하기보다 보완한다. Code: https://anonymous.4open.science/r/protJepa-FF24
월드 액션 모델(WAM)은 행동 생성과 환경 역학을 공동으로 모델링하며, 대부분 사전학습된 비디오 확산 모델(VDM) 위에 구축된다. VDM 기반 WAM에서는 관측이 먼저 VAE로 인코딩되고, 그 결과 압축 잠재(latent)가 대규모 비디오 확산 백본에서 처리되어 행동 생성에 효과적인 특징을 추출한다. 그러나 이 패러다임은 WAM 성능과 학습 비용을 대규모 비디오 생성 사전학습에 묶어 WAM의 효율성과 확장성을 제한한다. 본 논문에서는 WAM에서 시각 표현이 행동 생성에 미치는 영향을 이론적·실증적으로 조사한다. 결과에 따르면 Joint-Embedding Predictive Architecture(JEPA) 인코더의 예측 임베딩은 압축 VAE 잠재보다 행동 생성을 더 잘 지원하며, 인코더 비교에서 I-JEPA가 가장 우수했다. 이에 기반해 행동 생성을 JEPA 임베딩에 조건화하고, 비디오 확산 백본 없이 동일 공간에서 미래 임베딩을 예측해 환경 진화를 모델링하는 LeWAM을 제안한다. 또한 모방 학습(imitation learning)은 시연 행동과 맞추지만, 작은 행동 편차가 과제 성공에 크게 영향을 줄 수 있음에도 더 나은 행동과 열등한 행동을 구분하지 못함을 확인한다. 추가 환경 상호작용이나 리셋·안전에 필요한 인간 감독 없이 이 한계를 완화하기 위해, 시연에서 직접 선호 감독을 도출하는 오프라인 선호 정제 단계인 Demonstration-Guided DPO(DemoDPO)를 도입한다. 학습 가능 파라미터 0.4B만으로 LeWAM은 RoboTwin 2.0에서 평균 성공률 92.28%를 달성해 최신 VLA 및 WAM과 유사한 수준이며, 실제 조작 과제에서도 실용적 효과를 유지한다.
촉각 감지는 접촉이 많고 능숙한 조작, 특히 시각적 가림 상황에서 로봇이 수행하는 데 필수적인 양식이다. 로봇 학습 파이프라인에서는 사전학습된 이미지 인코더가 표준이지만, 촉각 인코더는 여전히 원시의 노이즈가 많은 신호로부터 처음부터 학습되는 경우가 많아 표현력이 제한될 수 있다. 기존 자기지도 학습(SSL) 접근법은 주로 비전 기반 촉각 센서에 초점을 맞추어 분산 전자 피부는 대체로 다루지 않았다. 그러나 이러한 센서는 감지 요소가 덮는 표면 위에 sparse하고 불규칙하게 배치된다는 독특한 특성을 가지며, 이로 인해 시각 SSL 방법을 그대로 재사용하기는 최적이 아니다. 본 논문은 촉각 센서의 공간 배치를 이용해 위상 인식 표현을 학습하는 효율적인 자기지도 사전학습 방법 Tactile-JEPA를 제안한다. 구체적으로, 공간 마스킹을 안내하기 위해 센서 연결 그래프를 사용하여 마스킹되지 않은 나머지로부터 마스킹된 감지 요소의 임베딩을 예측하도록 학습한다. 분석 결과, 효과적인 촉각 표현은 국소 접촉 세부와 촉각 표면의 전역 상태를 모두 포착해야 하며, 이를 이중 스케일 마스킹으로 달성한다. 자기 및 압저항 센서, 서로 다른 로봇 형태, 단일 및 쌍 센서 구성을 아우르는 세 가지 다양한 데이터셋에서 Tactile-JEPA는 기존 최신 방법 대비 힘 추정 오류를 6.3%, 손안 방향 오류를 20.8% 줄였으며, 정책 학습을 포함한 다른 하류 응용에서도 일관된 향상을 보였다. 종합하면, 촉각 감지의 이점은 인코더 사전학습의 품질에 크게 좌우되며, Tactile-JEPA가 이 문제를 직접 해결함을 보여준다. 코드는 https://github.com/E-Kovtun/tactile 에서 제공된다.
Joint Embedding Predictive Architecture(JEPA)는 시각적 재구성(visual reconstruction) 없이 과제 무관(task-agnostic) 잠재 월드 모델을 학습(training)하기 위한 유망한 패러다임입니다. 그러나 표준 JEPA 학습은 느린 특징(slow feature)에 대한 강한 귀납적 바이어스(inductive bias)를 보여, 특징 억제와 잠재 표현(latent representation)의 붕괴를 초래합니다. 역동역학(inverse dynamics)은 시간적 붕괴 방지(temporal anti-collapse)를 제공하지만, 행동 레이블(action label)에 의존하며 레이블이 없는 일반적인 역동학을 임베딩(embedding)하도록 유도하는 효과는 미미합니다. 본 논문에서는 픽셀 재구성 손실(pixel reconstruction loss) 없이 시간적 차영상 임베딩을 예측하는 역동역학 스타일 모듈을 기반으로 하여 정적 및 동적 특징 학습의 균형을 맞추는 새로운 정규화(regularization) 기법인 Difference Image and Single image embedding Regularization(DISReg)을 소개합니다. DISReg는 이미지 임베딩의 분포를 형성하고 느린 특징을 유도하는 정적 항과, 임베딩에 직접 정규화를 적용하는 방식과 달리 이미지 임베딩의 형태나 분포에 제약을 가하지 않고 동적 특징이 존재하도록 유도하기만 하는 동적 항으로 구성됩니다. 이 정규화 기법을 표준 JEPA에 통합하여 새로운 아키텍처인 MotionJEPA를 구축합니다. 잠재 프로빙(latent probing)을 통해 MotionJEPA가 다른 방식들보다 더 완전한 표현을 생성함을 입증하며, 궤적 분석(trajectory analysis)을 통해 곡률(curvature)이 낮은 기하학적으로 단순한 잠재 임베딩을 유지함을 보여줍니다. 나아가 4개의 환경에서 MotionJEPA가 정적 배경 방해 요소(static-background distractors)가 존재하는 상황에서도 다운스트림 플래닝(planning) 성공률을 향상시킴을 보입니다.
최근 결합 임베딩 예측 아키텍처(JEPA)는 자기지도 표현 학습을 위한 유망한 프레임워크로서 컴퓨터 비전 및 머신러닝 커뮤니티에서 큰 주목을 받고 있다. 픽셀을 재구성하는 마스크드 오토인코더와 달리, JEPA 모델은 마스킹된 영역의 잠재 임베딩을 예측함으로써 표현을 학습한다. I-JEPA, V-JEPA 등 기존 JEPA 기반 방법들은 학생 네트워크에 단일 인코더를 사용하는 것이 일반적이다. 반면, 학생 네트워크에 샴(Siamese) 인코더를 사용하는 방식은 뇌에서 영감을 받은 표현 학습 프레임워크와 더 자연스럽게 부합하지만, JEPA 모델에서 그 역할은 아직 충분히 탐구되지 않았다. 본 논문에서는 JEPA 기반 표현 학습에서 샴 학생 인코더의 효과를 규명한다. 이를 위해 지수 이동 평균(EMA) 교사 네트워크를 갖춘 마스크드 샴 학생 인코더로 구성된 SiamJEPA를 제안한다. SiamJEPA는 뇌에서 영감을 받은 표현 학습 모델인 PhiNet의 JEPA 공식화로도 해석될 수 있다. ImageNet 선형 프로빙에 대한 광범위한 실험을 통해, 샴 인코더가 JEPA 목적 함수에 효과적인 정규화기(regularizer)로 작용하여 표현 분리성을 향상시키고 학습 초기 단계에서 학습을 가속화함을 입증한다. 나아가, SiamJEPA는 제한된 학습 예산 하에서 비교 가능한 단일 인코더 JEPA 변형들을 일관되게 능가하며, 더 긴 학습을 필요로 하는 마스크드 오토인코더(MAE)보다 높은 선형 프로빙 정확도를 달성한다. 본 연구 결과는 샴 학생 인코더가 단순한 아키텍처적 선택이 아니라 예측적 표현 학습을 위한 중요한 귀납적 바이어스를 구성함을 밝힌다. 이러한 결과는 JEPA 기반 모델 설계에 대한 새로운 통찰을 제공하며, 샴 학생 아키텍처를 도입하는 것이 자기지도 표현 학습을 개선하기 위한 간단하면서도 효과적인 접근 방식임을 시사한다.
Joint-Embedding Predictive Architectures(JEPA)는 이미지, 비디오, 오디오에서 효과적이지만, 결정론적 JEPA 스타일의 잠재 예측은 텍스트 인코더의 표준 목적 함수가 되지 못했다. 우리는 이러한 격차가 제곱 오차 기반 잠재 예측과 언어의 조건부 구조 사이의 불일치를 반영한다고 주장한다. 핵심 요구사항은 조건부 집중(conditional concentration)이다: 컨텍스트와 타겟 위치가 주어졌을 때, 타겟 표현은 단일한 의미 있는 점 근처에 위치해야 한다. 지역적 이미지 예측은 공간적 연속성을 통해 이를 종종 만족시키지만, 마스킹된 텍스트는 여러 유효한 토큰 또는 스팬(span) 완성을 허용할 수 있으며, 이들의 표현이 일관된 중심을 공유할 필요가 없다. 우리는 예측 가능성(predictability), 붕괴 방지(non-collapse), 낮은 조건부 분산(low conditional variance)의 세 가지 조건을 통해 이 불일치를 형식화하고, 이들의 실패가 텍스트에서 중심점 퇴화(centroid degeneracy)와 붕괴 압력(collapse pressure)을 어떻게 만드는지 보인다. 매칭된 I-JEPA 및 T-JEPA 실험은 예측된 순서를 드러낸다: 상호 정보량(mutual-information) 포화와 높아진 타겟 분산이 학습-검증 불안정성, 유효 랭크(effective-rank) 퇴화, 코사인 붕괴(cosine collapse), 낮은 다운스트림 전이 성능에 앞선다. 동일한 패턴은 5개의 독립적인 데이터 시드(seed)에서 나타나며, 이는 샘플링 아티팩트가 아님을 나타낸다. 이 결과는 언어에 대한 예측 학습을 배제하지 않는다; 이들은 텍스트 호환 JEPA 목적 함수가 여러 그럴듯한 완성을 단일 잠재 점으로 압축하기보다 보존해야 함을 보여준다.
고차원 관측으로부터 환경 역학을 추론하고 후보 행동 하에서 결과를 예측하는 월드 모델 학습은 계획과 제어의 핵심이다. Joint-Embedding Predictive Architectures(JEPAs)는 표현 공간에서 이러한 모델을 학습하기 위한 설득력 있는 프레임워크를 제공한다. 최근의 행동 조건부 확장은 시각 제어와 잠재 공간 계획에서 유망한 성능을 보이지만, 근본적인 질문은 여전히 남아 있다: 제어된 잠재 예측은 언제 기저 상태와 제어된 역학을 모두 식별하는가? 이는 비선형 관측과 조건부 행동 변화가 제한된 행동 정책 하에서, 상태 의존적 진화와 행동 효과가 통계적으로 혼동될 수 있어 어렵다. 우리는 상태 의존적 가우시안 행동 정책 하에서 가우시안 잠재 상태를 갖는 제어 월드 모델에 대한 공동 식별 가능성 이론을 수립한다. 우리는 두 가지 정책 의존적 조건을 밝힌다: 예측 가능한 신호의 스펙트럴 분리는 표현 식별 가능성을, 비퇴화(degenerate하지 않은) 조건부 행동 변화는 전이 식별 가능성을 지배한다. 두 조건이 모두 성립할 때, JEPA 목적 함수의 모든 전역 최소화자는 직교 변환까지 잠재 상태와 제어된 전이를 식별함을 증명한다. 또한 근사 최적화 하에서 표현 및 전이 식별 가능성에 대한 정량적 경계를 유도한다. 마지막으로, 약하게 여기된(excited) 행동 방향을 따른 예측기 교란을 구성하여, 반사실적-온-정책 오차 비가 전이 식별 가능성 마진의 역수가 됨을 보이고, 이는 제한된 행동 커버리지의 비용을 드러낸다. 비선형 관측 맵과 행동 정책에 걸친 실험은 이론을 뒷받침하고, 전이 식별 가능성, 반사실적 예측, 목표 조건부 잠재 계획에 대한 함의를 보여준다.
IQ-JEPA: A Joint-Embedding Predictive Architecture with a Hermitian Vision Transformer for Sound Speed and Attenuation Estimation from Ultrasound IQ Data
조직 내 음속은 잘 초점이 맞춰진 영상화를 위한 전제 조건이며 진단적 가치를 지니지만, 원시 펄스-에코 채널 데이터로부터 이를 복원하는 것은 근본적으로 비선형 역문제이다. 학습 기반 솔버는 빠르지만 라벨을 많이 요구한다. 시뮬레이션된 음속 라벨은 비용이 크고, 풍부한 실제 채널 데이터는 라벨이 없다. 우리는 두 데이터 유형을 모두 활용하기 위해 IQ-JEPA를 제안한다. 인코더는 라벨 없이 사전학습(pre-training)되어 가시적인 컨텍스트로부터 마스킹된 동상(in-phase) 및 직교(quadrature, IQ) 영역의 잠재 표현을 예측하고, 이후 시뮬레이션 맵에 대해 파인튜닝(fine-tuning)된다. 음속은 IQ 신호에서 위상 차이로 나타나며, 상수 위상 오프셋에 대해 불변이다. 인코더는 복소 신호에 직접 작동하는 Hermitian 비전 트랜스포머이다. 그 어텐션은 해당 위상에 대해 등변(equivariant)이며, 켤레곱(conjugate-product) 피드포워드(feed-forward)는 이에 대해 불변(invariant)이므로, 인코더는 고전적 코히런스(coherence) 방법이 사용하는 것과 유사한 양을 읽는다. 2.5 MHz에서 79,293개의 Fullwave 2.5 시뮬레이션에 대해, 63,435개의 라벨 없는 획득 데이터에 대한 사전학습은 10,000개 라벨에서 15.60 m/s에 도달한다. 이는 지도 학습 대비 라벨 효율에서 대략 3배의 이득이며, 1,000개 라벨에서는 4배 이상으로 증가한다. InversionNet 기준선보다 약 2.2배 낮으며, 전체 라벨에서는 8.71 m/s이다. 이득은 라벨 없는 사전학습 데이터가 더 많아질수록 계속 증가한다. 우리의 비교는 자기지도 학습(self-supervision)이 지배적 요인임을 시사한다. 동일한 인코더는 전이(transfer)된다. 고정(frozen)된 특징은 음속과 감쇠를 드러내며, 층상(layered) 및 복부(abdominal) 팬텀 간 교차 분포(cross-distribution) 사전학습은 정확도 손실이 거의 없다. 우리는 이를 정량적 초음파(quantitative ultrasound)를 위한 파운데이션 모델(foundation model)로 나아가는 첫걸음으로 본다.
우리는 공동 임베딩 예측 아키텍처(JEPA)를 중심으로 구축된 편미분방정식(PDE)용 목표 무관 제어 프레임워크를 제시한다. 소형 2D ViT 인코더와 행동 조건부 잠재 역학은 보상이나 하류 목표 없이 오프라인으로 학습된 뒤 고정(frozen)되고, 모델 예측 경로 적분(MPPI) 제어기에 의해 재사용된다. 우리는 이용 가능할 때, 제어 목표가 학습된 잠재 공간에서의 원시 유클리드 거리($L^2$) 최소화보다 명시적 물리 관측량(단사성(injectivity)이 보장될 때)에 적용되는 것이 더 낫다는 것을 발견한다. 고정된 잠재 롤아웃에 대한 학습된 선형 운동에너지(KE) 프로브에 대해, 기저 월드 모델을 변경할 필요 없이 보류된 궤적을 $R^2=0.989$로 재현할 수 있다. PDE Control Gym 2D Navier--Stokes 벤치마크에서 KE-프로브 계획은 잠재-$L^2$ 계획의 $-12.08\pm0.86$에서 일치하는 50-에피소드 네이티브 보상을 $-10.90\pm0.91$(95\% CI)로 개선하며, 마지막 1/4 구간 속도장 RMSE를 $0.0765$에서 $0.0692$로 낮춘다. 의도적으로 보류된 서로 다른 비주기적 목표 3개에 걸쳐, KE 계획은 잠재-$L^2$ 계획 대비 후반 필드 RMSE를 $53\%$($0.0220$ 대 $0.0469$) 낮추며, 30개의 페어링된 에피소드 모두에서 승리한다. 동일한 고정 모델은 KE의 직접 조절을 통해 정상(steady) 구성 주변 안정화를 목표로 하는 제어도 지원하며, 평균 상대 오차 $2.7\%$를 달성한다. 잠재 프로브가 측정 노이즈와 결측 픽셀에 취약하지만, 우리는 결과가 잠재 역학이 동적이면서도 목표 무관일 수 있고, 보정된 관측량(고유한 연속성을 보장한다면)이 상태 제어를 위한 더 나은 목표가 될 수 있다는 주장을 뒷받침한다고 믿는다.
공동 임베딩 예측 아키텍처(JEPA)는 잠재 월드 모델의 주류 설계이지만, 보통은 규범적 원리가 아니라 실증적 성능으로 정당화된다. 우리는 붕괴 방지 정규화기(anti-collapse regulariser) 선택이 JEPA의 학습 목표, 즉 예측 손실과 가중 임베딩 정규화기의 합이 유효한 능동 추론(AIF) 변분 자유 에너지인지를 결정한다는 것을 보인다. 우리는 네 가지 비대조(non-contrastive) 정규화기(VICReg, LogDet, PairDist, SIGReg)를 사전 오보정(prior-miscalibration) 간극으로 색인된 엔트로피 추정기 계층으로 정리하고, 간극의 부호, 즉 추정기가 잠재 엔트로피를 위에서 또는 아래에서 한정(bound)하는지 여부가 AIF 놀람(surprise) 상한이 유지되는지를 결정한다는 것을 보인다: VICReg과 LogDet은 불안전한 상한, PairDist는 안전한 하한이며, SIGReg은 간극을 제거한다. 이어서 대응 정리(correspondence theorem)를 증명한다: 표준 상수 노이즈 인코더 모델과 성공적인 SIGReg 적용(등방성 가우시안 임베딩) 아래에서 간극은 사라지고, 목표함수는 정확한 정보 병목(information bottleneck)이 되며, 놀람 상한은 보존되고, 잠재 목표 비용(latent goal cost)은 AIF 실용적 가치(pragmatic value)의 정확한 대리(proxy)가 된다. 반면 VICReg은 환원 불가능한 2차 이방성(anisotropy) 항을 남긴다. 우리는 대응을 다단계 기대 자유 에너지(expected free energy), 앙상블 인식론적 가치(epistemic value), 학습된 정책(le learned-policy) 체제로 확장하고, 현재 어떤 JEPA 월드 모델도 계산하지 않는 유일한 AIF 항을 밝힌다: 미래 상태 커버리지(future-state coverage) 신호인 상태-인식론적 가치(state-epistemic value). 예측은 정도의 차이가 아니라 종류의 차이이며, 여기서는 별도 연구에서의 실증적 검증을 위해 남겨 둔 이론적 함의로 기술한다; 완전한 증명은 부록 A에 있고, 모든 결과의 대수 핵심은 Lean 4(부록 D)에서 기계 검증되었다.