JEPA-Bisim: 결합 임베딩 예측 월드 모델을 활용한 플래닝용 강건한 시각적 표현 학습
JEPA-Bisim: Learning Robust Visual Representations for Planning with Joint-Embedding Predictive World Models
한국어 초록
고차원 시각적 관측으로부터 학습된 월드 모델(world model)은 에이전트가 픽셀 수준의 재구성을 피하면서 잠재 공간(latent space)에서 직접 의사결정하고 계획(planning)을 수립할 수 있도록 해줍니다. 그러나 DINO 월드 모델(DINO-WM)을 포함한 최근의 잠재 예측 아키텍처(JEPA)는 해결하려는 작업과 무관한 배경 변화 및 시각적 방해 요소(distractor)와 같은 시각적 변동을 포함하는 "느린 특징(slow features)"에 민감하여 테스트 시점의 강건성 저하를 보입니다. 본 연구에서는 제어 관련 상태 동등성을 강제하는 바이시뮬레이션 인코더(bisimulation encoder)로 예측 목적 함수를 보강하여 이 한계를 해결합니다. 이를 통해 느린 특징의 기여를 제한하는 동시에 유사한 전이 역학(transition dynamics)을 가진 상태를 가까운 잠재 상태로 매핑합니다. 우리는 다양한 테스트 시점 배경 변화 및 시각적 방해 요소 환경하의 내비게이션 작업(PointMaze)과 조작 작업(PushT)에서 모델을 평가(evaluation)합니다. 모든 벤치마크(benchmark)에 걸쳐 본 모델은 DINO-WM보다 최대 10배 작은 축소된 잠재 공간에서 작동하면서도 느린 특징에 대한 강건성을 일관되게 향상시킵니다. 또한, 본 모델은 사전학습(pre-training)된 시각적 인코더 선택에 구애받지 않으며, DINOv2, SimDINOv2, iBOT 특징과 결합했을 때도 강건성을 유지합니다.
원문 초록
World models learned from high-dimensional visual observations allow agents to make decisions and plan directly in latent space, avoiding pixel-level reconstruction. However, recent latent predictive architectures (JEPAs), including the DINO world model (DINO-WM), display a degradation in test time robustness due to their sensitivity to ``slow features". These include visual variations such as background changes and distractors that are irrelevant to the task being solved. We address this limitation by augmenting the predictive objective with a bisimulation encoder that enforces control-relevant state equivalence, mapping states with similar transition dynamics to nearby latent states while limiting contributions from slow features. We evaluate our model on a navigation task (PointMaze) and on a manipulation task (PushT) under different test-time background changes and visual distractors. Across all benchmarks, our model consistently improves robustness to slow features while operating in a reduced latent space, up to $10\times$ smaller than that of DINO-WM. Moreover, our model is agnostic to the choice of pre-trained visual encoder and maintains robustness when paired with DINOv2, SimDINOv2, and iBOT features.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
월드 모델을 위한 적응형 잠재 용량
Adaptive Latent Capacity for World Models
본 논문에서는 넓은 잠재 표현의 조밀한 접두 문맥(prefix)에 예측 정보를 집중시키도록 학습하는 결합 임베딩 예측 아키텍처(JEPA) 기반의 월드 모델인 Adaptive LeWorldModel(ALeWM)을 소개합니다. 이러한 순서화를 유도하기 위해 ALeWM은 접두 문맥 길이에 대한 시퀀스 조건부 분포를 학습하고, 샘플링된 입력 접두 문맥으로부터 완전한 다음 임베딩을 추정하도록 예측기를 훈련합니다. 표준 붕괴 방지 목적 함수는 잠재 좌표 전반의 다양성을 장려할 뿐 예측 중요도에 따라 좌표를 정렬하지 못하므로, 본 논문은 MixSIGReg도 함께 제안합니다. MixSIGReg는 가우시안 활성 접두 문맥과 나머지 좌표의 0으로 구성된 사전 가중치 혼합 분포에 맞춰 마스킹된 임베딩을 정규화합니다. 그 결과 ALeWM 목적 함수는 앞쪽 좌표가 예측 및 재귀적 계획 수립에 유용한 정보를 유지하도록 유도합니다. 분석에 따르면 MixSIGReg가 사용하는 혼합 분포는 앞쪽 좌표 블록에 더 높은 분산을, 뒤쪽 좌표 블록에 더 낮은 분산을 할당합니다. 또한 특정 가정 하에서 예측에 가장 유용한 정보를 앞쪽 블록에 배치할 때 예측 오차가 최소화됨을 보여줍니다. 실증적으로는 상태 변수가 알려진 제어된 동적 시스템과 목표 조건부 시각 제어 환경에서 ALeWM의 동작을 연구합니다. 실험을 통해 ALeWM이 튜닝된 고정 너비 LeWM보다 평균 계획 용량을 더 적게 사용하면서도 일관되게 더 높은 평균 성공률을 달성함을 보입니다.
SPERA: 기하학 및 주파수 인식 잠재 예측을 적용한 구면 사전분포 기반 뇌파 파운데이션 모델
SPERA: Spherical Prior EEG Foundation Model with Geometry- and Frequency-Aware Latent Prediction
호흡 활동 및 자세 인식을 위한 JEPA 표현 기반 멀티모달 센서 융합 학습
Learning Multimodal Sensor Fusion with JEPA Representations for Breathing Activity and Pose Recognition
예측 비디오 표현 자체만으로는 결측 센서를 멀티모달 시스템이 어떻게 처리해야 하는지 명시하지 않습니다. 본 연구에서는 동결된 V-JEPA2 특징을 RGB 비디오, 깊이 비디오 및 레이더 시계열로 구성된 이종 센서 세트로 전이합니다. 공유 융합 모델은 모달리티 쿼리, 고정 센서 슬롯, 명시적 가용성을 사용하여 비어 있지 않은 7개의 모든 센서 하위 집합으로부터 호흡 활동 및 자세를 분류합니다. 본 연구의 기여는 5개 피험자 그룹 폴드와 3개의 시드를 갖춘 39명의 OMuSense-23 피험자를 대상으로 하위 집합 지도, 풀링(pooling) 용량 및 표현 전이에 대한 통제된 평가를 수행한 것입니다. 일치된 다운스트림 매개변수(parameter) 수에서 최종 모델은 7개 하위 집합에 걸쳐 평균 $75.23%\pm0.60$의 기록 수준 활동 매크로 F1에 도달합니다. 각 배치(batch)에서 모든 하위 집합을 지도하면 매칭된 쿼리 풀링 대조군 대비 1.923%p 향상(조건부 95% 피험자 부트스트랩 신뢰구간 [0.647, 3.209])되는 반면, 균형 잡힌 지도 하에서는 쿼리 풀링이 매칭된 평균 풀링에 비해 뚜렷한 이점을 보이지 않습니다. 레이더 프로브는 풀링된 웨이블릿 픽셀을 넘어서는 전이를 뒷받침하고, 64-토큰(token) 추론(inference)은 평균 활동 성능을 거의 유지하며, 테스트된 Consensus-JEPA 손실(loss)은 정확한 대조군 대비 측정 가능한 이점을 추가하지 못합니다.
MA-JEPA: 다중 에이전트 강화학습을 위한 결합 임베딩 월드 모델
MA-JEPA: Joint-Embedding World Models for Multi-Agent Reinforcement Learning
월드 모델(world model)은 상상된 궤적(imagined trajectory)을 바탕으로 정책(policy)을 학습(training)함으로써 표본 효율성(sample efficiency)을 향상시키지만, 그 유용성은 미래 제어에 필요한 정보를 포착하는 표현(representation)을 학습하는 것에 달려 있습니다. 본 연구에서는 자기지도 결합 임베딩 예측(JEPA)이 다중 에이전트 강화학습(MARL)에 이러한 학습 신호를 제공할 수 있는지 조사합니다. 관측 재구성(observation reconstruction)을 타깃 표현 예측으로 대체하여 중앙 집중식 학습 및 분산 실행(CTDE)을 갖춘 모델 기반 다중 에이전트 강화학습을 가능하게 하는 확률적 월드 모델인 MA-JEPA를 소개합니다. 사후(posterior) 및 행동 조건부 역학 예측 목표를 통해 범주형 잠재 상태(categorical latent state)와 인과적 트랜스포머(causal Transformer)를 학습시키며, 이후 잠재적 상상(latent imagination)으로부터 액터-크리틱(actor-critic) 학습에 이를 활용합니다. 학습 단계에서만 사용되는 결합 예측기(joint predictor)는 모든 에이전트의 로컬 상태 및 행동을 조건으로 삼아 각 에이전트의 다음 로컬 관측 임베딩(embedding)을 예측합니다. 이러한 예측값은 실제 상호작용 중에 사용되는 동일한 로컬 사후 분포를 거쳐 가치 학습에만 사용되는 중앙 집중식 크리틱으로 전달되며, 실행은 분산된 상태를 유지합니다. 실험 결과, 이 아키텍처는 SMAC에서 강력한 성능을 보여주었으며, 평가된 8개 맵 중 4개 맵에서 기존에 보고된 가장 강력한 비교 대상의 평균 승률과 일치하거나 이를 능가했습니다.
구동 대 감쇠: 결합 임베딩 예측 아키텍처의 학습 역학에 대하여
Drive vs. Decay: On the Training Dynamics of Joint-Embedding Predictive Architectures
결합 임베딩 예측 아키텍처(Joint-Embedding Predictive Architecture, JEPA)는 표현 붕괴(representation collapse)가 발생하기 쉬우며, 일반적으로 경험적 휴리스틱을 통해 이를 완화합니다. 본 연구에서는 이러한 휴리스틱들을 통합하는 초기 학습 안정성 이론을 개발합니다. 자명한 고정점 주변에서 결합된 JEPA 그래디언트 흐름을 선형화하면 두 가지 상충하는 효과인 구동력($γ$)과 감쇠 효과($σ$)가 드러납니다. 근사적 스펙트럼 디커플링 조건에서 모드별 안정성 비율 $μ_i = γ_i / σ_i$는 독립적인 데이터 측 및 예측기(predictor) 측 항으로 인수분해되며, 불안정한 모드의 수는 나타날 수 있는 표현의 랭크(rank)를 추적합니다. 이 프레임워크는 상전이 경계(phase boundary)를 예측하며, 저자들은 800개 이상의 Tabular-JEPA 구성을 통해 이를 실증적으로 확인합니다. 또한 이 프레임워크는 예측기 스케일링, 마스킹 비율, EMA를 $μ$를 이동시키는 별개의 메커니즘으로 통합합니다. 이러한 분석을 바탕으로, 초기화 시 어텐션이 항등(identity) 방향으로 편향된 트랜스포머 예측기인 ResidualPred를 도입합니다. ResidualPred는 정형 데이터(tabular) 벤치마크뿐만 아니라 CIFAR-10, CIFAR-100, STL-10, ImageNet에서의 I-JEPA 사전학습 모두에서 유효 랭크와 다운스트림 정확도를 향상시킵니다. 본 프레임워크는 경험적인 붕괴 방지 휴리스틱을 명시적인 역학적 관점으로 연결하여 이론 기반의 안정화 기법을 제시합니다. 코드는 https://github.com/jose-melo/drive-vs-decay 에서 확인할 수 있습니다.
프레임의 움직임이 적을 때 JEPA 월드 모델의 계획 수립 가능성을 유지하는 방법
Keeping JEPA World Models Plannable When Little of the Frame Moves
목표 프레임 대신 언어로 목표를 지정하는 방식은 잠재 월드 모델(latent world model)을 사용한 계획 수립(planning)에 자연스러운 인터페이스이지만, 이를 검증하려면 언어가 여러 객체를 구별해야 하는 장면이 필요합니다. 본 연구에서는 여러 개의 작은 객체와 동일한 장면에 대한 시각적 및 언어 목표 쌍으로 구성된 밀기 벤치마크인 SLIM을 구축했습니다. SLIM에서 PushT를 해결하는 LeWM 월드 모델은 시뮬레이터 상태를 사용하는 스크립트 컨트롤러가 모든 단계를 해결함에도 불구하고 1% 미만의 시도에서만 성공합니다. 프로브 분석 결과 인코더에서 실패의 원인을 찾아냈습니다. 인코더의 잠재 상태는 행동에 거의 반응하지 않으며, 푸셔(pusher)나 객체의 위치를 디코딩할 수 없고, 롤아웃은 현재 잠재 상태를 그대로 복사해 전달하는 수준에 불과합니다. 인코더 잠재 상태와 예측된 잠재 상태 모두에 공유 헤드를 통해 적용되며 테스트 시점에는 폐기되는 단 하나의 역동역학(inverse-dynamics) 보조 손실(loss)만으로 모든 프로브를 회복하고 성공률을 0.003에서 0.35로 끌어올렸으며(목표 무관 정책의 점수가 0인 고난도 밀기 단계에서는 0.16), 학습된 지평의 2배 길이에서도 PushT 성능을 향상시켰습니다. 대조군 분석을 통해 이러한 개선이 인코더로 유입되는 그래디언트(gradient) 덕분임을 확인했으며, 반응도 조사를 통해 기본 모델 또한 행동에 반응하는 프레임 영역이 충분해지면 계획을 수립할 수 있음을 보였습니다. 환경(environment) 접근 없이도 계산 가능한 저비용의 행동 민감도 프로브는 경험적 필요조건으로 작용하여 임계값 미만의 모든 설정에서 계획 수립에 실패했습니다. 복구된 잠재 공간 위에서는 소형 언어 목표 헤드가 월드 모델의 재학습 없이도 문장으로부터 계획을 수립합니다. 내비게이션에서 0.84에 도달하고(시각 목표 오라클은 1.00), 유인물(decoy)과 자리가 바뀌더라도 지정된 영역을 추적하며, 보지 못한 명사에 대해서도 완만하게 성능 저하를 보입니다. 단일 목표 문장으로는 밀기를 완수하기 어렵지만, 밀기 작업을 일련의 단계별 문장 시퀀스로 제공하면 중간 및 고난도 밀기 단계에서 헤드의 성공률이 0.04에서 목표 프레임 오라클 수준인 0.25로 향상되며, 단계 간의 전환을 잠재 상태에서만 읽어내는 경우에도 동일한 성과를 거둡니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
This version refines the text and provides additional numerical validation