예측 목적함수는 외생적 제어-관련 특징을 버린다: 통제된 메커니즘 연구
Predictive Objectives Discard Exogenous Control-Relevant Features: A Controlled Mechanistic Study
한국어 초록
결합 임베딩 예측(JEPA 스타일) 목적함수는 미래 잠재 표현을 예측함으로써 표현을 학습한다. 이 과정에서 에이전트가 제어할 수 없는(외생적) 특징이 제어와 관련성이 있더라도, 심지어 그 특징이 자명하게 인코딩 가능한 경우에도 버려질 수 있다. 이는 목적함수가 제어 관련성이 아닌 시간적 예측 가능성을 최적화하기 때문에 발생한다. 우리는 예측 가능성 조절 변수(predictability knob)를 사용하여 특징의 시간적 예측 가능성과 제어 관련성을 분리함으로써, 특징의 제어 가능성과 관련성을 독립적으로 변화시키는 통제된 2x2 실험 설계에서 이 실패 유형을 격리한다. 재구성(reconstruction), JEPA, 행동 조건부 JEPA, 제어 가능성 기반 JEPA, 무작위 정책 하의 역 다이나믹스, 보상 기반 JEPA의 여섯 가지 목적함수를 비교한 결과, 평가된 모든 보상-비사용 예측 목적함수는 외생적 제어-관련 특징을 우연 수준의 정확도에 가깝게 남기는 반면, 보상 기반 변형은 해당 특징을 선택적으로 유지함을 확인했다. 해결책은 레이블 효율적이고 견고하다: 보상 레이블이 있는 전이(transition)의 단 2%만으로도 해당 특징이 복원되고, 이 효과는 표면 형태가 다른 두 환경에서도 유지되며, 16에서 1024까지의 잠재 차원 전반에 걸쳐 지속된다. 학습된 잠재 기하구조를 이분 시뮬레이션(bisimulation) 이론의 예측과 비교하면, JEPA 잠재 공간은 지도 학습 기준이 달성하는 클래스 분리의 일부분만을 실현한다.
원문 초록
Joint-embedding predictive (JEPA-style) objectives learn representations by predicting future latents. In doing so they can discard features that are exogenous (uncontrollable by the agent) yet control-relevant, even when those features are trivially encodable. This occurs because the objective optimizes temporal predictability rather than control-relevance. We isolate this failure mode in a controlled 2x2 experimental design that varies feature controllability and relevance independently, using a predictability knob that decouples a feature's temporal predictability from its control-relevance. Comparing six objectives: reconstruction, JEPA, action-conditioned JEPA, controllability-based JEPA, inverse dynamics under a random policy, and reward-grounded JEPA, we observe that all evaluated reward-free predictive objectives leave the exogenous control-relevant feature near chance accuracy, while a reward-grounded variant retains it selectively. The remedy is label-efficient and robust: as little as 2% of reward-labeled transitions recovers the feature, the effect holds across two environments with different surface forms, and it persists across latent dimensions from 16 to 1024. Comparing the learned latent geometry against bisimulation theory's prediction, the JEPA latent realizes only a small fraction of the class separation a supervised reference attains.
요약
JEPA 스타일의 결합 임베딩 예측(joint-embedding predictive) 목적함수는 에이전트가 제어할 수 없지만 보상 결정에 중요한 외생적(exogenous) 특징을, 시간적 예측 가능성을 기준으로 표현을 최적화하기 때문에 암묵적으로 버린다는 실패 유형을 통제된 2x2 실험 설계로 격리·측정했다. 보상 레이블이 있는 전이(transition)의 단 2%만으로 구성한 보상 기반(reward-grounded) JEPA 변형이 해당 특징을 선택적으로 유지함을 보이며, 이 효과는 잠재 차원 16~1024 및 두 가지 환경 표면 형태에서 모두 견고하게 유지된다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.30068v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
사전학습 없이 픽셀로부터: 단일 모델에서의 생성 및 자기지도 표현 동시 학습
From Pixels, Without Pre-training: Joint Generative and Self-Supervised Representation Learning in One Model
강력한 이미지 생성 모델은 클래스 레이블로 조건화되거나, 고정된(frozen) 사전학습 인코더에 정렬되거나, 별도로 학습된 오토인코더를 기반으로 구축됩니다. 이는 효과적이지만 생성 성능이 지도학습이나 사전학습(pre-training)에 의존하게 됩니다. 즉, 레이블에 주석을 달아야 하며 타깃 도메인을 위해 인코더나 오토인코더를 사전학습해야 합니다. 본 연구에서는 단일 모델에서 생성 학습과 자기지도 표현 학습(self-supervised representation learning)을 동시에 수행하여, 레이블이나 사전학습 모델 없이도 자체 조건화된(self-conditioned) 생성을 가능하게 하는 방안을 탐구합니다. 이는 두 학습 목표가 서로 불일치하기 때문에 까다롭습니다. 대조 학습(contrastive learning)은 노이즈가 없는 증강 뷰(view)를 사용하여 대략적이고 불변하는 의미적 특징을 선호하는 반면, 플로우 매칭(flow matching)은 노이즈가 포함된 이미지를 입력받아 대조 학습이 버리는 미세한 디테일과 공간 배치를 보존해야 합니다. 본 연구에서는 플로우 타임스텝 및 임베딩(embedding)으로 조건화되는 단일 픽셀 공간 인코더를 핵심으로 하는 SCION(Self-conditioned Generation on Self-supervised representation)을 제안합니다. 표현 학습을 위해 이 조건화 임베딩은 이미지 전반에서 공유되는 학습 가능한 글로벌 벡터로 설정되며, 인코더의 [CLS] 토큰(token)은 대조 손실(loss)로 학습된 의미론적 표현을 산출합니다. 생성 학습(training)을 위해 조건화 임베딩은 해당 이미지 고유의 [CLS] 표현으로 주어지며, 패치 토큰들은 디코더를 거쳐 이미지를 예측합니다. 추론(inference) 시 참조 이미지 없이 샘플링할 수 있도록 임베딩에 대한 사전 분포(prior)도 함께 학습합니다. 그래디언트(gradient) 노름 밸런싱과 스톱 그래디언트(stop-gradient) 메커니즘을 통해 단일 실행으로 공동 최적화(optimization)가 가능합니다. SCION은 레이블이나 사전학습 모델이 전혀 필요 없는 자기지도 방식이자 독립적인(self-contained) 프레임워크입니다. ImageNet 256x256에서 JiT-B 레시피 및 표현 가이던스(guidance) 없이 SCION은 8.92 FID를 달성하여, 사전학습된 DINOv2에 정렬하는 클래스 무조건부 iREPA(46.44)와 이에 조건화되는 RCG(14.27)를 능가했습니다. JiT-L을 사용할 경우 SCION은 가이던스 없이 5.89 FID, 표현 가이던스 적용 시 3.47 FID를 기록하여 ADM 레시피를 적용한 RCG(6.24)의 성능을 뛰어넘었습니다.
IPCL: Iterative Pseudo-Supervised Contrastive Learning to Improve Self-Supervised Feature Representation
Multi-modal Siamese Network for Entity Alignment
Self-Supervised Learning for Multimedia Recommendation
SPERA: 기하학 및 주파수 인식 잠재 예측을 적용한 구면 사전분포 기반 뇌파 파운데이션 모델
SPERA: Spherical Prior EEG Foundation Model with Geometry- and Frequency-Aware Latent Prediction
호흡 활동 및 자세 인식을 위한 JEPA 표현 기반 멀티모달 센서 융합 학습
Learning Multimodal Sensor Fusion with JEPA Representations for Breathing Activity and Pose Recognition
예측 비디오 표현 자체만으로는 결측 센서를 멀티모달 시스템이 어떻게 처리해야 하는지 명시하지 않습니다. 본 연구에서는 동결된 V-JEPA2 특징을 RGB 비디오, 깊이 비디오 및 레이더 시계열로 구성된 이종 센서 세트로 전이합니다. 공유 융합 모델은 모달리티 쿼리, 고정 센서 슬롯, 명시적 가용성을 사용하여 비어 있지 않은 7개의 모든 센서 하위 집합으로부터 호흡 활동 및 자세를 분류합니다. 본 연구의 기여는 5개 피험자 그룹 폴드와 3개의 시드를 갖춘 39명의 OMuSense-23 피험자를 대상으로 하위 집합 지도, 풀링(pooling) 용량 및 표현 전이에 대한 통제된 평가를 수행한 것입니다. 일치된 다운스트림 매개변수(parameter) 수에서 최종 모델은 7개 하위 집합에 걸쳐 평균 $75.23%\pm0.60$의 기록 수준 활동 매크로 F1에 도달합니다. 각 배치(batch)에서 모든 하위 집합을 지도하면 매칭된 쿼리 풀링 대조군 대비 1.923%p 향상(조건부 95% 피험자 부트스트랩 신뢰구간 [0.647, 3.209])되는 반면, 균형 잡힌 지도 하에서는 쿼리 풀링이 매칭된 평균 풀링에 비해 뚜렷한 이점을 보이지 않습니다. 레이더 프로브는 풀링된 웨이블릿 픽셀을 넘어서는 전이를 뒷받침하고, 64-토큰(token) 추론(inference)은 평균 활동 성능을 거의 유지하며, 테스트된 Consensus-JEPA 손실(loss)은 정확한 대조군 대비 측정 가능한 이점을 추가하지 못합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.