An Information-Theoretic Perspective on Variance-Invariance-Covariance Regularization
원문 초록
Variance-Invariance-Covariance Regularization (VICReg) is a self-supervised learning (SSL) method that has shown promising results on a variety of tasks. However, the fundamental mechanisms underlying VICReg remain unexplored. In this paper, we present an information-theoretic perspective on the VICReg objective. We begin by deriving information-theoretic quantities for deterministic networks as an alternative to unrealistic stochastic network assumptions. We then relate the optimization of the VICReg objective to mutual information optimization, highlighting underlying assumptions and facilitating a constructive comparison with other SSL algorithms and derive a generalization bound for VICReg, revealing its inherent advantages for downstream tasks. Building on these results, we introduce a family of SSL methods derived from information-theoretic principles that outperform existing SSL techniques.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
어디를 볼 것인가가 중요하다: 3D 의료 자기지도학습에서의 서브 볼륨 샘플링 재고
Where to Look Matters: Rethinking Sub-Volume Sampling in 3D Medical Self-supervised Learning
3D 의료 영상에서의 자기지도학습(self-supervised learning)은 일반적으로 사전학습(pre-training) 중 무작위 서브 볼륨(sub-volume) 샘플링에 의존합니다. 그러나 무작위 크롭(random cropping)은 해부학적 사전 지식과 공간적 중복성으로 인해 영역 간 표현 학습(representation learning) 가치가 본질적으로 불균등함에도 불구하고, 모든 공간 영역을 관찰할 가치가 동일한 것으로 암묵적으로 취급합니다. 이를 위해, 본 연구는 먼저 제어된 크롭 품질 조작 실험을 통해 더 나은 서브 볼륨이 더 우수한 다운스트림 전이(transfer)로 이어진다는 점을 보임으로써, 관찰 정책(observation policy)이 3D 의료 SSL에서 간과되어 온 병목 현상임을 밝힙니다. 이러한 발견에 착안하여 서브 볼륨 샘플링을 어디를 볼 것인가(\emph{where-to-look})의 문제로 재검토합니다. 우리는 무작위 크롭을 해부학 인식(\textit{anatomy-awareness}), 정보성(\textit{informativeness}), 다양성(\textit{diversity})에 기반한 오프라인 조-세밀(coarse-to-fine) 프로브 뱅크로 대체하는 플러그 앤 플레이 프레임워크인 \textbf{\method}를 제안합니다. 경량 볼륨 내재적 사전 지식만으로 충분한지, 혹은 더 풍부한 의미론적 단서가 신뢰할 수 있는 추가적인 가치를 제공하는지 검증하기 위해 기하학적 및 영상 통계적 단서를 활용하는 경량 변형인 \lite와 고정된 시각적 특징을 활용하는 진단 변형인 \feat로 \method를 구현합니다. 여러 3D 의료 SSL 백본 및 다운스트림 태스크에 걸친 광범위한 실험을 통해, \method-\lite가 무작위 샘플링 대비 전이 성능을 일관되게 향상시킴을 입증합니다. 나아가 메커니즘 분석을 통해 이러한 이득이 해부학적으로 더 타당하고 정보성이 높은 관찰, 감소된 공간적 중복성, 더 효율적인 학습 역학(learning dynamics), 그리고 더 구조화된 표현에 기인함을 밝힙니다.
CSWAM: 월드 액션 모델에서의 분포 외 일반화를 위한 더 나은 인과적 의미 표현
CSWAM: Better Causal Semantic Representations for Out-of-Distribution Generalization in World Action Models
FastWAM 방식의 월드 액션 모델(world action model)은 효율적인 액션 전용 추론(action-only inference)을 가능하게 하지만, 시각적 분포 변화(visual distribution shift) 하에서는 일반화 성능이 떨어진다. 이러한 모델의 재구성 지향적 표현은 외형에 특화된 세부 정보를 강조하여, 보지 못한 장면과 객체에 대한 일반화를 제한한다. 관찰 이력이 없는 경우, 모델은 낯선 시각적 조건에서 과제와 관련된 상태 변화와 움직임을 견고하게 식별하기 위한 시간적 증거도 갖추지 못한다. 이러한 한계를 해결하기 위해, 우리는 V-JEPA 2.1을 기반으로 한 인과적 의미 전문가(causal semantic expert)로 FastWAM을 보강한 인과적 의미 월드 액션 모델(Causal Semantic World Action Model, CSWAM)을 제안한다. V-JEPA는 외형에 특화된 세부 정보에 대한 의존도를 낮추면서, 의미적 상태 변화와 움직임에 대해 시간적으로 근거 있는(temporally grounded) 표현을 제공한다. 이 전문가 모듈은 현재 및 과거 관찰의 희소한(sparse) 이력으로부터 그 미래 변화를 학습하며, 이력에서 도출된 맥락(context)을 인과적 어텐션(causal attention)을 통해 비디오 스트림과 액션 스트림 모두와 공유한다. 추론 시, CSWAM은 현재 비디오 상태와 관찰된 의미적 이력을 조건으로 액션 디노이징(action denoising)을 수행하여, 효율적인 액션 전용 추론을 유지한다. 우리는 분포 변화 하에서의 일반화 성능을 평가하기 위해 시뮬레이션 및 실제 로봇 실험을 수행한다. 체화된(embodied) 사전학습(pretraining)을 적용했을 때, CSWAM은 RoboTwin 2.0의 Clean-to-Randomized 전이(transfer)에서 Randomized 성공률을 10.16%에서 45.18%로 끌어올려, FastWAM 대비 35.02퍼센트포인트의 향상을 보인다. 두 가지 실제 로봇 과제와 세 가지 OOD 난이도 수준에 걸쳐, CSWAM은 FastWAM 대비 평균 성공률을 27.5%에서 70.0%로, 42.5퍼센트포인트 향상시킨다.
Video-STLayout 사전학습
Video-STLayout Pre-training
최근 몇 년간 사전학습(pre-training)은 효과적인 비디오 표현을 학습하는 데 핵심적인 요소로 자리 잡았으며, 이를 통해 다운스트림 과제로의 강력한 전이가 가능해졌다. 사전학습에서 널리 쓰이는 프레임워크는 비디오 인코더의 특징을 언어나 오디오와 같은 다른 모달리티의 특징과 정렬하는 방식이다. 우리는 객체 바운딩 박스의 시공간적 레이아웃(spatio-temporal layout) 정보를 활용하여 풍부한 비디오 표현을 얻기 위한 새로운 전략인 Video-STLayout 사전학습을 제안한다. 객체 레이아웃은 비디오 프레임에 기성(off-the-shelf) 객체 검출기를 적용하여 손쉽게 얻을 수 있다. 우리의 방법은 대조 손실(contrastive loss)을 사용하여 비디오 특징을 학습된 레이아웃 인코더의 레이아웃 특징과 정렬한다. 우리는 복잡한 장면에서의 행동 인식(activity recognition) 과제를 통해 본 접근법의 효과를 입증한다.
종단적 혈당 표현을 위한 전이 가능한 근거 재구성
Transferable Evidence Reconstruction for Longitudinal Glucose Representations
긴 생체 신호 기록에는 일상적인 측정값이 다수 포함되어 있지만, 예측 정보는 희귀 사건, 지속적인 부담, 반복적인 시계열 패턴에 집중되어 있는 경우가 많습니다. 마스크드 오토인코딩(masked autoencoding)은 측정값을 복원하고, 대조 학습(contrastive learning)은 뷰(view)를 정렬합니다. 본 연구에서는 구조화된 신호 근거를 명시적으로 우선시하는 자기지도학습(self-supervision)을 연구합니다. 저자들은 레이블이 지정되지 않은 기록에서 근거를 구축하고, 한 기록 그룹에 새로운 저용량 리더(reader)를 적합(fit)시킨 뒤, 해당 리더가 재적합 없이 다른 그룹에서도 동일한 근거를 복원하도록 요구하는 전이 가능한 근거 재구성(transferable evidence reconstruction, TER)을 도입합니다. 이러한 교차 그룹 테스트를 통해 역전파 미분을 수행함으로써 전이 가능한 근거 디코딩 규칙을 갖는 표현을 학습하며, 이때 근거는 자기지도학습을 유도하지만 다운스트림 특징(feature)으로는 사용되지 않습니다. 연속 혈당 측정(CGM)을 위해 관측 인지 일간 인코더와 시계 인지 다일 메모리는 최대 7일간의 기록을 정리하면서 혈당 수치 및 변화를 기록된 시간과 결합합니다. 14개 작업으로 구성된 리더보드에서 TER은 기존 최강 모델의 전반적인 PR-AUC/ROC-AUC/Macro-F1 점수를 각각 5.51/4.43/2.80%포인트 향상시키고 12/14개 작업에서 최고 지표를 경신했습니다. 이러한 리더보드 성능 향상은 상위 두 베이스라인 간 격차의 각각 2.0~2.9배에 달합니다. 공개 사전학습(pre-training) 데이터, 폴드, 선형 프로브(linear probe) 조건을 일치시켰을 때, TER은 저자들이 재현한 GlucoFM 대비 6.09/5.52/2.72포인트 더 우수한 성능을 보였습니다. 타깃 리더 소거 연구(ablation), 동일 이력 대조군, 교차 개인 판독 실험은 구조화된 근거, 교차 그룹 리더 적합, 학습된 다일 정리의 결합을 뒷받침합니다.
nnFoundation: 방사선학을 위한 3D 파운데이션 모델
nnFoundation: 3D Foundation Models for Radiology
방사선 인공지능은 빠르게 발전했으나, 대부분의 시스템은 여전히 좁은 범위의 과제에 특화되어 있고 데이터 집약적이며 도메인 이동(domain shift) 환경에서 취약하다. 파운데이션 모델은 더 전이 가능하고 데이터 효율적인 해결책을 약속하지만, 기존 접근은 규모가 제한적이고 평가 범위가 좁으며, 종종 단일 사전학습 모델이 다양한 다운스트림 과제를 지원할 수 있다고 가정한다. 본 연구에서는 상보적인 합성곱 및 트랜스포머 기반 3D 방사선학 파운데이션 모델 nnFoundation을 제시한다. Human Radiome Project(THRP) 내에서 개발된 nnFoundation은 125개의 기관 및 공개 데이터셋으로부터 2.1백만 건의 CT, MRI, PET 영상 볼륨으로 학습되었다. 세그멘테이션, 검출, 분류, 리포트 생성, 이미지 검색에 이르는 108개 과제에서 이를 평가했으며, 도메인 이동 하에서의 평가, 외부 파트너에 의한 평가, 저데이터 및 저연산 환경에서의 평가를 포함한다. 모든 과제 유형에서 합성곱 및 트랜스포머 기반 nnFoundation 모델은 기존 3D 파운데이션 모델과 처음부터 학습하는 방법 모두를 일관되게 능가하여 방사선 영상 분야 최신(state-of-the-art) 성능을 확립했다. 다만 성능은 일관된 과제 의존적 구조를 따른다. 합성곱 nnFoundation 모델은 공간적으로 국한된 과제에서 우세하고, 트랜스포머 기반 nnFoundation 모델은 전역적 의미 추론이 필요한 과제와 고정 특징(frozen-feature) 설정에서 뛰어나다. 사후적으로 파운데이션 모델 토폴로지를 데이터셋 특성에 동적으로 정렬하면 이질적인 3D 환경에서의 전이를 더욱 개선한다. 이러한 결과는 전이 가능한 3D 방사선학 성능이 단일 범용 모델이 아니라 확장 가능한 사전학습, 상보적 아키텍처, 데이터셋 인지 적응의 상호작용에 의해 좌우됨을 보여준다. nnU-Net 및 nnDetection에 통합된 nnFoundation 모델을 공개하여 기존 방사선학 워크플로에 즉시 적용할 수 있게 한다.
두 개의 글로벌 크롭만으로 충분: DINO 스타일 자기지도 학습에서 시맨틱 창발의 위치
Two Global Crops Suffice: Locating Semantic Emergence in DINO-Style Self-Supervised Learning
DINO 스타일 목적 함수로 학습된 자기지도 비전 트랜스포머는 시각 과제 전반에서 놀라운 수준의 창발적 시맨틱 표현 품질을 보이지만, 이러한 행동을 뒷받침하는 메커니즘은 여전히 불명확하다. 우리는 DINO 계열에 대한 체계적인 실증적 해부를 제시하고, 시맨틱 표현이 주로 동일한 이미지 인스턴스의 기하학적으로 서로 다른 글로벌 뷰(global view) 사이의 일관성을 강제함으로써 형성됨을 보인다. 이 인스턴스 특이적 글로벌 정렬은 DINO 스타일 학습의 시맨틱 닻(anchor) 역할을 한다. 시맨틱 대응(semantic correspondence)과 다양한 2D 및 3D 다운스트림 과제에서 평가한 통제된 재학습 실험 전반에서, 패치 수준 마스킹 목적은 이 글로벌 정렬과 공동으로 학습될 때만 시맨틱을 향상시키며, 이는 iBOT 목적이 독립적으로 시맨틱 구조를 생성하기보다 기존 시맨틱 구조를 정제하고 조밀하게 한다는 것을 시사한다. 대조적으로, 로컬-투-글로벌 뷰 정렬은 순수한 글로벌 정렬을 넘어 고정된 연산량에서 시맨틱 특성을 실질적으로 개선하지 않는다. 학습 설계를 넘어, 시맨틱 표현 품질을 어떻게 평가해야 하는지를 재검토한다: 분류 정확도가 표준 검증 점수인 반면, 시맨틱 대응은 다운스트림 과제 성능을 더 신뢰성 있게 예측하는 보완적 축을 제공한다. 종합하면, 이러한 발견은 DINO 스타일 학습의 기능적 분해를 제공하며, 자기지도 비전 모델에서 시맨틱 표현이 어떻게 창발하는지 이해하는 데 중요한 한 걸음을 나타낸다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.