SPHERE-JEPA 확장: 초구를 위한 통계적 정규화기 계열
Expanding SPHERE-JEPA: A Family of Statistical Regularizers for the Hypersphere
자기지도학습(SSL)에서 단위 초구에 균일 분포를 명시적으로 부과하여 표현 붕괴를 방지하는 것이 효과적인 것으로 입증되었습니다. 그러나 현재 프레임워크는 일반적으로 무작위 1차원 방향으로의 몬테카를로 샘플링을 통해 이 연속적인 목적 함수를 근사하는 슬라이스 기반 통계적 정규화기(예: LeJEPA에 사용된 SIGReg 및 SPHERE-JEPA에 사용된 SUSReg)에 의존합니다. 이러한 확률성은 학습 그라디언트에 투영 분산을 주입하여 최적화를 불안정하게 만들고 수렴을 저해합니다. 본 연구에서 우리는 먼저 이러한 무작위 투영을 해석적으로 적분하여 제거하면 슬라이스 방식의 분산을 우회하여 결정론적인 최대 평균 불일치(MMD)가 본질적으로 도출됨을 보여줍니다. 이러한 동등성에 동기를 얻어, 우리는 균일 분포를 부과하기 위해 초구에서 직접 MMD, 커널 스타인 불일치(KSD), 쿨백-라이블러(KL) 발산에 대한 전체 차원 목적 함수를 공식화합니다. 공간적 바이어스를 방지하기 위해, 우리는 스펙트럼 이론을 통해 구성된 회전 불변 커널을 이러한 검정에 적용하고, 부드러운 지수 감소(Heat) 및 엄격한 주파수 차단(Bandlimited) 필터라는 두 가지 대표적인 계열을 체계적으로 평가합니다. 실험적으로, 투영 유도 노이즈를 제거하면 더 안정적인 최적화와 더 빠른 수렴을 가져오며, ImageNet 및 Galaxy10에서 확률적 슬라이스 정규화기 대비 일관된 성능 향상을 보여줍니다. 더 나아가, 우리는 통계적 검정의 선택이 학습된 잠재 공간의 기하학적 구조를 형성함을 밝혀냅니다: MMD와 KSD는 객체 중심 도메인에 적합한 국소적으로 클러스터링된 구조를 선호하는 반면, 연속적인 KDE 기반 KL 발산은 세밀한 인스턴스 분리를 촉진하여 클러스터링되지 않은 절차적 텍스처 검색에서 가장 강력한 결과를 산출합니다.