PyTorchKR Papers

업데이트된 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.21590v2cs.CV

자기지도 학습에서 프로젝션 헤드로서의 방사 기저 함수 네트워크

Radial Basis Function Networks as Projection Heads in Self-Supervised Learning

자기지도 학습(SSL)은 일반적으로 백본(backbone) 인코더 뒤에 작은 다층 퍼셉트론(MLP) 프로젝션 헤드가 이어지는 구조에 의존하며, 이 프로젝션 헤드는 통상 학습 후 버려지고, 백본의 품질은 레이블이 있는 데이터에 대한 비용이 큰 선형 프로빙(linear probing)으로 평가된다. 우리는 프로젝터를 버리는 것을 포함한 이 접근법이 상당히 계산적으로 낭비적이라고 주장한다. 대신, 우리는 MLP 헤드를 방사 기저 함수 네트워크(RBFN)로 대체할 것을 제안하며, RBFN의 해석 가능한 중심(center) 및 형태(shape) 매개변수를 활용하여 레이블이나 별도의 분류기 없이 표현(representation) 품질을 판단할 수 있다. 이를 위해 학습 중 학습된 커널 중심과 형태로만부터 유도된 새로운 레이블 없는 품질 지표인 Scale-Normalized Separation(SNS)을 도입한다. MoCo, SimCLR, BYOL, SwAV, SimSiam 다섯 가지 대표적인 SSL 아키텍처와 네 가지 이미지 분류 데이터셋에서, RBFN 프로젝션 헤드가 표준 MLP 프로젝터의 경쟁력 있는 드롭인(drop-in) 대체재임을 보여준다. 우리는 가우시안 방사 기저 함수(Gaussian radial basis function)로 활성화된 세 개의 RBF 층으로 구성할 것을 권장한다. 게다가 SNS는 확립된 로지스틱 회귀(logistic regression) 지표와 강함에서 매우 강함까지의 양의 상관관계를 보이며, 학습된 RBFN 프로젝터가 백본 표현 품질의 신뢰할 수 있는 대리(proxy) 지표로 작용할 수 있음을 보여준다. 또한 표현 학습에 대한 재현 가능한 연구를 촉진하기 위해 Google Open Images V7을 기반으로 한 새로운 PyTorch 호환 이미지 분류 데이터셋을 공개한다.