arXiv:2611.18469v1 stat.ML

디노이징 스코어 매칭을 이용한 대조적 잠재 표현 학습

Contrastive latent representation learning with denoising score matching

Christopher Marouani, Grigory Bartosh, Christian A. Naesseth

제출 2026-11-16

한국어 초록

대조적 표현 학습 방법은 동일한 데이터 표본의 서로 다른 뷰를 끌어당기는 동시에 다른 표본의 뷰와는 멀어지게 하는 방식으로 작동한다. 핵심적인 난제는 척력의 추정이며, 이는 일반적으로 큰 배치 크기를 필요로 하고 분산이 클 수 있으며 차원의 저주에 취약하다. 우리는 이 척력 항을 추정하는 새로운 방법을 제공하는 대조적 표현 학습 방법인 ScoreCLR을 소개한다. 우리는 표본의 두 잠재 뷰 사이의 상호정보량을 최대화하여 표현을 학습하는 프레임워크를 고려한다. 인코더 파라미터에 대한 섀넌 엔트로피의 기울기를 유도함으로써, 잠재 표현의 스코어를 포함하는 등가 목적함수를 얻는다. 이어서 디노이징 스코어 매칭 기법을 사용해, 인코더와 함께 공동 학습되는 경량 네트워크로 이 스코어를 추정한다. 또한 서로 다른 잡음 수준과 잠재 표현에 대한 가우시안 사전분포를 이용한 정규화 기법을 제안한다. ScoreCLR은 대조적 방법의 명시적 부정 표본 배치를 비용이 배치 크기에 대해 제곱이 아닌 선형인 학습된 척력으로 대체한다. CIFAR-10과 ImageNet-100에서 공통 레시피 아래 SimCLR와 비교해 선형 프로브 정확도의 손실을 최소화하면서 이를 달성하며, 동시에 가우시안 사전분포에 더 가까운, 더 높은 유효 랭크의 프로젝터 출력을 만들어 낸다.

원문 초록

Contrastive representation learning methods operate by pulling different views of the same data sample together while pushing them away from views of different samples. A fundamental challenge is the estimation of the repulsive force, which typically requires large batch sizes, can exhibit high variance, and is susceptible to the curse of dimensionality. We introduce ScoreCLR, a contrastive representation learning method that offers a novel way to estimate this repulsion term. We consider the framework of representation learning by maximizing the mutual information between two latent views of a sample. By deriving the gradient of the Shannon entropy with respect to the encoder parameters, we obtain an equivalent objective that involves the score of the latent representation. We then use denoising score matching techniques to estimate this score with a lightweight network that is trained jointly with the encoder. We further propose regularization techniques using different noise levels and a Gaussian prior on the latent representation. ScoreCLR replaces the batch of explicit negative samples in contrastive methods with a learned repulsion whose cost is linear in the batch size rather than quadratic. On CIFAR-10 and ImageNet-100 it does so with minimal loss of linear-probe accuracy compared to SimCLR under a shared recipe, while producing projector outputs of higher effective rank, closer to the Gaussian prior.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.18469v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.