Optimization Dynamics Imprint Semantic Specificity in Contrastive Embedding Norms
코사인 유사도 기반의 대조 학습(contrastive learning) 모델은 학습 손실이 임베딩 크기에 무관하도록 설계되어 노름(norm)이 무시되지만, 실제로는 노름이 개념의 특이성(specificity), 토큰 빈도, 인간 불확실성과 상관관계를 보인다. 본 연구는 최적화 동역학 분석을 통해 임베딩 길이가 학습 부산물로서 이러한 시맨틱 정보를 자연스럽게 인코딩함을 수식으로 도출하고, 이를 재학습 없이 검색 및 보정에 활용할 수 있음을 보인다.