소프트맥스 교차 엔트로피 하에서 원뿔 분류 헤드의 점근적 마진과 특징 제한
Asymptotic Margins and Feature Confinement in Conic Classification Heads under Softmax Cross-Entropy
한국어 초록
원뿔 함수를 기반으로 한 분류 헤드는 각 클래스에 특징 공간의 유계 영역을 부여하며, 이러한 영역은 보지 못한 클래스의 샘플을 거부하는 데 사용된다. 본 연구는 헤드를 소프트맥스 교차 엔트로피로 학습할 때 이러한 영역이 특징 또한 유계로 유지하는지를 묻는다. 클래스 점수가 선형항과 유클리드 노름을 결합하는 헤드에 대해, 먼저 각 클래스의 영역이 회전 이차곡면으로 유계화되며 그 이심률이 하나의 학습된 비율의 역수임을 보인다. 이어서 각 클래스에 점근적 마진을 부여한다. 이 마진은 해당 클래스 점수의 증가율을 나머지 모든 점수의 증가율과 비교하며, 2차 원뿔 계획법으로 계산할 수 있다. 한 클래스의 손실은 마진이 양수일 때에 한하여 하한(infimum)이 0이며, 이 경우 발산하는 특징을 따라서만 0에 접근한다. 마진이 음수이면 손실은 강제적(coercive)이며 그 최소화 지점은 명시적인 공 안에 놓인다. 소프트맥스는 점수 간 차이에만 의존하므로, 유계 영역을 가진 클래스도 양의 마진을 가질 수 있으며, 따라서 유계 영역이 특징을 제한하지는 않는다. 이 결과는 다면체 원뿔 함수를 포함한 다른 노름으로도 확장된다. CIFAR-10과 CIFAR-100에서 학습된 67개 원뿔 헤드의 1210개 셀 모두가 양의 마진을 가지는 반면, 프로토타입 헤드는 이론이 예측하는 대로 열 개 셀 중 아홉 개를 유계로 유지한다.
원문 초록
Classification heads built on conic functions give each class a bounded region of the feature space, and such regions are used to reject samples of unseen classes. We ask whether these regions also keep the features bounded when the head is trained with softmax cross-entropy. For a head whose class scores combine a linear term with a Euclidean norm, we first show that the region of each class is bounded by a quadric of revolution, whose eccentricity is the reciprocal of one learned ratio. We then attach to each class an asymptotic margin, which compares the growth of its score with the growth of all the other scores and can be computed by a second-order cone program. The loss of a class has infimum zero exactly when its margin is positive, and it then approaches zero only along diverging features. When the margin is negative, the loss is coercive and its minimizers lie in an explicit ball. Since softmax depends only on the differences between scores, a class with a bounded region can still have a positive margin, so bounded regions do not confine the features. The result extends to other norms, including the polyhedral conic functions. On CIFAR-10 and CIFAR-100, all 1210 cells of 67 trained conic heads have positive margins, whereas a prototype head keeps nine of its ten cells bounded, as the theory predicts.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.18507v2제출 시각 미확인
- arXiv:2611.18507v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.