arXiv:2611.20696v1 cs.LG

마지막 층의 교차 엔트로피 손실이 이루는 원뿔 구조와 정류 함수 백본에서 그 구조가 나타나지 않는 이유

Conic Structure of the Cross-Entropy Loss at the Final Layer and Its Absence in Rectifier Backbones

Omer Nezih Gerek

제출 2026-11-16

저자 비고

arXiv Comments

14 pages, 2 figures, to be submitted

한국어 초록

매개변수 공간의 직선이나 평면을 따라 손실을 잘라 보는 방식은 심층 신경망을 시각화하는 데 널리 쓰인다. 단면에는 벽이 거의 직선인 분지 하나가 흔히 나타난다. 이 손실의 모양이 꼭짓점이 둥근 원뿔인지, 여러 원뿔이 꺾인 선을 따라 만나 이루는 하부 포락면인지가 문제다. 본 연구는 분류기의 두 수준에서 소프트맥스 교차 엔트로피에 대해 이 질문에 답한다. 마지막 아핀 층의 가중치를 바꾸면 손실은 다면체 원뿔에 보정항을 더한 값이다. 보정항은 모든 반직선을 따라 단조롭게 지수 감소하며 닫힌 형태로 계산할 수 있는 극한에 도달한다. 점근적 벽이 시작점과 같은 높이에 이르는 거리를 핵심 반경이라고 한다. 이는 그 방향에서 유리한 클래스의 평균 정보량을 벽의 기울기로 나눈 값이다. 정류 함수 백본의 매개변수에서는 임의의 직선을 따라 표본의 활성화 패턴이 바뀌는 곳마다 손실의 기울기가 꺾인다. 준대수적 집합의 차원 이론을 이용해 거의 모든 직선에서 같은 점에서 전환하는 표본들의 활성화 전 다항식이 기약인수를 공유함을 보인다. 서로소 조건에서는 각 꺾임이 표본 $n$개 중 한 개의 비중만큼만 기여하므로, 손실 기울기에 견줄 정도로 두드러진 접힘이 생기지 않는다. CIFAR-10으로 학습한 ResNet-18과 ResNet-56에서 두 결과를 확인했다. 또한 표본으로 확인한 손실값에 가려져 있을 수 있는 접힘의 크기에 상한을 두는 검정도 제시한다.

원문 초록

Slices of the loss along lines and planes in parameter space are widely used to visualize deep networks. They often show a single basin with nearly straight walls, which raises the question of whether such a loss is a cone rounded at its apex, or a lower envelope of several cones that meet along creases. We answer this question for softmax cross-entropy at two levels of a classifier. Over the weights of an affine final layer, the loss equals a polyhedral cone plus an offset that decreases monotonically and exponentially along every ray, towards a limit in closed form. The distance at which the asymptotic wall reaches the height of the starting point, which we call the core radius, equals the mean surprisal of the classes that the direction favours, divided by the slope of the wall. Over the parameters of a rectifier backbone, the loss along a line has a kink wherever the activation pattern of a sample changes. Using the dimension theory of semialgebraic sets, we show that, along almost every line, the samples that switch at one point share an irreducible factor of their pre-activation polynomials. Under a coprimality condition, each kink therefore carries the share of one sample among $n$, so creases comparable to the slope do not form. Measurements on ResNet-18 and ResNet-56 trained on CIFAR-10 illustrate both results, with a test that bounds the size of any crease that sampled loss values can hide.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.20696v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.