arXiv:2607.27854v1 cs.AI

학습 중 신경망 단순화하기

Simplifying Neural Networks During Training

Lorenzo Sciandra, Samuele Fonio, Roberto Esposito

제출 2026-07-30

한국어 초록

과매개변수화된 심층 신경망의 학습 동역학(training dynamics)을 이해하고 활용하는 것은 현대 머신러닝의 핵심 과제로 남아 있습니다. 신경 붕괴(Neural Collapse, NC)에 관한 최근 연구 결과는 클래스 표현과 분류기가 고도로 구조화된 기하학적 형태를 보임을 보여주는 반면, 터널 효과(Tunnel Effect)는 일부 층(layer)만이 특징 추출에 필수적임을 시사합니다. 본 연구에서는 이 두 가지 관점을 결합하여 학습 도중 심층 신경망을 단순화하는 NC 기반의 학습 프레임워크를 제안합니다. 제안된 방법은 변동성 붕괴(variability collapse) 현상을 안정적이고 효율적으로 대변하는 대리 지표인 역 피셔 기준(Inverse Fisher Criterion)을 통해 표현 동역학을 모니터링하여, 특징 추출과 분류 사이의 분기점 및 단순화가 가능해지는 학습 단계를 모두 식별합니다. 이후 후속 층들을 경량 분류 헤드로 대체하고 축소된 모델에 대해 학습을 지속합니다. MLP, VGG, ResNet 아키텍처를 아우르는 이미지 분류 벤치마크 실험 결과, 제안 기법은 전체 모델과 대등한 정확도를 유지하면서도 상당한 매개변수 감소를 달성함을 보여줍니다. 실험 재현을 위한 코드는 https://github.com/LorenzoSciandra/NNS 에서 확인할 수 있습니다.

원문 초록

Understanding and exploiting the training dynamics of overparameterized deep neural networks remains a central challenge in modern machine learning. Recent evidence on Neural Collapse (NC) shows that class representations and classifiers exhibit highly structured geometry, while the Tunnel Effect suggests that only a subset of layers is essential for feature extraction. We combine these two perspectives and propose an NC-inspired training framework for simplifying deep networks during training. Our method monitors representation dynamics through the Inverse Fisher Criterion, a stable and efficient proxy for the variability collapse behavior, to identify both the split point between feature extraction and classification and the training stage at which simplification becomes viable. We then replace the trailing layers with a lightweight classification head and continue training the reduced model. Experiments on image-classification benchmarks across MLP, VGG, and ResNet architectures show that the proposed method achieves substantial parameter reductions while maintaining accuracy comparable to that of the full model. Code to reproduce the experiments can be found at: https://github.com/LorenzoSciandra/NNS.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2607.27854v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.