PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2602.13298v4cs.CV

유효 깊이의 역설: 심층 합성곱 신경망에서의 위상과 학습 가능성

The Effective Depth Paradox: Topology and Trainability in Deep CNNs

본 논문은 통일된 학습(training) 프로토콜 하에 CIFAR-10에서 평가된 VGG, ResNet, GoogLeNet 아키텍처 계열 전반에 걸친 합성곱 신경망(CNN) 위상(topology)과 이미지 분류(image classification) 성능에 대한 통제된 비교 연구를 제시합니다. 우리는 가중치(weight)를 갖는 층(layer)의 물리적 수를 의미하는 공칭 깊이($D_{\mathrm{nom}}$)와 순전파 정보 경로의 기대 길이를 정량화하는 운영 메트릭인 유효 깊이($D_{\mathrm{eff}}$) 간의 구분을 공식화하며, Veit 등(2016)이 도입한 잔차 신경망의 경로 앙상블(ensemble) 해석을 순차형, 잔차형 및 다중 브랜치 위상을 아우르는 닫힌 형태(closed-form)의 사전학습(pre-training) 프록시로 확장합니다. 우리는 관측된 역전파(backpropagation) 신호로부터 계산된 그래디언트(gradient) 가중 변형에 대해 이 프록시를 검증(validation)합니다. 8개의 대표적인 모델(VGG-11/13/16/19, ResNet-18/34/50, GoogLeNet) 전반에서, 플레인 VGG 스타일 스택은 $D_{\mathrm{eff}}$가 증가함에 따라 조기 정확도 포화를 보이는 반면, ResNet과 GoogLeNet은 $D_{\mathrm{nom}}$ 대비 $D_{\mathrm{eff}}$를 낮게 유지함으로써 추가된 깊이로부터 지속적으로 이점을 얻는데, 우리는 이러한 패턴을 "유효 깊이의 역설(Effective Depth Paradox)"이라 칭합니다. 풀링 상관 분석에 따르면 $D_{\mathrm{nom}}$과 $D_{\mathrm{eff}}$ 모두 정확도와 강력하고 유의미한 상관관계를 보입니다(r = 0.94 및 r = 0.93; 둘 다 p < 0.01). 작은 계열 클러스터 표본을 감안할 때 이것만으로는 두 메트릭을 명확히 분리할 수 없으므로, 그래디언트 노름(gradient-norm) 증거를 결정적인 통계적 증거라기보다는 상호보완적인 메커니즘 지원으로 다룹니다. 우리는 층의 수뿐만 아니라 아키텍처 위상이 심층 CNN의 학습 가능성과 스케일링(scaling) 효율성을 지배한다고 결론짓습니다. 모든 주장은 연구된 세 계열의 CIFAR-10 규모 학습으로 범위가 한정되며, ImageNet 규모에서의 검증이나 향후 필요한 연구로 명시한 EfficientNet, ConvNeXt, Vision Transformer와 같은 현대 아키텍처로의 일반화를 주장하지는 않습니다.