arXiv:2602.13298v4 cs.CV

유효 깊이의 역설: 심층 합성곱 신경망에서의 위상과 학습 가능성

The Effective Depth Paradox: Topology and Trainability in Deep CNNs

Manfred M. Fischer, Joshua Pitts

제출 2026-02-09

한국어 초록

본 논문은 통일된 학습(training) 프로토콜 하에 CIFAR-10에서 평가된 VGG, ResNet, GoogLeNet 아키텍처 계열 전반에 걸친 합성곱 신경망(CNN) 위상(topology)과 이미지 분류(image classification) 성능에 대한 통제된 비교 연구를 제시합니다. 우리는 가중치(weight)를 갖는 층(layer)의 물리적 수를 의미하는 공칭 깊이($D_{\mathrm{nom}}$)와 순전파 정보 경로의 기대 길이를 정량화하는 운영 메트릭인 유효 깊이($D_{\mathrm{eff}}$) 간의 구분을 공식화하며, Veit 등(2016)이 도입한 잔차 신경망의 경로 앙상블(ensemble) 해석을 순차형, 잔차형 및 다중 브랜치 위상을 아우르는 닫힌 형태(closed-form)의 사전학습(pre-training) 프록시로 확장합니다. 우리는 관측된 역전파(backpropagation) 신호로부터 계산된 그래디언트(gradient) 가중 변형에 대해 이 프록시를 검증(validation)합니다. 8개의 대표적인 모델(VGG-11/13/16/19, ResNet-18/34/50, GoogLeNet) 전반에서, 플레인 VGG 스타일 스택은 $D_{\mathrm{eff}}$가 증가함에 따라 조기 정확도 포화를 보이는 반면, ResNet과 GoogLeNet은 $D_{\mathrm{nom}}$ 대비 $D_{\mathrm{eff}}$를 낮게 유지함으로써 추가된 깊이로부터 지속적으로 이점을 얻는데, 우리는 이러한 패턴을 "유효 깊이의 역설(Effective Depth Paradox)"이라 칭합니다. 풀링 상관 분석에 따르면 $D_{\mathrm{nom}}$과 $D_{\mathrm{eff}}$ 모두 정확도와 강력하고 유의미한 상관관계를 보입니다(r = 0.94 및 r = 0.93; 둘 다 p < 0.01). 작은 계열 클러스터 표본을 감안할 때 이것만으로는 두 메트릭을 명확히 분리할 수 없으므로, 그래디언트 노름(gradient-norm) 증거를 결정적인 통계적 증거라기보다는 상호보완적인 메커니즘 지원으로 다룹니다. 우리는 층의 수뿐만 아니라 아키텍처 위상이 심층 CNN의 학습 가능성과 스케일링(scaling) 효율성을 지배한다고 결론짓습니다. 모든 주장은 연구된 세 계열의 CIFAR-10 규모 학습으로 범위가 한정되며, ImageNet 규모에서의 검증이나 향후 필요한 연구로 명시한 EfficientNet, ConvNeXt, Vision Transformer와 같은 현대 아키텍처로의 일반화를 주장하지는 않습니다.

원문 초록

This paper presents a controlled comparative study of convolutional neural network (CNN) topology and image classification performance across the architectural families VGG, ResNet, and GoogLeNet, evaluated on CIFAR-10 under a unified training protocol. We formalize the distinction between nominal depth ($D_{\mathrm{nom}}$), the physical count of weight-bearing layers, and effective depth ($D_{\mathrm{eff}}$), an operational metric quantifying the expected length of forward information paths, extending the path-ensemble interpretation of residual networks introduced by Veit et al. (2016) into closed-form, pre-training proxies spanning sequential, residual, and multi-branch topologies. We validate this proxy against a gradient-weighted variant computed from observed backpropagation signal. Across eight representative models (VGG-11/13/16/19, ResNet-18/34/50, GoogLeNet), plain VGG-style stacks show early accuracy saturation as $D_{\mathrm{eff}}$ increases, whereas ResNet and GoogLeNet continue to benefit from added depth by keeping $D_{\mathrm{eff}}$ low relative to $D_{\mathrm{nom}}$ - a pattern we term the "Effective Depth Paradox". A pooled correlation analysis shows both $D_{\mathrm{nom}}$ and $D_{\mathrm{eff}}$ are strongly, significantly associated with accuracy (r = 0.94 and r = 0.93; both p < 0.01); given the small family-clustered sample, this alone cannot cleanly separate the two metrics, so we treat gradient-norm evidence as complementary mechanistic support rather than decisive statistical proof. We conclude that architectural topology, not layer count alone, governs trainability and scaling efficiency in deep CNNs. All claims are scoped to CIFAR-10-scale training of the three families studied; we do not claim validation at ImageNet scale or generalization to modern architectures such as EfficientNet, ConvNeXt, or Vision Transformers, which we identify as necessary future work.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2602.13298v4

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.09630v1cs.CV공통 태그 Image Classification, resnet

합성 데이터와 레이블 분포가 카놀라 가지 계수에 미치는 영향

The Effects of Synthetic Data and Label Distribution on Canola Branch Counting

자동화된 표현형 분석을 위한 주석 식물 이미지 수집은 흔히 느리고 비용이 많이 든다. 성장 및 발달을 시뮬레이션하는 식물 모델은 정확한 레이블이 포함된 무제한의 합성 이미지를 생성할 수 있다. 그러나 기존 연구에 따르면 합성 데이터를 통합했을 때 성능이 향상되는지 여부는 합성 이미지와 실제 이미지의 비율 및 합성 데이터셋의 레이블 분포에 따라 달라진다. 두 요인을 체계적으로 정량화하기 위해, 우리는 보정된 L-시스템 식물 모델을 사용하여 카놀라 가지 계수 태스크에서 ResNet-18 모델을 학습시키고 각 요인을 독립적으로 변화시켰다. 합성-실제 비율이 1:5에서 1:22인 경우 전반적으로 성능이 향상되었으며, 최적 비율(1:7)에서 실제 데이터만 사용한 학습 대비 평균 절대 오차가 7.6% 감소하였다. 레이블 분포 측면에서, 균등한 합성 분포는 성능이 현저히 낮았으며(절대 오차 약 1.70), 실제 분포 방향으로 90% 보간하면 절대 오차 0.927을 달성한 반면, 실제 레이블 분포에 가우시안 스무딩을 적용하면 전체적으로 가장 우수한 결과(절대 오차 0.912, 실제 데이터만 사용한 학습 대비 14.7% 향상)를 얻었다. 레이블당 최소 10장의 합성 이미지는 완만한 성능 향상을 보이는 더 단순한 대안을 제공하지만, 레이블당 100장은 과도하게 보정되어 성능을 저하시켰다.

arXiv:2609.27710v3cs.CV공통 태그 Image Classification

FFM-CP: 퓨샷 계산병리학을 위한 비전-언어 기반 모델의 교차 백본 융합

FFM-CP: Cross-Backbone Fusion of Vision-Language Foundation Models for Few-Shot Computational Pathology

병리학 비전-언어 기반 모델은 질환과 과제에 따라 성능이 달라지며, 어떤 단일 모델도 일관되게 최고 성능을 내지 못한다. 전문가 병리 주석의 높은 비용은 과제별 적응에 사용할 수 있는 라벨 데이터를 제한하기도 한다. 상호 보완적인 사전학습 표현을 결합하는 것은 이러한 한계에 대한 잠재적 접근이지만, 소수의 라벨 예시로부터 효과적인 융합을 학습하는 것은 여전히 어렵다. 본 연구는 퓨샷 학습 설정에서 여러 병리학 비전-언어 모델을 결합하는 프레임워크인 Few-shot Fusion Foundation Models of Computational Pathology(FFM-CP)를 제안한다. 이 프레임워크는 먼저 대응하는 서포트 이미지로부터 추정한 폐형식(closed-form) 직교 프로크루스테스(Orthogonal Procrustes) 변환을 사용하여 이질적인 표현을 정렬한다. 이 정렬은 추가 정렬 네트워크를 학습하지 않고도 모델 내부 특징 기하를 보존한다. 정렬된 공간 안에서 통합 그래프는 서포트 이미지 특징과 시각·텍스트 클래스 프로토타입을 공동으로 정제함으로써 백본 간 정보 교환을 가능하게 한다. 이렇게 정제된 표현은 의미적 클래스 지식과 클래스 내 시각적 변이를 각각 포착하는 상호 보완적인 텍스트-프로토타입 분기와 케이스 검색(case-retrieval) 분기를 지원한다. 각 분기는 모든 순서화된 백본 쌍의 예측을 결합하는 방법을 학습하여, 한 모델로 인코딩된 쿼리가 다른 모델이 표현한 증거를 활용할 수 있게 한다. 우리는 6개의 조직병리학 데이터셋에서 클래스당 4, 8, 16샷 조건으로 3가지 백본 조합을 평가했다. FFM-CP는 54번 비교 중 50번에서 각 융합 집합의 개별 적응 멤버 중 가장 강한 모델보다 더 높은 평균 macro-F1을 달성했다. 이러한 결과는 주석이 제한될 때 상호 보완적인 사전학습 표현의 결합이 조직병리학 분류를 개선할 수 있음을 시사한다.

arXiv:2609.37687v3cs.AI공통 태그 Image Classification

WISE-ATTA: 예산 제약이 있는 능동적 테스트 타임 적응에서 레이블을 요청해야 하는 시점

WISE-ATTA: When to Ask for Labels in Budgeted Active Test-Time Adaptation

능동적 테스트 타임 적응(Active Test-Time Adaptation, ATTA)은 감독(supervision) 정보를 선택적으로 요청하면서 추론(inference) 중에 배포된 모델을 업데이트함으로써 분포 변화(distribution shift) 하에서의 강건성을 향상시킵니다. 그러나 대부분의 기존 ATTA 방식은 들어오는 모든 테스트 배치(batch)에 대해 감독을 요청할 수 있다고 암묵적으로 가정하므로, 긴 테스트 스트림에 걸쳐 상당한 라벨링 비용이 발생할 수 있습니다. 본 연구에서는 테스트 배치의 일부에 대해서만 레이블을 사용할 수 있는 예산 제약 기반의 ATTA(budgeted ATTA)를 소개합니다. 이러한 정형화는 핵심 과제를 배치 내에서 무엇에 레이블을 지정할지 결정하는 문제에서 시간에 따라 언제 감독을 적용해야 하는지 결정하는 문제로 전환합니다. 이 문제를 해결하기 위해, 온라인으로 계산되는 경량 신호에 기반하여 테스트 스트림 전체에 걸쳐 감독을 할당하고 감독이 가장 유용할 것으로 예상되는 시점을 우선시하는 예산 인식 접근 방식인 WISE-ATTA를 제안합니다. 감독 대상 배치가 선택되면, 지속적이고 아직 수렴되지 않은 적응 역학을 보이는 샘플을 목표로 하는 드리프트 기반 샘플 선택 기준을 추가로 적용하여 단 하나의 레이블된 예시로도 효과적인 업데이트를 가능하게 합니다. 우리는 합성 손상(ImageNet-C) 및 자연 분포 변화(ImageNet-R/K/A) 환경에서 이 접근 방식을 평가합니다. 다양한 설정 전반에 걸쳐 WISE-ATTA는 훨씬 적은 레이블을 사용하면서도 최신 ATTA 방식과 비교해 경쟁력 있거나 향상된 성능을 달성합니다. 전반적으로 우리는 감독의 타이밍이 능동적 테스트 타임 적응에서 핵심적이면서도 아직 충분히 탐구되지 않은 측면임을 확인했습니다. 코드: https://github.com/Muhammad-Huzaifaa/WISE-ATTA

토론

이 논문과 연결된 포럼 글이 아직 없습니다.