arXiv:2609.02460v1 cs.NE

가변 길이 Dense 블록 진화를 위한 모델-프리 대리 보조 신경망 구조 탐색

Model-Free Surrogate-Assisted Neural Architecture Search for Evolving Variable-Length Dense Blocks

Asif Ameer, Maryam Bashir, Irfan Younas, Muhammad Fayyaz

제출 2026-09-02

한국어 초록

신경망 구조 탐색(NAS)은 심층 신경망을 자동으로 설계하는 강력한 패러다임으로 부상했으나, 실무 도입은 종종 상당한 계산 비용에 의해 제한된다. 값비싼 전체 학습 평가를 완화하기 위해 대리(surrogate) 기반 방법이 도입되어 네트워크 성능을 효율적으로 추정해 왔다. 그럼에도 기존 접근—특히 모델 기반 대리 모델—은 많은 후보 구조를 학습해야 하며 추가 최적화 부담을 수반한다. 본 연구에서는 합성곱 신경망 구조를 진화시키기 위한 Model-Free Surrogate PSO Network(MFSPNet)를 제안한다. 제안 방법은 입자 군집 최적화(PSO) 프레임워크 안에 경량의 모델-프리 대리 예측기를 통합하여, 사전 학습된 대리 모델이 필요 없도록 한다. 구체적으로 MFSPNet은 두 가지 핵심 기여를 제시한다: (1) 초기 일반화 거동을 포착하여 신뢰할 수 있는 구조 순위를 제공하는 검증 손실 기반 지수 이동 평균 추정기(VLE-EMA); (2) 진화된 블록의 효과적 적층을 가능하게 하면서 소실 그래디언트 문제를 완화하는 블록 기반 dense 연결 전략. 이 설계는 또한 학습된 블록의 데이터셋 간 전이 가능성을 높인다. 광범위한 실험은 MFSPNet이 계산 비용을 줄이면서 경쟁력 있는 성능을 달성함을 보여준다. 열 번의 독립 실행으로 일관된 학습 프로토콜 하에서, 제안 방법은 CIFAR-10, CIFAR-100, SVHN에서 각각 3.91%, 17.68%, 1.91%의 오류율을, ImageNet에서는 top-1/top-5 오류율 28.29%/12.82%를 달성하며, 구조 탐색에는 GPU 3일 미만이 필요하다. 계산 제약으로 ImageNet 결과는 단일 실행에 기반하므로 확장성에 대한 시사점으로 해석해야 한다. 종합하면 MFSPNet은 비용을 고려한 신경망 구조 탐색을 위한 효율적이고 신뢰할 수 있는 프레임워크를 제공한다.

원문 초록

Neural Architecture Search (NAS) has emerged as a powerful paradigm for automatically designing deep neural networks; however, its practical adoption is often limited by substantial computational cost. To alleviate expensive full-training evaluations, surrogate-based methods have been introduced to estimate network performance efficiently. Nevertheless, existing approaches-particularly model-based surrogates-require training many candidate architectures and involve additional optimization overhead. In this work, we propose a Model-Free Surrogate PSO Network (MFSPNet) for evolving convolutional neural network architectures. The proposed method integrates a lightweight model-free surrogate predictor within a particle swarm optimization (PSO) framework, eliminating the need for pre-trained surrogate models. Specifically, MFSPNet introduces two key contributions: (1) a validation-loss-driven exponential moving average estimator (VLE-EMA) that captures early generalization behavior for reliable architecture ranking; and (2) a block-based dense connection strategy that enables effective stacking of evolved blocks while mitigating vanishing-gradient issues. This design also facilitates transferability of learned blocks across datasets. Extensive experiments demonstrate that MFSPNet achieves competitive performance with reduced computational cost. Under a consistent training protocol with ten independent runs, the proposed method attains error rates of 3.91%, 17.68%, and 1.91% on CIFAR-10, CIFAR-100, and SVHN, respectively, along with top-1/top-5 error rates of 28.29%/12.82% on ImageNet, while requiring less than three GPU days for architecture search. Due to computational constraints, the ImageNet result is based on a single run and should be interpreted as indicative of scalability. Overall, MFSPNet provides an efficient and reliable framework for cost-aware neural architecture search.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.02460v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.