NGN: 미분 가능한 카운트를 통한 신경망 크기 학습
NGN: Learning Neural Network Size as a Differentiable Count
신경망(neural network) 크기는 대개 학습(training) 전에 결정되어 아키텍처 선택과 가중치(weight) 최적화(optimization)가 분리됩니다. 본 논문에서는 모델(model)이 몇 개의 순서화된 구조적 컴포넌트를 사용해야 하는지 학습하기 위한 미분 가능한 매개변수화 기법인 신경발생 네트워크(Neurogenesis Network, NGN)를 소개합니다. 순서가 지정된 각 컴포넌트 그룹에 대해 하나의 학습 가능한 경계가 모델 파라미터가 학습되는 동안 활성 접두사(active prefix)를 선택합니다. 이 경계는 컴팩트한 초기화(initialization) 상태에서 확장될 수 있으며, 학습된 경계를 넘어선 컴포넌트를 폐기하여 배포할 수 있습니다. 통제된 실험을 통해 학습된 경계의 수렴(convergence), 배포된 접두사의 성능, 그리고 고정 크기 모델 및 용량 학습을 위한 대안적 접근법들과의 비교를 검토합니다. 이후 동일한 메커니즘을 MLP, 합성곱 및 그래프 네트워크, Transformer, 상태 공간 모델(state-space model), LoRA, 어댑터(adapter)에 적용합니다. 이러한 다양한 설정 전반에서 학습된 접두사만 배포해도 대개 성능 변화가 거의 없으며, 선택된 아키텍처는 동일한 크기로 학습된 고정 크기 모델과 유사한 성능을 보입니다. 이러한 결과는 구조적 용량이 카운트 형태로 직접 최적화될 수 있음을 보여줍니다.