arXiv:2609.27291v1 cs.LG

NGN: 미분 가능한 카운트를 통한 신경망 크기 학습

NGN: Learning Neural Network Size as a Differentiable Count

Lixing Li

제출 2026-09-24

한국어 초록

신경망(neural network) 크기는 대개 학습(training) 전에 결정되어 아키텍처 선택과 가중치(weight) 최적화(optimization)가 분리됩니다. 본 논문에서는 모델(model)이 몇 개의 순서화된 구조적 컴포넌트를 사용해야 하는지 학습하기 위한 미분 가능한 매개변수화 기법인 신경발생 네트워크(Neurogenesis Network, NGN)를 소개합니다. 순서가 지정된 각 컴포넌트 그룹에 대해 하나의 학습 가능한 경계가 모델 파라미터가 학습되는 동안 활성 접두사(active prefix)를 선택합니다. 이 경계는 컴팩트한 초기화(initialization) 상태에서 확장될 수 있으며, 학습된 경계를 넘어선 컴포넌트를 폐기하여 배포할 수 있습니다. 통제된 실험을 통해 학습된 경계의 수렴(convergence), 배포된 접두사의 성능, 그리고 고정 크기 모델 및 용량 학습을 위한 대안적 접근법들과의 비교를 검토합니다. 이후 동일한 메커니즘을 MLP, 합성곱 및 그래프 네트워크, Transformer, 상태 공간 모델(state-space model), LoRA, 어댑터(adapter)에 적용합니다. 이러한 다양한 설정 전반에서 학습된 접두사만 배포해도 대개 성능 변화가 거의 없으며, 선택된 아키텍처는 동일한 크기로 학습된 고정 크기 모델과 유사한 성능을 보입니다. 이러한 결과는 구조적 용량이 카운트 형태로 직접 최적화될 수 있음을 보여줍니다.

원문 초록

Neural network size is usually chosen before training, separating architecture selection from weight optimization. We introduce the Neurogenesis Network (NGN), a differentiable parameterization for learning how many ordered structural components a model should use. For each ordered component group, one learnable boundary selects an active prefix while the model parameters are trained. The boundary can grow from a compact initialization and can be deployed by discarding components beyond the learned boundary. Controlled experiments examine convergence of the learned boundary, the performance of deployed prefixes, and comparisons with fixed-size models and alternative approaches to learning capacity. We then apply the same mechanism to MLPs, convolutional and graph networks, Transformers, state-space models, LoRA, and adapters. Across these settings, deploying only the learned prefix usually changes performance little, and the selected architectures perform similarly to fixed models trained at the same size. These results show that structural capacity can be optimized directly as a count.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.27291v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2602.10226v2cs.LG공통 태그 Model Selection, Neural Architecture Search

자기 진화형 추천 시스템: LLM 에이전트를 통한 엔드투엔드 자율 모델 최적화

Self-Evolving Recommendation System: End-To-End Autonomous Model Optimization With LLM Agents

글로벌 동영상 플랫폼용 추천 모델과 같은 대규모 머신러닝 시스템을 최적화하려면 방대한 하이퍼파라미터 탐색 공간을 헤집어야 하며, 더 중요하게는 미묘한 사용자 행동을 포착하기 위해 정교한 최적화기, 아키텍처, 보상 함수를 설계해야 한다. 이러한 영역에서 실질적인 개선을 달성하는 것은 사소한 과제가 아니며, 전통적으로 새로운 가설을 검증하기 위해 광범위한 수동 반복에 의존해 왔다. Google의 Gemini 계열을 포함한 대규모 언어 모델(LLM)을 활용하여 엔드투엔드 자동화 워크플로우 내에서 고성능의 복잡한 모델 변경 사항을 자율적으로 생성, 학습, 배포하는 자기 진화 시스템을 제안한다. 자기 진화 시스템은 프록시 지표를 사용해 고처리량 가설 생성을 수행하는 오프라인 에이전트(내부 루프)와, 실제 프로덕션 환경에서 지연된 북극성(north star) 비즈니스 지표에 대해 후보를 검증하는 온라인 에이전트(외부 루프)로 구성된다. 우리의 에이전트는 전문 머신러닝 엔지니어(MLE)처럼 동작한다: 깊은 추론 능력을 보이며, 최적화 알고리즘과 모델 아키텍처에서 새로운 개선점을 발견하고, 장기적인 사용자 참여를 목표로 하는 혁신적인 보상 함수를 수립한다. 이 접근법의 효과는 YouTube에서의 여러 성공적인 프로덕션 런칭을 통해 입증되었으며, 자율적이고 LLM 기반 진화가 개발 속도와 모델 성능 모두에서 전통적인 엔지니어링 워크플로우를 능가할 수 있음을 확인했다.

arXiv:2606.20933v1cs.LG공통 태그 Model Selection, Neural Architecture Search

NNGPT AutoML 파이프라인에서 견고한 학습을 향해: 손실-옵티마이저 페어링 선택 연구

Towards Robust Training in NNGPT AutoML Pipeline: A Loss-Optimizer Pairing Selection Study

손실 함수와 옵티마이저의 선택은 이후 모델 학습을 형성하는 중요한 결정이다. 그러나 자동화된 아키텍처 탐색 파이프라인(AutoML)은 최적 페어링 선택으로부터 훨씬 더 큰 이득을 얻으며, 그 반대도 마찬가지이다. 본 논문은 이질적인 아키텍처 풀에 단일 레시피로 충분한지, 아니면 구조적으로 다양한 모델마다 최적 페어링이 달라지는지를 조사한다. LEMUR 이질적 아키텍처 풀에 제시된 기본 모델과 6개 이미지 분류 데이터셋(CelebA-Gender, CIFAR-10, CIFAR-100, ImageNette, MNIST, SVHN) 전반에 걸쳐, 6개 옵티마이저(SGD+모멘텀, Adam, AdamW, RMSprop, Adagrad, Adadelta)와 3개 손실 함수—교차 엔트로피(CEL), 음의 로그 가능도(NLL), 그리고 최근 유전적으로 진화된 NGL 손실—의 $3 \times 6 = 18$개 조합 전체에 대한 체계적인 실증 연구를 수행한다. 18개 손실-옵티마이저 구성은 LEMUR 풀에서 가져온 33개 호환 기본 아키텍처 각각에 적용되어, 소스 수준 주입 파이프라인으로 완전 자동 생성된 594개 변형을 산출했으며, 고정된 하이퍼파라미터 하에서 평가되어 관측된 정확도 차이가 오직 손실-옵티마이저 페어링에 기인함을 보장했다. 결과는 단일 페어링이 보편적으로 최적이 아님을 확인한다. Adam 또는 AdamW와 함께한 교차 엔트로피는 아키텍처 계열과 데이터셋 전반에서 가장 견고한 선택이다. NGL은 표준 합성곱 분류기에서 CEL의 경쟁력 있는 대안이지만, 적응형 옵티마이저와 페어링될 때만 그렇다; SGD 또는 누적 기반 방법과 함께하면 상당히 성능이 저하된다. Adagrad와 Adadelta는 손실 함수와 관계없이 고정 하이퍼파라미터 하에서 지속적으로 저조한 성능을 보여, 학습률 튜닝에 대한 민감성을 부각한다. 이러한 발견은 NNGPT Framework 내 손실-옵티마이저 선택을 위한 실행 가능한 지침을 제공한다.

arXiv:2606.18154v1cs.AI공통 태그 Model Selection, Neural Architecture Search

하이브리드 구조의 에이전트 기반 발견을 통한 심장 전기생리학 디지털 트윈 학습

Learning Cardiac Electrophysiology Digital Twins Through Agentic Discovery of Hybrid Structure

개인화된 심장 전기생리학(EP) 디지털 트윈을 구축하려면 단순히 매개변수를 적합(fitting)시키는 것보다 각 환자에게 적합한 모델 구조를 식별하는 것이 필요합니다. 기존 방법은 전문가가 수동으로 하이브리드 물리-신경망 아키텍처를 규정하는 데 의존하므로 깊은 도메인 전문 지식이 필요하며 환자 간에 전이되지 않습니다. 최근 연구에서는 대규모 언어 모델(LLM)을 적용하여 하이브리드 모델을 생성하거나 하이브리드 모델로 작동하게 했습니다. 그러나 유망한 일반화 능력에도 불구하고, 이러한 LLM 기반 방법들은 안정적인 심장 시뮬레이션에 필요한 구조적 사전 지식(structural priors)이 부족합니다. 따라서 우리는 심장 EP 도메인 지식을 구조화된 행동 공간으로 공식화하고 LLM 에이전트를 활용하여 하이브리드 모델을 발견하는 LEADS 프레임워크를 제안합니다. 에이전트는 반복적인 추론 및 행동 루프를 통해 하이브리드 모델을 선택, 결합 및 정제(refine)하고, 경사하강법은 매개변수 적합을 처리합니다. 제안된 LEADS는 개방형 아키텍처 발견을 허용하면서 모든 후보 모델이 물리적 근거(physically grounded)를 가지며 해석 가능하고 수치적으로 안정적이 되도록 설계합니다. 우리는 세 가지 실제 반응 모델(ground-truth reaction models)이 있는 합성 데이터와 실제 심장 EP 데이터에서 LEADS를 검증하여, 인간이 설계한 하이브리드 모델과 다른 LLM 기반 하이브리드 모델링보다 우수한 성능을 보임을 입증했습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.