ANCRe: 효율적인 깊이 스케일링을 위한 적응형 신경망 연결 재할당
ANCRe: Adaptive Neural Connection Reassignment for Efficient Depth Scaling
네트워크 깊이의 스케일링(scaling)은 현대 파운데이션 모델 성공의 핵심적인 원동력이었으나, 최근 연구들에 따르면 깊은 레이어들이 충분히 활용되지 못하는 경우가 많다는 점이 지적되고 있습니다. 본 논문에서는 신경망을 깊게 만드는 기본 메커니즘인 잔차 연결(residual connection)을 최적화(optimization) 관점에서 재조명합니다. 엄밀한 분석을 통해 잔차 연결의 배치가 수렴 거동을 근본적으로 결정할 수 있으며, 나아가 수렴 속도에 지수적 격차까지 유발함을 증명합니다. 이러한 통찰을 바탕으로, 데이터로부터 잔차 연결성을 매개변수화하고 학습하는 원리적이고 경량화된 프레임워크인 적응형 신경망 연결 재할당(ANCRe, Adaptive Neural Connection Reassignment)을 제안합니다. ANCRe는 극히 미미한 연산 및 메모리 오버헤드($<1\%$)만으로 잔차 연결을 적응형으로 재할당하는 동시에, 네트워크 깊이를 더욱 효과적으로 활용할 수 있도록 합니다. 대규모 언어 모델(LLM)의 사전학습, 확산 모델(diffusion model), 깊은 ResNet에 걸친 광범위한 수치 실험을 통해, 기존 잔차 연결 대비 일관되게 가속화된 수렴, 향상된 성능, 증대된 깊이 효율성을 입증합니다.