MLP는 자신의 스킵 연결을 정확히 흡수할 수 있는가?
Can an MLP Absorb Its Own Skip Connection Exactly?
한국어 초록
스킵 연결(skip connection)의 이점으로 흔히 언급되는 것은 최적화 이론적 측면, 즉 더 매끄러운 손실 지형(loss landscape)과 향상된 그래디언트 전파입니다. 본 연구에서는 그 대신 표현력(representation)에 관한 질문을 던집니다. 잔차 블록(residual block) x -> x + MLP(x)가 주어졌을 때, 동일한 너비의 잔차 없는(residual-free) MLP가 동일한 함수를 계산할 수 있는가? 답은 조건 없이 모든 깊이에서 '아니다'이며, 현재 프론티어 언어 모델에서 사용되는 모든 활성화 함수(렐루^2(ReLU^2), ReGLU, SwiGLU, GeGLU)에 대해 그러합니다. 게이팅되지 않은 렐루(ReLU)와 GELU의 경우 흡수가 가능하지만, 이는 측도 0(measure zero)인 가중치 집합에서만 가능합니다. 따라서 두 계열은 일반적으로 서로소(generically disjoint)이며, 스킵 연결을 제거하고 재학습하더라도 동일한 너비에서 정확히 동일한 함수를 복원할 수 없습니다.
원문 초록
The benefits usually attributed to skip connections are optimization-theoretic: a smoother loss landscape and better gradient propagation. We ask a representational question instead: given a residual block x -> x + MLP(x), does a residual-free MLP of the same width compute the same function? The answer is no, unconditionally and at every depth, for every activation used in current frontier language models (ReLU^2, ReGLU, SwiGLU, GeGLU). For ungated ReLU and GELU absorption is possible, but only on a set of weights of measure zero. The two families are therefore generically disjoint: removing a skip connection and retraining cannot recover exactly the same function at equal width.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
최소 노름 일변수 2층 ReLU 분류: 정확한 해와 스킵 연결을 통한 전역 최적성
Minimal-Norm Univariate Two-Layer ReLU Classification: Exact Solutions and Global Optimality with Skip Connections
우리는 일변수 2층 ReLU 네트워크를 이용한 이진 분류에서 최소 노름 보간(minimal-norm interpolation)과 $\ell_2$ 정규화 로지스틱 손실 최소화를 연구한다. 함수 공간에서 최적 분류기에 대한 완전한 기하학적 특성을 제시하며, 은닉층 바이어스가 매개변수 노름에 포함되는지 여부에 따라 해가 어떻게 달라지는지를 규명한다. 바이어스에 페널티를 부과하지 않는 경우, 최소 노름 보간 함수는 모든 레이블 전환 지점에 밀착하고 적절한 볼록성을 갖는 꺾임점(kink)을 지니는 연속 구간별 아핀 함수들과 정확히 일치한다. 바이어스에 페널티를 부과하는 경우, 최소해는 함수 공간에서 유일하며, 레이블이 같은 각 중간 구간마다 정확히 하나의 꺾임점을 갖고, 따라서 가장 희소한 양의 마진 분류기가 된다. 나아가 자유 아핀 스킵 연결(affine skip connection)을 추가해도 이러한 함수 공간의 해는 변하지 않지만 매개변수 공간의 지형(landscape)은 근본적으로 개선됨을 보인다. 즉, 제약 문제의 모든 KKT 점이 전역 최적해가 되는 반면, 스킵 연결이 없으면 차선(suboptimal) KKT 점이 나타날 수 있다. 로지스틱 손실에 대한 $\ell_2$ 정규화가 충분히 약한 경우에 대해서도 유사한 전역 최적성 및 기하학적 결과를 확립한다. 바이어스에 페널티를 부과하지 않는 경우에는 추가적인 희소성 유사 제약을 규명하였으며, 이는 대부분의 최소 노름 보간 함수가 마진 정규화된 로지스틱 손실 최소해의 작은 정규화 극한으로 나타날 수 없음을 의미한다. 데이터셋 복잡도와 네트워크 너비를 달리한 수치 실험은 예측된 지형 및 희소성 현상을 뒷받침한다.
1차 손실 함수를 통한 GELU 및 임계값 전달 활성화 함수의 구조적 해석
A Structural Interpretation of GELU and Threshold-Transmission Activations via the First-Order Loss Function
가우시안 오류 선형 단위(GELU)는 보통 입력 의존적 베르누이 게이트의 기대 출력으로 설명된다. 본 연구는 대안적 해석을 제시한다: GELU는 가우시안 랜덤 임계값을 갖는 하드 선형 게이트의 기대 출력이다. 이 관점은 베르누이 게이트에 대한 생성적 해석을 제공한다. 입력이 잠재적 가우시안 임계값을 넘으면 게이트가 열린다. 이 해석은 확률적 재고 이론(stochastic inventory theory)의 잘 알려진 결과에 기반한 분해에서 비롯되며, 렐루(ReLU), GELU, SiLU/Swish, hard swish를 특수 사례로 포함하는 임계값 전달(threshold-transmission) 활성화 함수군으로 이어진다. 잠재적 균등 임계값을 고려하면, 비선형 전환이 유한 구간에 국한되는 hard-swish 유사의 구간별 다항식 게이트를 복원하며, 고정 폭 및 학습된 폭 변형을 산출한다. 소형 비전 및 언어 모델에 대한 통제 실험은, 보정되거나 학습된 균등 임계값 게이트가 GELU, ReLU, SiLU/Swish와 지속적으로 경쟁력 있음을 보이며, 아키텍처에 따라 달라지는 학습된 폭을 나타내고, 유한 전환 영역을 비자명하게 활용함을 보여준다.
매개변수 의존 문제 해의 잔차 신경망 근사
Approximation of solutions of parameter-dependent problems by residual neural networks
그래디언트 흐름(gradient flow)에 기반하여 해석적 활성화 함수를 포함하는 신경망을 학습하기 위한 수렴하는 방법을 개발한다. 수렴 성질은 Łojasiewicz 이론에 의해 보장된다. 이 접근법의 주요 장점은 구현의 단순함이다. 신경망의 계수는 상미분방정식(ordinary differential equation) 시스템을 풂으로써 근사된다. 매개변수 문제 해의 잔차 신경망 근사를 구성함으로써 이 방법을 검증한다. 간단한 상미분방정식 해가 소수의 매개변수에 의존하는 관계가 올바르게 재현된다. 소수의 매개변수에 의존하는 파동 제약(wave constraint)을 포함하는 역문제(inverse problem)의 해는, 문제가 심각하게 ill-posed인 영역에서도 합리적으로 근사할 수 있다.
멱영 선형 시스템으로서의 역전파
Backpropagation as a Nilpotent Linear System
역전파는 심층 학습의 계산 엔진이지만, 그 수학적 구조는 통상적으로 계산 그래프의 절차적 순회로 다루어진다. 본 논문은 F-수반(F-adjoint) 프레임워크의 전역 연산자 이론을 제시하며, 깊이 $L$인 피드포워드 네트워크의 레이어별 역방향 재귀를 단일 선형 시스템 $(I-\mathcal{B})\mathbf{X}^*=\mathbf{G}$로 재공식화한다. 여기서 $\mathbf{G}$는 소스 벡터이다. 전역 역방향 연산자 $\mathcal{B}$가 순 블록 상삼각(strictly block upper-triangular)이며 인덱스 최대 $L$의 멱영(nilpotent)임을 증명한다. 이 멱영성은 노이만 급수(Neumann series) 해가 최대 $L$개의 항 이후 정확히 종료됨을 보장하며, 고전적 역전파가 상 이중 대각(upper bidiagonal) 시스템에 대한 블록 후진 대입과 수학적으로 동치임을 밝힌다. F-대칭(F-symmetry)—역방향 패스가 순전파를 완벽하게 반영하는 조건—을 공식화하고, 직교 가중치 행렬을 그 정준적 예시로 규명한다. 수치 예제를 통해, 이 연산자 관점이 순 피드포워드 네트워크의 단일 경로 붕괴(single-path collapse)와 잔차 아키텍처에서의 그 분해를 어떻게 드러내는지 보인다. 마지막으로, 이 합성적 구조를 활용하여 잔차 네트워크(그래디언트 하이웨이)와 전이학습(그래디언트 절단)의 메커니즘을 엄밀히 유도한다. 이 프레임워크는 역전파를 알고리즘적 레시피에서 전역 멱영 연산자 공식으로 격상시킨다.
SmartMixed: 신경망에서 적응형 활성화 함수 학습을 위한 2단계 학습 전략
SmartMixed: A Two-Phase Training Strategy for Adaptive Activation Function Learning in Neural Networks
활성화 함수의 선택은 신경망에서 핵심적인 역할을 하지만, 대부분의 아키텍처는 여전히 모든 뉴런에 걸쳐 고정된 균일한 활성화 함수에 의존한다. 우리는 추론 시 계산 효율성을 유지하면서 네트워크가 뉴런별 최적 활성화 함수를 학습할 수 있게 하는 새로운 2단계 학습 전략인 SmartMixed를 소개한다. 첫 번째 단계에서는 뉴런이 미분 가능한 하드 혼합 메커니즘을 사용하여 후보 활성화 함수 풀(렐루(ReLU), 시그모이드(Sigmoid), Tanh, Leaky_ReLU, ELU, SELU)에서 적응적으로 선택한다. 두 번째 단계에서는 학습된 선택에 따라 각 뉴런의 활성화 함수가 고정되며, 그 결과 최적화된 벡터화 연산으로 지속적인 학습을 지원하는 계산 효율적인 네트워크가 생성된다. 우리는 서로 다른 아키텍처의 피드포워드 신경망을 사용하여 MNIST 데이터셋에서 SmartMixed를 평가한다. 분석 결과, 서로 다른 레이어의 뉴런이 활성화 함수에 대해 뚜렷한 선호도를 보임이 밝혀졌으며, 이는 신경 아키텍처 내 기능적 다양성에 대한 통찰을 제공한다. 또한 SmartMixed가 뉴런들로 하여금 선호하는 활성화 함수를 선택하게 함으로써 네트워크를 효과적으로 학습시키며, 단일 고정 최신 활성화 함수를 사용하는 모델과 경쟁함을 입증하였다.
게이팅으로서의 신경망 비선형성 재고
Rethinking Neural Nonlinearity as Gating
활성화 함수(activation function)는 신경망 비선형성의 필수적인 기본 요소로 여겨진다. 즉, 활성화 함수는 신경망이 범용 근사기(universal approximator)로 기능할 수 있게 한다. 본 논문에서는 이러한 비선형성이 브랜치(branch)를 통한 입력 조건부 임계값 게이팅(input-conditioned threshold gating)으로도 범용 기본 요소로서 구현될 수 있음을 보인다. 구간선형(piecewise-linear) 형태(렐루(ReLU), PReLU, Hardtanh)이든 부드러운(smooth) 형태(SiLU, 시그모이드(Sigmoid), Tanh, GELU)이든 표준 활성화 함수들이 실제로는 단일한 임계값 게이팅(Threshold Gating, TG) 기본 요소의 특수한 사례임을 보인다. 소프트맥스(Softmax)에 대해서는, 원소별 시그모이드 동치 형태를 통해 정확한 TG 변환이 가능함을 보인다. 이어서 CNN, 트랜스포머(transformer) 기반 모델, 순환 아키텍처에 걸쳐 사전학습된 네트워크를 변환함으로써 이러한 동치 관계를 검증하며, 재학습 없이 모델 성능이 유지됨을 확인한다. 임계값 게이팅은 기존 활성화 함수를 단순 교체하는 것을 넘어 처음부터의 학습(training from scratch)도 지원하며, 모델 압축(model compression), 성능 향상, 학습 시간 단축 측면에서의 이점을 가능하게 한다. 또한 범용 심층 신경망의 학습 가능성(trainability)과 본 기본 요소에서 필요한 최소 브랜치 수를 연결하는 '최소 브랜치 정리(Minimal Branch Theorem)'를 제안한다. 하드웨어 구현 측면에서, TG는 아날로그 인-메모리(analog in-memory) 시스템에서 통합 구현으로 매핑되어, 전력 소비와 온칩 면적에 상당한 영향을 미치는 것으로 알려진 아날로그-디지털 및 디지털-아날로그 변환기(ADC/DAC)의 병목 문제를 해결한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
Accepted at the NeurReps Workshop @ NeurIPS 2026 (Extended Abstract Track), nominated for oral presentation. Extended version. OpenReview: https://openreview.net/forum?id=mDcb1yixV2