스킵 연결(skip connection)의 이점으로 흔히 언급되는 것은 최적화 이론적 측면, 즉 더 매끄러운 손실 지형(loss landscape)과 향상된 그래디언트 전파입니다. 본 연구에서는 그 대신 표현력(representation)에 관한 질문을 던집니다. 잔차 블록(residual block) x -> x + MLP(x)가 주어졌을 때, 동일한 너비의 잔차 없는(residual-free) MLP가 동일한 함수를 계산할 수 있는가? 답은 조건 없이 모든 깊이에서 '아니다'이며, 현재 프론티어 언어 모델에서 사용되는 모든 활성화 함수(렐루^2(ReLU^2), ReGLU, SwiGLU, GeGLU)에 대해 그러합니다. 게이팅되지 않은 렐루(ReLU)와 GELU의 경우 흡수가 가능하지만, 이는 측도 0(measure zero)인 가중치 집합에서만 가능합니다. 따라서 두 계열은 일반적으로 서로소(generically disjoint)이며, 스킵 연결을 제거하고 재학습하더라도 동일한 너비에서 정확히 동일한 함수를 복원할 수 없습니다.
가우시안 오류 선형 단위(GELU)는 보통 입력 의존적 베르누이 게이트의 기대 출력으로 설명된다. 본 연구는 대안적 해석을 제시한다: GELU는 가우시안 랜덤 임계값을 갖는 하드 선형 게이트의 기대 출력이다. 이 관점은 베르누이 게이트에 대한 생성적 해석을 제공한다. 입력이 잠재적 가우시안 임계값을 넘으면 게이트가 열린다. 이 해석은 확률적 재고 이론(stochastic inventory theory)의 잘 알려진 결과에 기반한 분해에서 비롯되며, 렐루(ReLU), GELU, SiLU/Swish, hard swish를 특수 사례로 포함하는 임계값 전달(threshold-transmission) 활성화 함수군으로 이어진다. 잠재적 균등 임계값을 고려하면, 비선형 전환이 유한 구간에 국한되는 hard-swish 유사의 구간별 다항식 게이트를 복원하며, 고정 폭 및 학습된 폭 변형을 산출한다. 소형 비전 및 언어 모델에 대한 통제 실험은, 보정되거나 학습된 균등 임계값 게이트가 GELU, ReLU, SiLU/Swish와 지속적으로 경쟁력 있음을 보이며, 아키텍처에 따라 달라지는 학습된 폭을 나타내고, 유한 전환 영역을 비자명하게 활용함을 보여준다.
SmartMixed는 뉴런별 최적 활성화 함수를 학습하는 2단계 학습 전략으로, 1단계에서는 Gumbel–Softmax 기반의 미분 가능한 하드 혼합 메커니즘으로 ReLU, Sigmoid, Tanh, Leaky_ReLU, ELU, SELU 중 각 뉴런의 선호 함수를 탐색하고, 2단계에서는 선택된 함수를 고정해 벡터화 연산으로 효율적으로 학습을 이어간다. MNIST 실험 결과, 얕은 레이어는 ReLU와 Leaky_ReLU를, 깊은 레이어는 SELU와 ELU를 선호하는 경향이 나타났으며, 단일 고정 활성화 함수 모델과 대등한 성능을 보였다.
활성화 함수(activation function)는 신경망 비선형성의 필수적인 기본 요소로 여겨진다. 즉, 활성화 함수는 신경망이 범용 근사기(universal approximator)로 기능할 수 있게 한다. 본 논문에서는 이러한 비선형성이 브랜치(branch)를 통한 입력 조건부 임계값 게이팅(input-conditioned threshold gating)으로도 범용 기본 요소로서 구현될 수 있음을 보인다. 구간선형(piecewise-linear) 형태(렐루(ReLU), PReLU, Hardtanh)이든 부드러운(smooth) 형태(SiLU, 시그모이드(Sigmoid), Tanh, GELU)이든 표준 활성화 함수들이 실제로는 단일한 임계값 게이팅(Threshold Gating, TG) 기본 요소의 특수한 사례임을 보인다. 소프트맥스(Softmax)에 대해서는, 원소별 시그모이드 동치 형태를 통해 정확한 TG 변환이 가능함을 보인다. 이어서 CNN, 트랜스포머(transformer) 기반 모델, 순환 아키텍처에 걸쳐 사전학습된 네트워크를 변환함으로써 이러한 동치 관계를 검증하며, 재학습 없이 모델 성능이 유지됨을 확인한다. 임계값 게이팅은 기존 활성화 함수를 단순 교체하는 것을 넘어 처음부터의 학습(training from scratch)도 지원하며, 모델 압축(model compression), 성능 향상, 학습 시간 단축 측면에서의 이점을 가능하게 한다. 또한 범용 심층 신경망의 학습 가능성(trainability)과 본 기본 요소에서 필요한 최소 브랜치 수를 연결하는 '최소 브랜치 정리(Minimal Branch Theorem)'를 제안한다. 하드웨어 구현 측면에서, TG는 아날로그 인-메모리(analog in-memory) 시스템에서 통합 구현으로 매핑되어, 전력 소비와 온칩 면적에 상당한 영향을 미치는 것으로 알려진 아날로그-디지털 및 디지털-아날로그 변환기(ADC/DAC)의 병목 문제를 해결한다.