PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2604.23705v2cs.LG

MLP는 자신의 스킵 연결을 정확히 흡수할 수 있는가?

Can an MLP Absorb Its Own Skip Connection Exactly?

스킵 연결(skip connection)의 이점으로 흔히 언급되는 것은 최적화 이론적 측면, 즉 더 매끄러운 손실 지형(loss landscape)과 향상된 그래디언트 전파입니다. 본 연구에서는 그 대신 표현력(representation)에 관한 질문을 던집니다. 잔차 블록(residual block) x -> x + MLP(x)가 주어졌을 때, 동일한 너비의 잔차 없는(residual-free) MLP가 동일한 함수를 계산할 수 있는가? 답은 조건 없이 모든 깊이에서 '아니다'이며, 현재 프론티어 언어 모델에서 사용되는 모든 활성화 함수(렐루^2(ReLU^2), ReGLU, SwiGLU, GeGLU)에 대해 그러합니다. 게이팅되지 않은 렐루(ReLU)와 GELU의 경우 흡수가 가능하지만, 이는 측도 0(measure zero)인 가중치 집합에서만 가능합니다. 따라서 두 계열은 일반적으로 서로소(generically disjoint)이며, 스킵 연결을 제거하고 재학습하더라도 동일한 너비에서 정확히 동일한 함수를 복원할 수 없습니다.

arXiv:2609.28438v1cs.LG

최소 노름 일변수 2층 ReLU 분류: 정확한 해와 스킵 연결을 통한 전역 최적성

Minimal-Norm Univariate Two-Layer ReLU Classification: Exact Solutions and Global Optimality with Skip Connections

우리는 일변수 2층 ReLU 네트워크를 이용한 이진 분류에서 최소 노름 보간(minimal-norm interpolation)과 $\ell_2$ 정규화 로지스틱 손실 최소화를 연구한다. 함수 공간에서 최적 분류기에 대한 완전한 기하학적 특성을 제시하며, 은닉층 바이어스가 매개변수 노름에 포함되는지 여부에 따라 해가 어떻게 달라지는지를 규명한다. 바이어스에 페널티를 부과하지 않는 경우, 최소 노름 보간 함수는 모든 레이블 전환 지점에 밀착하고 적절한 볼록성을 갖는 꺾임점(kink)을 지니는 연속 구간별 아핀 함수들과 정확히 일치한다. 바이어스에 페널티를 부과하는 경우, 최소해는 함수 공간에서 유일하며, 레이블이 같은 각 중간 구간마다 정확히 하나의 꺾임점을 갖고, 따라서 가장 희소한 양의 마진 분류기가 된다. 나아가 자유 아핀 스킵 연결(affine skip connection)을 추가해도 이러한 함수 공간의 해는 변하지 않지만 매개변수 공간의 지형(landscape)은 근본적으로 개선됨을 보인다. 즉, 제약 문제의 모든 KKT 점이 전역 최적해가 되는 반면, 스킵 연결이 없으면 차선(suboptimal) KKT 점이 나타날 수 있다. 로지스틱 손실에 대한 $\ell_2$ 정규화가 충분히 약한 경우에 대해서도 유사한 전역 최적성 및 기하학적 결과를 확립한다. 바이어스에 페널티를 부과하지 않는 경우에는 추가적인 희소성 유사 제약을 규명하였으며, 이는 대부분의 최소 노름 보간 함수가 마진 정규화된 로지스틱 손실 최소해의 작은 정규화 극한으로 나타날 수 없음을 의미한다. 데이터셋 복잡도와 네트워크 너비를 달리한 수치 실험은 예측된 지형 및 희소성 현상을 뒷받침한다.