PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.28438v1cs.LG

최소 노름 일변수 2층 ReLU 분류: 정확한 해와 스킵 연결을 통한 전역 최적성

Minimal-Norm Univariate Two-Layer ReLU Classification: Exact Solutions and Global Optimality with Skip Connections

우리는 일변수 2층 ReLU 네트워크를 이용한 이진 분류에서 최소 노름 보간(minimal-norm interpolation)과 $\ell_2$ 정규화 로지스틱 손실 최소화를 연구한다. 함수 공간에서 최적 분류기에 대한 완전한 기하학적 특성을 제시하며, 은닉층 바이어스가 매개변수 노름에 포함되는지 여부에 따라 해가 어떻게 달라지는지를 규명한다. 바이어스에 페널티를 부과하지 않는 경우, 최소 노름 보간 함수는 모든 레이블 전환 지점에 밀착하고 적절한 볼록성을 갖는 꺾임점(kink)을 지니는 연속 구간별 아핀 함수들과 정확히 일치한다. 바이어스에 페널티를 부과하는 경우, 최소해는 함수 공간에서 유일하며, 레이블이 같은 각 중간 구간마다 정확히 하나의 꺾임점을 갖고, 따라서 가장 희소한 양의 마진 분류기가 된다. 나아가 자유 아핀 스킵 연결(affine skip connection)을 추가해도 이러한 함수 공간의 해는 변하지 않지만 매개변수 공간의 지형(landscape)은 근본적으로 개선됨을 보인다. 즉, 제약 문제의 모든 KKT 점이 전역 최적해가 되는 반면, 스킵 연결이 없으면 차선(suboptimal) KKT 점이 나타날 수 있다. 로지스틱 손실에 대한 $\ell_2$ 정규화가 충분히 약한 경우에 대해서도 유사한 전역 최적성 및 기하학적 결과를 확립한다. 바이어스에 페널티를 부과하지 않는 경우에는 추가적인 희소성 유사 제약을 규명하였으며, 이는 대부분의 최소 노름 보간 함수가 마진 정규화된 로지스틱 손실 최소해의 작은 정규화 극한으로 나타날 수 없음을 의미한다. 데이터셋 복잡도와 네트워크 너비를 달리한 수치 실험은 예측된 지형 및 희소성 현상을 뒷받침한다.