PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.17692v2cs.LG

완전 양의 리프팅을 통한 선형 신경망의 정확한 볼록 재구성

Exact Convex Reformulations of Linear Neural Networks via Completely Positive Lifting

본 논문에서는 제곱 손실(squared loss) 하에서 심층 선형 신경망(deep linear neural network)의 학습 문제가 일반화된 완전 양(completely positive)의 원뿔 위로 리프팅된 공간에서 정확한 볼록 재구성(exact convex reformulation)을 허용함을 보인다. 이 재구성은 원래의 비볼록 문제와 동일한 최적값을 가지며 리프팅된 변수에 대해 선형이고, 모든 비볼록성은 원뿔 제약조건 내에 인코딩된다. 리프팅된 주변 공간의 차원은 네트워크의 깊이 및 데이터 포인트 수와는 무관하게 입력 및 출력 차원에만 의존하며, 병목 너비는 스칼라 제약조건을 통해서만 관여한다. 이러한 구성은 다층 매개변수화를 이중선형 인수분해로 축소하고, 이를 계수 제약이 있는 준정부호 계획법(rank-constrained semidefinite program)으로 리프팅한 뒤, 상보성 조건(complementarity condition)을 통해 계수 제약을 표현하고, 완전 양의 리프팅을 적용함으로써 진행된다. 결과로 도출된 정식화는 선형 인수분해로 인해 유도된 비볼록성에 대한 원뿔형 표현을 제공하며, 선형 신경망 학습을 쌍양(copositive) 프로그래밍과 연결한다.