How Does the ReLU Activation Affect the Implicit Bias of Gradient Descent on High-dimensional Neural Network Regression?
한국어 초록
신경망을 포함한 과매개변수화된 ML 모델은 일반적으로 다중 전역 최솟값을 갖는 불확정 학습 목적함수를 유도합니다. 암묵적 바이어스(implicit bias)는 경사하강법(GD)과 같은 일반적인 최적화 알고리즘에 의해 달성되는 극한 전역 최솟값을 의미합니다. 본 논문에서는 고차원 랜덤 특징(random features)에 대한 제곱 손실(squared loss)을 사용하여 단층 ReLU 모델을 학습할 때 GD의 암묵적 바이어스를 규명합니다. 선행 연구(Vardi and Shamir, 2021)는 최악의 경우(worst-case) 암묵적 바이어스가 존재하지 않거나, 정확히 직교하는 데이터(orthogonal data) 하에서는 최소 $\ell_2$-노름 보간 해와 정확히 일치함을 보였습니다(Boursier et al., 2022). 우리의 연구는 이 두 가지 극단 사이를 보간하며, 충분히 고차원인 랜덤 데이터에 대해 암묵적 바이어스가 $Θ(\sqrt{n/||λ||_1})$ 차수의 격차를 가지고 높은 확률로 최소 $\ell_2$-노름 해를 근사함을 보여줍니다. 여기서 $n$은 학습 예제의 수이며, $λ$는 데이터 공분산 행렬의 스펙트럼을 나타냅니다. 우리의 결과는 예측값, 데이터 스팬 계수 및 그 상호작용의 진화를 면밀히 추적하는 새로운 프리멀-듀얼 분석(primal-dual analysis)을 통해 얻어졌으며, 랜덤 데이터에 대해 ReLU 활성화 패턴이 높은 확률로 빠르게 안정화됨을 보여줍니다.
원문 초록
Overparameterized ML models, including neural networks, typically induce underdetermined training objectives with multiple global minima. The implicit bias refers to the limiting global minimum that is attained by a common optimization algorithm, such as gradient descent (GD). In this paper, we characterize the implicit bias of GD for training a shallow ReLU model with the squared loss on high-dimensional random features. Prior work (Vardi and Shamir, 2021) showed that the implicit bias does not exist in the worst-case, or corresponds exactly to the minimum-$\ell_2$-norm interpolating solution under exactly orthogonal data (Boursier et al., 2022). Our work interpolates between these two extremes and shows that, for sufficiently high-dimensional random data, the implicit bias approximates the minimum-$\ell_2$-norm solution with high probability with a gap on the order $Θ(\sqrt{n/||λ||_1})$, where $n$ is the number of training examples and $λ$ denotes the spectrum of the data covariance matrix. Our results are obtained through a novel primal-dual analysis that carefully tracks the evolution of predictions, data-span coefficients, as well as their interactions, and show that the ReLU activation pattern quickly stabilizes with high probability over random data.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2603.04895v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
복잡하고 변화하는 세상에서도 선형 모델이 여전히 유효할 수 있는 이유
Why Linear Models Can Still Work in a Complex and Changing World
선형 모델은 기저 메커니즘이 비선형적인 경우에도 복잡한 도메인에서 우수한 예측 성능을 보일 수 있습니다. 본 연구에서는 세상의 복잡성이 유한하고 부분적으로만 관측된 데이터로부터 신뢰성 있게 학습(training)할 수 있는 복잡성을 초과하기 때문에 이러한 현상이 발생할 수 있다고 주장합니다. 유연한 모델은 특정 병원, 기간, 집단, 정책 환경(environment) 또는 측정 과정에는 적합하지만 다른 환경에서는 실패하는 곡률, 임계값, 상호작용을 과도하게 활용할 수 있습니다. 이러한 불안정성이 주로 비선형 구성 요소에 존재하는 경우, 이를 생략함으로써 새로운 환경에서 선형 모델의 예측 오차를 더 낮출 수 있습니다. 본 논문은 이 주장을 단순 선형 규칙, 바이어스(bias) 및 분산, 정규화(regularization), 최적 선형 예측, 측정 오차, 분포 변화(distribution shift), 불변성, 라쇼몽 집합(Rashomon sets), 그리고 과소지정(underspecification)에 관한 연구들과 연결합니다. 명제 1(Proposition 1)은 학습 환경에서 학습된 비선형 규칙이 너무 약하게 전이되어 대상 오차를 증가시키는 단순 제곱 오차 사례를 제시하며, 유한 표본 추정 오차는 이러한 결과를 더욱 강화할 수 있습니다. 부분 관측만으로는 충분하지 않으며, 관측된 변수와 관측되지 않은 요인 간의 연결 관계가 환경 전반에 걸쳐 변화해야 합니다. 안정적인 비선형 구조는 유연한 모델에 유리하지만, 선형 모델 역시 선형적인 가짜 관계(spurious relationships)에 취약한 상태로 남아 있습니다. 따라서 모델 복잡성은 학습 데이터의 정확도뿐만 아니라 환경 간 안정성을 함께 고려하여 선택되어야 합니다.
하강 방향으로부터 학습: 일방 Hölder 정칙성 하의 적응형 경사하강법
Learning from the Descent Direction: Adaptive Gradient Descent under One-Sided Hölder Regularity
연속 미분 가능하고 비볼록일 수 있는 목적함수에 대해, 일방 Hölder 정칙성 하에서 적응형 경사하강법을 연구한다. 고전적인 Hölder 또는 Lipschitz 그래디언트 가정과 달리, 후자는 전체 그래디언트 변화를 제어하는 반면, 우리의 조건은 하강 부등식에 나타나는 방향 항만을 제한한다. 이는 그래디언트 변화가 크더라도 업데이트 방향에 직교하거나, 그 방향을 따라 유리한 경우 보다 덜 보수적인 스텝 크기를 허용할 수 있다. 양의 일방 Hölder 곡률 추정에 기반한 적응형 스칼라 스텝 방법을 제안하며, 이를 간단한 충분 감소(sufficient-decrease) 보호 장치와 결합한다. 수용된 업데이트 구간을 포함하는 볼록 영역 위의 비볼록 목적함수에 대해, Hölder 지수에 의해 결정되는 명시적 최적 반복 정류(stationarity) 한계를 증명한다. 미리 정해진 감소 스텝 크기 스킴과 달리, 이 방법은 국소 하강 기하에 적응한다. 방향 곡률과 전체 그래디언트 변화를 분리하도록 설계된 두 개의 풀 배치(full-batch) 벤치마크에서 접근법을 평가한다. 이진 분류 문제에서, 이 방법은 비교된 스칼라 그래디언트 방법들 중 최종 교차 엔트로피, 목적함수 값, 그래디언트 노름이 가장 낮고, 분류 마진이 가장 크다. 비볼록 Hölder 회귀 문제에서, 최종 목적함수 간극과 그래디언트 노름이 가장 낮다. 이 결과는 전체 그래디언트 변화가 하강을 방해하지 않는 방향으로 인해 부풀려질 때, 일방 Hölder 곡률이 효과적인 적응형 스텝 크기 신호임을 시사한다.
음수 릿지 엔드포인트를 넘어서: 음수 이동 경사하강법을 통한 혼합 부호 스펙트럼 정규화
Beyond Negative-Ridge Endpoints: Mixed-Sign Spectral Regularization via Negative-Shifted Gradient Descent
과매개변수화 선형 회귀에서, 많은 약한 스펙트럼 방향은 신호를 담는 스펙트럼에 릿지 패널티처럼 작용한다. 음수 릿지는 필터를 1 위로 밀어 올리는 자연스러운 보정이다. 그러나 안정적인 음수 릿지 엔드포인트는 구조적으로 한계가 있다: 그 극은 0이 아닌 최소 경험적 고유값 아래에 머물러야 하며, 더 작은 고유값을 더 큰 고유값보다 더 강하게 반수축(anti-shrink)한다. 조기 종료 음수 이동 경사하강법은 이 제약을 벗어난다. 그 필터는 예정된 극에서 매끄럽고 혼합 부호를 허용한다: 릿지리스(ridgeless) 이상 방향은 선행 접두를 형성하고, 더 낮은 방향은 수축되거나 노출(exposure)이 제어되며, 종료 시점이 교차점을 설정한다. 가우시안 스파이크-플랫(spike-plus-flat) 모델에서 Marchenko-Pastur 장벽을 발견한다: 암시적 패널티를 상쇄하는 이동(shift)은 최소 경험적 고유값 위 bulk 폭(bulk width)에 위치하며, 명시적 조건 하에서 종료된 경로는 모든 허용 가능한 엔드포인트 대비 위험(risk)에서 다항식 계수만큼 개선한다. 주요 정리는 일반적인 고유효순위(high-effective-rank) 꼬리를 허용한다: 그 trace가 암시적 하한(floor)을 설정하고, 제곱 스펙트럼이 노출을 제어하며, 하한 임계(floor-critical) 경로는 양의 수축(positive shrinkage)을 넘어 한꺼번에 모든 head 스케일을 복원하고, 스케일이 분리되면 릿지리스의 모든 균일 재스케일링까지도 포함한다. 비수축(noncontractive) 이동 동역학을 다루는 것이 핵심 기술적 과제이며, 국소화된 Duhamel 적분이 이를 제어한다. 유한 격자 홀드아웃(hold-out) 부등식이 분리(separations)를 검증으로 선택된 알고리즘으로 전달한다.
데이터 부족 생물공정 모델링을 위한 생물동역학 지식 사전 활용
Leveraging Biokinetic Knowledge Priors for Data-Scarce Bioprocess Modeling
심층 학습은 신약 개발을 가속화했지만, 생물학적 제조(biomanufacturing)에 미친 영향은 훨씬 더 제한적이었다. 그 이유는 데이터 부족이다. 바이오리액터 실험은 비용이 높고 며칠에서 몇 주가 걸리며, 공개적으로 공유되는 경우가 드물어 각 연구는 소수의 실험만을 갖게 된다. 그러나 해당 도메인 자체는 풍부한 사전 지식을 갖고 있다. 생물동역학 상미분방정식(ODE) 모델은 수십 년간 미생물 성장을 기술해 왔지만, 이러한 지식을 신경망에 주입하는 방법은 체계적으로 연구된 적이 없다. 우리는 ODE 지식을 신경망에 주입하는 방법에 대한 최초의 체계적 연구를 제시하며, 시뮬레이션된 ODE 곡선으로 범용 디코더를 사전학습하는 데이터 수준 사전과 ODE를 디코더 내부에 내장하는 아키텍처 수준 사전을 비교한다. 두 방법 모두 11개 데이터셋과 7종의 미생물에 걸쳐 사전 없는 기준선을 지속적으로 능가한다. 우리의 핵심 발견은 두 방법이 상호 대체 가능하다는 것이다. 시뮬레이션으로 사전학습된 범용 디코더는 실제 데이터로 학습된 완전히 생물학적 구조를 갖춘 디코더와 동등한 성능을 보인다. 따라서 시뮬레이션 사전학습은 생물공정 데이터 부족 환경에서 심층 학습을 위한 간단하고 데이터 효율적인 방법을 제공한다.
장거리 단일 촬영 Fringe Projection Profilometry에서 형상 선행 지름길 보정
Repairing Shape-Prior Shortcuts in Long-Range Single-Shot Fringe Projection Profilometry
깊이를 직접 회귀하는 단일 촬영 fringe projection profilometry(FPP) 네트워크는 형상 선행(shape-prior) 지름길을 이용할 수 있으며, fringe 위상이 아니라 객체 경계로부터 깊이를 복원한다. 사실적인(photorealistic) 합성 벤치마크(15,600개 fringe 이미지, 1.5–2.1 m 거리에서 50개 객체)에서, 최고의 이러한 UNet 기준선은 14.54 mm 객체 평균 절대 오차(MAE)에서 정체되며, 더 많은 데이터나 더 큰 용량도 지름길을 제거하지 못하는데, 이는 둘 다 옵티마이저가 탐색하는 가설 공간(hypothesis space)을 바꾸지 않기 때문이다. PhiCalNet을 제안한다. 이는 래핑된 위상(wrapped-phase) 표현 $(\sinφ, \cosφ)$을 출력하고, 고정된 미분 가능한 보정(calibration) 층을 통해 깊이에 매핑하여, 손실 페널티가 아니라 아키텍처적으로 형상 선행 해를 제거한다. 단일 촬영 매핑은 fringe order 없이 비단사(non-injective)이므로, PhiCalNet은 fringe order를 보조 입력으로 받으며, 민감도 분석은 이 가정이 현실적인 디코딩 오차를 허용함을 보여준다. 동일한 물리를 소프트 페널티로 사용한 물리 정보(PINN) 기준선은 이득을 주지 않아, 아키텍처 선택이 작용 요인임을 분리해 보여준다. PhiCalNet은 객체 MAE를 3.3배 줄여 4.46 mm에 이르게 하며, 잔차는 $\pmπ$ 래핑 불연속(wrap discontinuity)에서 픽셀의 0.103%에 국한되고, 3프레임 확장은 1.16 mm에 달한다. 두 가지 검증이 일치한다: 해석 가능성(interpretability)은 위상(phase)을 가장 디코딩 가능한 내부 특징으로 만들며, 우리가 아는 한 FPP에 대한 최초인 픽셀 단위 conformal 불확실성 정량화(uncertainty quantification)는 동일한 불연속 지점에서 오류를 국한하며, 스냅샷 불일치(snapshot disagreement)로 상위 5% 픽셀을 거부하면 기준선의 3.5%가 아닌 64%만큼 RMSE(root-mean-square error)를 줄인다.
무한소 초기화 하에서 대각 선형 신경망의 그래디언트 흐름 역학과 암묵적 바이어스
Gradient Flow Dynamics and Implicit Bias of Diagonal Linear Networks under Infinitesimal Initialization
무한소 초기화 하에서 회귀 작업에 대한 대각 선형 신경망의 그래디언트 흐름 역학을 연구한다. Pesme & Flammarion (2023)의 정리 1을 확장하여, 분석을 심층 대각 선형 신경망과 더 넓은 범주의 2층 대각 선형 신경망(정의 4.1에 정의된 것) 모두에 대해 일반화한다. 구체적으로, 이러한 모델의 학습 궤적이 제안된 알고리즘 1에 의해 동등하게 특성화될 수 있음을 보인다. 나아가 이 알고리즘이 수정된 $ \mathcal{l}_1 $ 노름 최소화 문제의 해로 수렴함을 증명한다. 그 결과, 무한소 초기화 영역에서 두 신경망 구조 모두의 암묵적 바이어스가 수정된 $ \mathcal{l}_1 $ 노름에 해당함을 확립한다. 또한 구조적 불변 다양체(Structural Invariant Manifold, SIM)(Zhao et al., 2026)를 이러한 역학을 지배하는 핵심 기하 구조로 식별함으로써, 학습 과정을 형성하는 근본 메커니즘에 대한 통찰을 제공한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.