arXiv:2007.03441

Ridge Regression with Over-Parametrized Two-Layer Networks Converge to Ridgelet Spectrum

Sho Sonoda, Isao Ishikawa, Masahiro Ikeda

제출 2020-07-07

원문 초록

Characterization of local minima draws much attention in theoretical studies of deep learning. In this study, we investigate the distribution of parameters in an over-parametrized finite neural network trained by ridge regularized empirical square risk minimization (RERM). We develop a new theory of ridgelet transform, a wavelet-like integral transform that provides a powerful and general framework for the theoretical study of neural networks involving not only the ReLU but general activation functions. We show that the distribution of the parameters converges to a spectrum of the ridgelet transform. This result provides a new insight into the characterization of the local minima of neural networks, and the theoretical background of an inductive bias theory based on lazy regimes. We confirm the visual resemblance between the parameter distribution trained by SGD, and the ridgelet spectrum calculated by numerical integration through numerical experiments with finite models.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13404v1cs.LG공통 태그 regression, Inductive Bias

복잡하고 변화하는 세상에서도 선형 모델이 여전히 유효할 수 있는 이유

Why Linear Models Can Still Work in a Complex and Changing World

선형 모델은 기저 메커니즘이 비선형적인 경우에도 복잡한 도메인에서 우수한 예측 성능을 보일 수 있습니다. 본 연구에서는 세상의 복잡성이 유한하고 부분적으로만 관측된 데이터로부터 신뢰성 있게 학습(training)할 수 있는 복잡성을 초과하기 때문에 이러한 현상이 발생할 수 있다고 주장합니다. 유연한 모델은 특정 병원, 기간, 집단, 정책 환경(environment) 또는 측정 과정에는 적합하지만 다른 환경에서는 실패하는 곡률, 임계값, 상호작용을 과도하게 활용할 수 있습니다. 이러한 불안정성이 주로 비선형 구성 요소에 존재하는 경우, 이를 생략함으로써 새로운 환경에서 선형 모델의 예측 오차를 더 낮출 수 있습니다. 본 논문은 이 주장을 단순 선형 규칙, 바이어스(bias) 및 분산, 정규화(regularization), 최적 선형 예측, 측정 오차, 분포 변화(distribution shift), 불변성, 라쇼몽 집합(Rashomon sets), 그리고 과소지정(underspecification)에 관한 연구들과 연결합니다. 명제 1(Proposition 1)은 학습 환경에서 학습된 비선형 규칙이 너무 약하게 전이되어 대상 오차를 증가시키는 단순 제곱 오차 사례를 제시하며, 유한 표본 추정 오차는 이러한 결과를 더욱 강화할 수 있습니다. 부분 관측만으로는 충분하지 않으며, 관측된 변수와 관측되지 않은 요인 간의 연결 관계가 환경 전반에 걸쳐 변화해야 합니다. 안정적인 비선형 구조는 유연한 모델에 유리하지만, 선형 모델 역시 선형적인 가짜 관계(spurious relationships)에 취약한 상태로 남아 있습니다. 따라서 모델 복잡성은 학습 데이터의 정확도뿐만 아니라 환경 간 안정성을 함께 고려하여 선택되어야 합니다.

arXiv:2607.20539v1cs.LG공통 태그 regression, Inductive Bias

데이터 부족 생물공정 모델링을 위한 생물동역학 지식 사전 활용

Leveraging Biokinetic Knowledge Priors for Data-Scarce Bioprocess Modeling

심층 학습은 신약 개발을 가속화했지만, 생물학적 제조(biomanufacturing)에 미친 영향은 훨씬 더 제한적이었다. 그 이유는 데이터 부족이다. 바이오리액터 실험은 비용이 높고 며칠에서 몇 주가 걸리며, 공개적으로 공유되는 경우가 드물어 각 연구는 소수의 실험만을 갖게 된다. 그러나 해당 도메인 자체는 풍부한 사전 지식을 갖고 있다. 생물동역학 상미분방정식(ODE) 모델은 수십 년간 미생물 성장을 기술해 왔지만, 이러한 지식을 신경망에 주입하는 방법은 체계적으로 연구된 적이 없다. 우리는 ODE 지식을 신경망에 주입하는 방법에 대한 최초의 체계적 연구를 제시하며, 시뮬레이션된 ODE 곡선으로 범용 디코더를 사전학습하는 데이터 수준 사전과 ODE를 디코더 내부에 내장하는 아키텍처 수준 사전을 비교한다. 두 방법 모두 11개 데이터셋과 7종의 미생물에 걸쳐 사전 없는 기준선을 지속적으로 능가한다. 우리의 핵심 발견은 두 방법이 상호 대체 가능하다는 것이다. 시뮬레이션으로 사전학습된 범용 디코더는 실제 데이터로 학습된 완전히 생물학적 구조를 갖춘 디코더와 동등한 성능을 보인다. 따라서 시뮬레이션 사전학습은 생물공정 데이터 부족 환경에서 심층 학습을 위한 간단하고 데이터 효율적인 방법을 제공한다.

arXiv:2607.11928v1cs.LG공통 태그 regression, Inductive Bias

장거리 단일 촬영 Fringe Projection Profilometry에서 형상 선행 지름길 보정

Repairing Shape-Prior Shortcuts in Long-Range Single-Shot Fringe Projection Profilometry

깊이를 직접 회귀하는 단일 촬영 fringe projection profilometry(FPP) 네트워크는 형상 선행(shape-prior) 지름길을 이용할 수 있으며, fringe 위상이 아니라 객체 경계로부터 깊이를 복원한다. 사실적인(photorealistic) 합성 벤치마크(15,600개 fringe 이미지, 1.5–2.1 m 거리에서 50개 객체)에서, 최고의 이러한 UNet 기준선은 14.54 mm 객체 평균 절대 오차(MAE)에서 정체되며, 더 많은 데이터나 더 큰 용량도 지름길을 제거하지 못하는데, 이는 둘 다 옵티마이저가 탐색하는 가설 공간(hypothesis space)을 바꾸지 않기 때문이다. PhiCalNet을 제안한다. 이는 래핑된 위상(wrapped-phase) 표현 $(\sinφ, \cosφ)$을 출력하고, 고정된 미분 가능한 보정(calibration) 층을 통해 깊이에 매핑하여, 손실 페널티가 아니라 아키텍처적으로 형상 선행 해를 제거한다. 단일 촬영 매핑은 fringe order 없이 비단사(non-injective)이므로, PhiCalNet은 fringe order를 보조 입력으로 받으며, 민감도 분석은 이 가정이 현실적인 디코딩 오차를 허용함을 보여준다. 동일한 물리를 소프트 페널티로 사용한 물리 정보(PINN) 기준선은 이득을 주지 않아, 아키텍처 선택이 작용 요인임을 분리해 보여준다. PhiCalNet은 객체 MAE를 3.3배 줄여 4.46 mm에 이르게 하며, 잔차는 $\pmπ$ 래핑 불연속(wrap discontinuity)에서 픽셀의 0.103%에 국한되고, 3프레임 확장은 1.16 mm에 달한다. 두 가지 검증이 일치한다: 해석 가능성(interpretability)은 위상(phase)을 가장 디코딩 가능한 내부 특징으로 만들며, 우리가 아는 한 FPP에 대한 최초인 픽셀 단위 conformal 불확실성 정량화(uncertainty quantification)는 동일한 불연속 지점에서 오류를 국한하며, 스냅샷 불일치(snapshot disagreement)로 상위 5% 픽셀을 거부하면 기준선의 3.5%가 아닌 64%만큼 RMSE(root-mean-square error)를 줄인다.

arXiv:2607.12332v1cs.LG공통 태그 regression, Inductive Bias

무한소 초기화 하에서 대각 선형 신경망의 그래디언트 흐름 역학과 암묵적 바이어스

Gradient Flow Dynamics and Implicit Bias of Diagonal Linear Networks under Infinitesimal Initialization

무한소 초기화 하에서 회귀 작업에 대한 대각 선형 신경망의 그래디언트 흐름 역학을 연구한다. Pesme & Flammarion (2023)의 정리 1을 확장하여, 분석을 심층 대각 선형 신경망과 더 넓은 범주의 2층 대각 선형 신경망(정의 4.1에 정의된 것) 모두에 대해 일반화한다. 구체적으로, 이러한 모델의 학습 궤적이 제안된 알고리즘 1에 의해 동등하게 특성화될 수 있음을 보인다. 나아가 이 알고리즘이 수정된 $ \mathcal{l}_1 $ 노름 최소화 문제의 해로 수렴함을 증명한다. 그 결과, 무한소 초기화 영역에서 두 신경망 구조 모두의 암묵적 바이어스가 수정된 $ \mathcal{l}_1 $ 노름에 해당함을 확립한다. 또한 구조적 불변 다양체(Structural Invariant Manifold, SIM)(Zhao et al., 2026)를 이러한 역학을 지배하는 핵심 기하 구조로 식별함으로써, 학습 과정을 형성하는 근본 메커니즘에 대한 통찰을 제공한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.