렐루 활성화 함수를 사용하는 심층 학습에서, 입력 층의 유클리드 손실에 대한 경사하강법에 기반하여, 가중치가 엄밀한 의미에서 활성화에 의해 구별되는 좌표계에 적응되어 있다는 가정 하에, 누적 편향과 가중치를 지배하는 명시적 방정식을 유도한다. 경사하강법이 입력 층에서의 동역학적 과정에 해당함을 보이며, 이 과정에서 데이터 클러스터가 점진적으로 복잡도가 감소("절단")되는데, 그 속도는 지수적이며 이미 절단된 데이터 포인트 수가 많을수록 더 빨라진다. 그래디언트 플로우 방정식의 여러 유형의 해에 대해 상세히 논의한다. 본 연구의 주요 동기는 지도 학습에서의 해석 가능성 문제에 대한 통찰을 제공하는 것이다.
신경망을 포함한 과매개변수화된 ML 모델은 일반적으로 다중 전역 최솟값을 갖는 불확정 학습 목적함수를 유도합니다. 암묵적 바이어스(implicit bias)는 경사하강법(GD)과 같은 일반적인 최적화 알고리즘에 의해 달성되는 극한 전역 최솟값을 의미합니다. 본 논문에서는 고차원 랜덤 특징(random features)에 대한 제곱 손실(squared loss)을 사용하여 단층 ReLU 모델을 학습할 때 GD의 암묵적 바이어스를 규명합니다. 선행 연구(Vardi and Shamir, 2021)는 최악의 경우(worst-case) 암묵적 바이어스가 존재하지 않거나, 정확히 직교하는 데이터(orthogonal data) 하에서는 최소 $\ell_2$-노름 보간 해와 정확히 일치함을 보였습니다(Boursier et al., 2022). 우리의 연구는 이 두 가지 극단 사이를 보간하며, 충분히 고차원인 랜덤 데이터에 대해 암묵적 바이어스가 $Θ(\sqrt{n/||λ||_1})$ 차수의 격차를 가지고 높은 확률로 최소 $\ell_2$-노름 해를 근사함을 보여줍니다. 여기서 $n$은 학습 예제의 수이며, $λ$는 데이터 공분산 행렬의 스펙트럼을 나타냅니다. 우리의 결과는 예측값, 데이터 스팬 계수 및 그 상호작용의 진화를 면밀히 추적하는 새로운 프리멀-듀얼 분석(primal-dual analysis)을 통해 얻어졌으며, 랜덤 데이터에 대해 ReLU 활성화 패턴이 높은 확률로 빠르게 안정화됨을 보여줍니다.