암묵적 바이어스(implicit bias)는 일반적으로 최적화 과정이 특정 최종 해(solution)와 그 기하학적 구조를 선호하는 경향으로 설명된다. 이 관점은 모델이 최종적으로 수렴하는 지점을 설명하는 데 도움을 주지만, 학습 과정에서 이 바이어스가 어떻게 형성되는지에 대한 직접적인 설명은 부족하다. 본 논문은 학습 시점의 정보 할당(information allocation) 관점을 제안한다. 이 관점에서 최적화는 매개변수 경로, 좌표 채널, 샘플 영역에 걸쳐 오차 신호에 대한 쓰기 패턴을 형성한다. 본 논문은 관측 가능한 할당 진단 지표 집합을 구축한다. 이 진단 지표들에는 그래디언트 수요(gradient demand), 실제 업데이트 주입량, 지수 이동 평균(exponential moving averages)에 의해 유발되는 좌표 이득, 채널 수준 업데이트 비율, 샘플별 손실 분포가 포함된다. 학습 진행 상황과 내부 할당을 분리하기 위해, 본 논문은 붕괴-지속(collapse–persistence) 분석을 도입한다. 동일한 학습 손실 조건 하에서, 외부 손실 통계는 붕괴하지만 내부 할당 비율이 분리된 상태로 유지된다면, 해당 요인은 학습 신호의 내부 할당을 변경하는 것이다. 전반적으로, 본 논문은 암묵적 바이어스의 분석을 최종 해의 기하학적 구조에서 학습 시점의 신호 할당으로 확장한다. 핵심 주장은, 암묵적 바이어스가 최종 해에만 반영되는 것이 아니라, 학습 과정에서 어떤 매개변수 경로, 좌표 채널, 샘플 영역이 오차 신호를 먼저 그리고 더 강하게 수신하는지에도 반영된다는 것이다. 이 관점을 바탕으로, 본 논문은 다양한 학습 요인들을 통합된 정보 할당 진단 프레임워크에 배치한다. 이 프레임워크는 학습 시점 암묵적 바이어스에 대한 메커니즘 수준의 설명을 제공하며, 학습 진행과 신호 할당을 별도로 제어하는 미래의 최적화 방법을 위한 기반을 마련한다.
심층 스칼라 선형 네트워크 $f(x) = \prod_{l=1}^L w_l x$에서 최적의 깊이별 학습률 스케일링이 데이터에 의존하며, 데이터 비의존적 스케일링 규칙은 깊이 간 전이(transfer)에 실패함을 정확한 학습 동역학 해석을 통해 보인다. 데이터 의존적 최적 학습률 스케일링 하에서 학습 동역학은 데이터에 독립적이고 깊이에 약하게 의존하여 무한 깊이를 포함한 모든 깊이에서 일정한 선형 수렴률이 달성되며, 잔차 연결을 가진 네트워크에서도 동일한 효과가 확인된다.
심층 학습에서 경사하강법은 안정성 경계(EoS, edge of stability)에서 작동할 수 있으며, 이는 손실 헤시안의 최대 고유값이 안정성 임계값 $2/η$(여기서 $η$는 학습률) 근처를 머무는 영역이다. 그래디언트 흐름(gradient flow)과 하강 보조정리(descent lemma) 같은 고전적 분석 도구는 이 영역에 적용되지 않으므로, EoS에서 유효한 연속 시간 모델을 찾을 필요가 있다. 우리는 Edge Flow를 제안하는데, 이는 EoS에서 경사하강법 역학에 대한 다루기 쉽고, 충실하며, 예측 가능한 모델을 제공하는 세 개의 결합된 상미분방정식(ODE) 시스템이다. Edge Flow는 역학을 중심, 진동 방향, 진동 크기로 분해한다. 중심은 대칭화된 손실에 대한 수정된 그래디언트 흐름을 따르고, 방향은 Rayleigh 몫 역학을 통해 헤시안의 최고 고유벡터를 추적하며, 크기는 날카로움(sharpness)이 임계값 $2/η$를 초과하거나 미달하는지에 따라 지수적으로 증가하거나 감소한다. 중요한 것은, 날카로움 안정화가 결합된 역학을 통해 자기 안정화 피드백 루프로 나타난다는 점이다. Edge Flow를 이산화하는 데는 각 반복마다 그래디언트 평가 두 번과 헤시안-벡터 곱 한 번만 필요하다. 우리는 실험적으로 Edge Flow가 기존에 제안된 연속 시간 EoS 모델만큼 이상으로 경사하강법 역학을 충실히 추적하며, 추가로 EoS 시작 시 날카로움의 진동을 해석하고, 이 영역에서의 불안정성을 이해하고 완화하기 위한 원칙적 프레임워크를 제공함을 보인다.