암묵적 바이어스의 해부: 신경망 학습에서의 정보 할당
The Anatomy of Implicit Bias: Information Allocation in Neural Network Training
암묵적 바이어스(implicit bias)는 일반적으로 최적화 과정이 특정 최종 해(solution)와 그 기하학적 구조를 선호하는 경향으로 설명된다. 이 관점은 모델이 최종적으로 수렴하는 지점을 설명하는 데 도움을 주지만, 학습 과정에서 이 바이어스가 어떻게 형성되는지에 대한 직접적인 설명은 부족하다. 본 논문은 학습 시점의 정보 할당(information allocation) 관점을 제안한다. 이 관점에서 최적화는 매개변수 경로, 좌표 채널, 샘플 영역에 걸쳐 오차 신호에 대한 쓰기 패턴을 형성한다. 본 논문은 관측 가능한 할당 진단 지표 집합을 구축한다. 이 진단 지표들에는 그래디언트 수요(gradient demand), 실제 업데이트 주입량, 지수 이동 평균(exponential moving averages)에 의해 유발되는 좌표 이득, 채널 수준 업데이트 비율, 샘플별 손실 분포가 포함된다. 학습 진행 상황과 내부 할당을 분리하기 위해, 본 논문은 붕괴-지속(collapse–persistence) 분석을 도입한다. 동일한 학습 손실 조건 하에서, 외부 손실 통계는 붕괴하지만 내부 할당 비율이 분리된 상태로 유지된다면, 해당 요인은 학습 신호의 내부 할당을 변경하는 것이다. 전반적으로, 본 논문은 암묵적 바이어스의 분석을 최종 해의 기하학적 구조에서 학습 시점의 신호 할당으로 확장한다. 핵심 주장은, 암묵적 바이어스가 최종 해에만 반영되는 것이 아니라, 학습 과정에서 어떤 매개변수 경로, 좌표 채널, 샘플 영역이 오차 신호를 먼저 그리고 더 강하게 수신하는지에도 반영된다는 것이다. 이 관점을 바탕으로, 본 논문은 다양한 학습 요인들을 통합된 정보 할당 진단 프레임워크에 배치한다. 이 프레임워크는 학습 시점 암묵적 바이어스에 대한 메커니즘 수준의 설명을 제공하며, 학습 진행과 신호 할당을 별도로 제어하는 미래의 최적화 방법을 위한 기반을 마련한다.