확률적 경사하강법에서 매개변수 노이즈 주입은 단순함으로 충분하다
Simplicity Suffices for Parameter Noise Injection in Stochastic Gradient Descent
최적화 과정에 노이즈를 주입하는 것은 심층 신경망의 학습과 일반화를 개선하는 잘 정립된 기술입니다. 그러나 기존 접근 방식의 다양함에도 불구하고, 실제로 어떤 설계 선택이 중요한지는 여전히 불분명합니다. 본 연구에서는 확률적 경사하강법에 대한 매개변수 노이즈 주입을 조사하며, 두 가지 핵심 질문에 초점을 맞춥니다: 미니배치 학습에서 각 학습 예제를 고유한 섭동과 효율적으로 짝짓는 방법, 그리고 정교한 노이즈 매개변수화나 다중 샘플 그래디언트 평균화가 더 단순한 대안에 비해 의미 있는 이득을 가져오는지 여부입니다. 첫 번째 질문을 해결하기 위해, 우리는 배치 계산을 깨뜨리지 않으면서 예제별 노이즈 주입을 가능하게 하는 선형 레이어에 대한 분포적 항등식을 활용합니다. 두 번째 질문을 해결하기 위해, 우리는 CIFAR100에서 다양한 노이즈 수준에 걸쳐 여러 대각 가우시안 매개변수화를 등방성 기준선과 체계적으로 비교합니다. 우리의 결과는 단순하고 가벼운 전략, 즉 업데이트 단계당 단일 섭동된 순전파를 갖는 등방성 노이즈가 더 복잡한 방식의 이점 대부분을 회복한다는 것을 일관되게 보여줍니다. 이러한 발견은 매개변수 노이즈 주입에 있어 단순함으로 충분하며, 실무자들이 노이즈 SGD의 최적화 및 일반화 이점을 얻기 위해 정교한 섭동 설계에 의존할 필요가 없음을 시사합니다.