확률적 가중치 평균화를 통한 데이터 증강 성능 향상
Boosting Data Augmentation with Stochastic Weight Averaging
한국어 초록
학습(training) 태스크의 대칭성은 최신 심층 학습(deep learning) 솔루션을 설계하는 데 중요한 요소가 되었습니다. 데이터 증강(data augmentation)은 일반적인 신경망(neural network)에 대칭성을 통합하는 직관적이고 효과적인 방법입니다. 최근 연구 결과에 따르면, 무한히 큰 딥 앙상블(deep ensemble)은 증강된 데이터로 학습될 때 완전한 대칭성을 나타냅니다. 그러나 앙상블을 학습시키려면 학습 과정을 여러 번 반복해야 하므로 이 방법은 비용이 많이 듭니다. 본 연구에서는 반복적인 학습 실행을 요구하지 않는 대안적인 앙상블 기법으로서 분류(classification)에 적용되는 확률적 가중치 평균화(SWA, Stochastic Weight Averaging)를 연구합니다. 우리는 학습 종료 시점의 확률적 학습 궤적을 오룬슈타인-울렌벡 과정(Ornstein-Uhlenbeck process)으로 근사하여 SWA를 분석합니다. 우리는 무한 너비 극한(infinite-width limit)에서 증강 데이터에 SWA를 적용하면 SWA 단독으로 인한 성능 향상에서 기대할 수 있는 수준을 넘어서는 등가성(equivariance) 향상을 제공함을 보입니다. 이산 및 연속 대칭성을 모두 갖춘 이미지 및 그래프 분류 전반의 수많은 모델에 대한 광범위한 수치 실험을 통해 우리의 결과를 검증합니다.
원문 초록
The symmetries of a learning task have become an important factor in designing modern deep learning solutions. Data augmentation is a straightforward and effective way of incorporating symmetries into a generic neural network. Recent results show that infinitely large deep ensembles show perfect symmetry when trained on augmented data. However, since training ensembles requires repeating the training process many times, this method is costly. In this work, we study stochastic weight averaging (SWA) applied to classification as an alternative ensembling technique that does not require repeated training runs. We analyze SWA by approximating the stochastic training trajectory at the end of training with an Ornstein--Uhlenbeck process. We show that in the infinite-width limit, SWA on augmented data provides an equivariance boost that goes beyond what could be expected from the performance increase due to SWA alone. We verify our results with extensive numerical experiments on numerous models spanning image and graph classification with both discrete and continuous symmetries.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.14373v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.