섭동 보정에서 기하 인식 샘플링으로: 꼬리 분포 학습에서 균형 잡힌 평탄 최소값을 위한 날카로움 유도 평형 샘플링
From Perturbation Correction to Geometry-Aware Sampling: Sharpness-Guided Equilibrium Sampling for Balanced Flat Minima in Long-Tailed Learning
꼬리 분포 학습은 일반화 저하의 두 가지 원인을 결합한다. head 클래스가 학습 노출을 지배하는 반면, 과소 대표 클래스는 종종 손실 landscape의 더 날카로운 영역으로 수렴한다. 기존 재샘플링(re-sampling)은 기하학을 고려하지 않고 전자만 다루는 반면, 기존 꼬리 분포 날카로움 인식 최소화(SAM) 방법들은 편향된 미니배치가 이미 추출된 후에만 손실이나 섭동을 수정한다. 우리는 최적화 기하학을 위한 능동적 제어 변수로 샘플링 분포를 취급하는 날카로움 유도 평형 샘플링(SGS)을 제안한다. SGS는 표준 SAM 업데이트로부터 얻은 누적 클래스 카운트와 EMA 날카로움 추정치만을 사용하여, 클래스별 섭동이나 추가 역전파(backward pass) 없이, 덜 자주 샘플링된 클래스의 샘플링 확률을 높이고 SAM 유발 손실 변화가 큰 클래스를 억제함으로써 후속 미니배치를 동적으로 조정한다. 우리는 연속 시간 확률 미분 방정식과 샘플링 의존적 PAC-Bayes 분석을 통해 이 샘플링 과정을 특성화하고, 빈도-날카로움 피드백이 학습을 더 균형 잡힌 평탄성(flatness) 프로파일로 이끌 수 있는 방식을 설명한다. 불균형 비율 100인 CIFAR-100 LT에서 SGS-SAM은 tail 정확도에서 Focal-SAM 대비 10.85%p, 전체적으로 3.56%p 향상시킨다. ImageNet-LT에서는 tail 클래스에서 ImbSAM 대비 6.59%p, 전체적으로 1.20%p 향상시킨다. 학습 시간은 vanilla SAM의 1.02배에 불과하다. 이러한 성능 향상 외에도, SGS는 손실 landscape 제어를 위한 샘플링 측면의 경로를 확립하며, 향후 꼬리 분포 방법들이 데이터 노출과 최적화 기하학 중 어느 하나를 고정된 것으로 취급하기보다 공동으로 조절할 수 있음을 시사한다.