PyTorchKR Papers

최신 논문

총 8편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2409.09984v2cs.LG

증가하는 배치 크기와 감쇠하는 학습률을 활용한 샤프니스 인식 최소화 알고리즘의 수렴

Convergence of Sharpness-Aware Minimization Algorithms using Increasing Batch Size and Decaying Learning Rate

샤프니스 인식 최소화(Sharpness-Aware Minimization, SAM) 알고리즘과 갭 가이드 SAM(gap guided SAM, GSAM)을 포함한 그 변형들은 학습(training) 중 경험적 손실(loss)의 평평한 국소 최소점(flat local minima)을 찾아 심층 신경망(deep neural network) 모델의 일반화 성능을 성공적으로 향상해 왔습니다. 한편, 배치(batch) 크기를 늘리거나 학습률(learning rate)을 감쇠시키면 경험적 손실의 가파른 국소 최소점(sharp local minima)을 피할 수 있다는 사실이 이론적 및 실증적으로 입증된 바 있습니다. 본 논문에서는 코사인 어닐링(cosine annealing)이나 선형 학습률과 같이 배치 크기를 늘리거나 학습률을 감쇠시키는 GSAM 알고리즘을 고려하고, 그 수렴(convergence)을 이론적으로 증명합니다. 나아가 배치 크기 증가를 적용한 SAM(GSAM)과 그렇지 않은 경우를 수치적으로 비교하여, 증가하는 배치 크기를 사용할 때 일정한 배치 크기 및 학습률을 사용하는 경우에 비해 더 낮은 최악 조건의 $\ell_\infty$ 적응형 샤프니스(adaptive sharpness)를 달성함을 보입니다.

arXiv:2607.21999v1cs.LG

섭동 보정에서 기하 인식 샘플링으로: 꼬리 분포 학습에서 균형 잡힌 평탄 최소값을 위한 날카로움 유도 평형 샘플링

From Perturbation Correction to Geometry-Aware Sampling: Sharpness-Guided Equilibrium Sampling for Balanced Flat Minima in Long-Tailed Learning

꼬리 분포 학습은 일반화 저하의 두 가지 원인을 결합한다. head 클래스가 학습 노출을 지배하는 반면, 과소 대표 클래스는 종종 손실 landscape의 더 날카로운 영역으로 수렴한다. 기존 재샘플링(re-sampling)은 기하학을 고려하지 않고 전자만 다루는 반면, 기존 꼬리 분포 날카로움 인식 최소화(SAM) 방법들은 편향된 미니배치가 이미 추출된 후에만 손실이나 섭동을 수정한다. 우리는 최적화 기하학을 위한 능동적 제어 변수로 샘플링 분포를 취급하는 날카로움 유도 평형 샘플링(SGS)을 제안한다. SGS는 표준 SAM 업데이트로부터 얻은 누적 클래스 카운트와 EMA 날카로움 추정치만을 사용하여, 클래스별 섭동이나 추가 역전파(backward pass) 없이, 덜 자주 샘플링된 클래스의 샘플링 확률을 높이고 SAM 유발 손실 변화가 큰 클래스를 억제함으로써 후속 미니배치를 동적으로 조정한다. 우리는 연속 시간 확률 미분 방정식과 샘플링 의존적 PAC-Bayes 분석을 통해 이 샘플링 과정을 특성화하고, 빈도-날카로움 피드백이 학습을 더 균형 잡힌 평탄성(flatness) 프로파일로 이끌 수 있는 방식을 설명한다. 불균형 비율 100인 CIFAR-100 LT에서 SGS-SAM은 tail 정확도에서 Focal-SAM 대비 10.85%p, 전체적으로 3.56%p 향상시킨다. ImageNet-LT에서는 tail 클래스에서 ImbSAM 대비 6.59%p, 전체적으로 1.20%p 향상시킨다. 학습 시간은 vanilla SAM의 1.02배에 불과하다. 이러한 성능 향상 외에도, SGS는 손실 landscape 제어를 위한 샘플링 측면의 경로를 확립하며, 향후 꼬리 분포 방법들이 데이터 노출과 최적화 기하학 중 어느 하나를 고정된 것으로 취급하기보다 공동으로 조절할 수 있음을 시사한다.

arXiv:2503.11891v2cs.LG

확률적 선명도 인식 최소화를 이용한 대각 선형 네트워크 학습

Training Diagonal Linear Networks with Stochastic Sharpness-Aware Minimization

우리는 학습 과정에서 네트워크 매개변수가 등방성 정규 노이즈로 교란되는 조건 하에, 선형 회귀 과제에서 대각 선형 네트워크의 지형(landscape)과 학습 역학을 분석한다. 이러한 노이즈 추가는 확률적 형태의 선명도 인식 최소화(SAM, Sharpness-Aware Minimization)로 해석될 수 있으며, 기반 지형과 학습 역학에 대한 SAM의 작용을 손실의 선명도와 연관짓는 여러 결과를 증명한다. 특히, 노이즈는 네트워크 매개변수에 분수 노름(fractional norm) 페널티의 가중 혼합을 유도하여, 개별 레이어들이 빠른 속도로 균형을 맞추도록 강제하고, 실제 매개변수에 적용된 축소-임계값 연산자(shrinkage-thresholding operator)로부터 도출된 해를 선호하도록 기반 지형을 변화시킨다. 레이어들의 균형화는 동일한 선형 예측기의 모든 가능한 인수분해 중에서 평균 선명도와 헤시안 행렬의 트레이스를 최소화하는 것과 동등함을 보인다. 더 나아가, 정규 교란의 노이즈 수준이 정규화 매개변수로 작용하는 방식을 특성화하며, 축소, 임계값 처리 및 균형화 속도에 대한 효과를 정확히 기술한다.

arXiv:2607.06151v1cs.LG

Leveraging Extragradient for Effective Sharpness-Aware Minimization in Deep Learning

Generalization remains a pivotal challenge in deep learning, where traditional optimizers like Stochastic Gradient Descent (SGD) often converge to sharp minima, leading to overfitting and reduced performance on unseen data. Building on Sharpness-Aware Minimization (SAM), for seeking flat minima associated with improved generalization, we propose the Extragradient-Inspired Sharpness-Aware Minimization (EISAM), a novel optimizer that enhances generalization via the extragradient technique. EISAM uses a two-step update process: a prediction step investigating the geometry of the loss landscape and a perturbation step that refines updates with a base optimizer. This approach achieves better generalization performance than SAM. Crucially, EISAM reduces sensitivity to the perturbation radius, enhancing robustness, and simplifying the tuning across diverse settings. Extensive experiments on benchmark datasets demonstrate that EISAM consistently outperforms SGD, Adaptive Moment Estimation (Adam), and SAM in test accuracy and training efficiency across various architectures. Theoretical analysis further confirms that EISAM tightens the generalization bound by steering parameters toward flatter minima with reduced curvature. Accompanied by a thorough hyperparameter analysis, EISAM offers practical tuning guidance, establishing it as a robust, scalable, and broadly applicable optimization solution that advances both the theory and practice in deep learning.

arXiv:2607.05727v1cs.CV

SAMPLe: VLM 프롬프트 학습을 위한 SAM 기반 옵티마이저

SAMPLe: SAM-based Optimizer for Prompt Learning in VLMs

CLIP과 같은 비전-언어 모델(VLM)의 프롬프트 학습에서 발생하는 성능-일반화 딜레마를 해결하기 위해, 손실 경관의 날카로움(loss landscape sharpness)을 고려한 플러그인 옵티마이저 SAMPLe(Sharpness-Aware Minimization Prompt Learning)을 제안한다. SAMPLe은 ERM 그라디언트 정렬과 직교성 제약을 동적으로 만족시켜 탐험과 활용의 균형을 맞추며, CoOp, CoCoOp, MaPLe, TCP, Co-Prompt 등 다양한 프레임워크에서 기존 옵티마이저 대비 일관된 성능 향상을 달성했다.

arXiv:2607.04170v1cs.LG

FedFFT: 스펙트럼 섭동 필터링을 통한 연합 SAM의 클라이언트 드리프트 해소

FedFFT: Taming Client Drift in Federated SAM via Spectral Perturbation Filtering

연합 학습에서 SAM 섭동의 클라이언트 간 불일치가 저주파 스펙트럼에 집중되어 있음을 주파수 도메인 분석으로 최초 규명하고, 이를 바탕으로 추가 통신 없이 저주파 성분을 필터링하는 경량 플러그 앤 플레이 방법인 FedFFT를 제안하였다. 다양한 벤치마크와 백본에서 특히 심각한 non-IID 환경 하에 기존 SAM 기반 연합 학습 방법들을 일관되게 능가함을 실험적으로 입증하였다.

arXiv:2505.23866v2cs.LG

Towards Understanding The Calibration Benefits of Sharpness-Aware Minimization

심층 신경망의 과신(overconfidence)과 보정(calibration) 부족 문제에 대해 Sharpness-Aware Minimization(SAM)이 예측 분포 엔트로피를 암묵적으로 극대화해 SGD 대비 보정을 개선한다는 점을 이론적으로 분석하고, 보정 성능을 더 높이는 CSAM 변형을 제안한다. ImageNet-1K 등 다양한 데이터셋 실험에서 SAM은 보정 오차를 줄이며, CSAM은 SAM보다 일관되게 낮은 보정 오차를 달성한다.

arXiv:2606.21851v1cs.CL

TALAS: 임베딩 증류를 위한 적응형 선명도 인식 최소화를 결합한 교사 고정 층 정렬

TALAS: Teacher-Anchored Layer Alignment with Adaptive Sharpness-Aware Minimization for Embedding Distillation

TALAS는 학생 모델이 교사의 문장 임베딩을 전 층에서 엄격히 모방할 때 생기는 용량 격차와 과도한 비용을 줄이기 위해, 최종 임베딩을 상위 층에만 선택적으로 증류하는 Teacher-Anchored 정렬, 하위 층 의미 격차를 top-down 기하 관계 제약으로 메우는 Layer-Aligned Self-Distillation, 점별 교사 노이즈 암기를 막는 ASAM 최적화를 결합한 임베딩 지식 증류 프레임워크이다. 표준 문장 임베딩 벤치마크에서 TALAS는 강력한 증류 baseline을 일관되게 능가하며 계산 비용과 메모리 측면에서도 우수한 학습 효율을 달성했다.