PyTorchKR Papers

최신 논문

총 5편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.05660v3cs.LG

쌍대 추적에서 클리핑까지: 이론적으로 입증 가능한 더 빠른 분포 강건 다중 목표 최적화

From Dual Tracking to Clipping: Provably Faster Distributionally Robust Multi-Objective Optimization

다중 목표 최적화(MOO)는 여러 기준 하에서 학습이 요구되는 응용 분야에서 점점 더 많은 주목을 받고 있습니다. 그러나 기존의 대부분의 MOO 정식화는 데이터의 분포 변화(distributional shift)를 명시적으로 고려하지 않습니다. 본 논문에서는 각 목표의 최악의 경우 분포 하에서 여러 목표를 최소화하는 분포 강건 다중 목표 최적화(DR-MOO)를 도입합니다. 우리는 DR-MOO를 위한 파레토(Pareto) 형태의 해 개념을 제안하고, 이론적 보장이 동반된 다중 경사하강법(MGDA) 알고리즘을 개발합니다. 라그랑주 쌍대 재정식화(Lagrangian dual reformulation)를 활용하여, 먼저 내부 루프를 통해 쌍대 변수를 추정하고 $ε$-파레토-정상점($ε$-Pareto-stationary point)에 도달하기 위해 총 표본 복잡도(sample complexity) $\mathcal{O}(ε^{-8})$을 달성하는 이중 루프 MGDA를 설계합니다. 수렴 속도를 더욱 개선하기 위해, 대규모 배치(large-batch) 샘플링과 그래디언트 클리핑(gradient clipping)을 결합하여 일반화된 매끄러움(generalized smoothness)을 수용하고 확률적 선호도 업데이트의 바이어스를 제어함으로써 이중 샘플링의 필요성을 제거합니다. 이를 통해 표본 복잡도가 $\mathcal{O}(ε^{-4})$로 대폭 개선된 단일 루프 이중 클립 MGDA를 도출합니다. 우리의 이론은 쌍대 목표의 균일하게 유계된 그래디언트를 요구하지 않으면서 비볼록(nonconvex) 문제에 적용됩니다. 실험을 통해 본 제안 방법들이 최신 MGDA 베이스라인들과 견줄 만한 경쟁력을 갖추고 있음을 입증합니다.

arXiv:2605.02701v2math.OC

Robust and Fast Training via Per-Sample Clipping

Heavy-tailed gradient noise가 있는 비볼록 최적화를 위해 샘플별 gradient clipping 기반 PS-Clip-SGD를 제안하고, 기대값 기준 최적 수렴률과 고확률 수렴 보장을 이론·실험으로 입증한다. CIFAR-100에서 AlexNet 학습 시 per-sample clipping의 추가 계산 비용을 고려해도 모멘텀 SGD와 표준 gradient clipping보다 우수하며, gradient accumulation에서는 mini-batch 단위 clipping이 누적 후 clipping보다 성능을 개선한다.

arXiv:2606.21763v1cs.CV

그래디언트 클리핑에서 구조적 정제로: 의료 이미지 분할을 위한 DPSGD 개선

From Gradient Clipping to Structural Refinement: Improving DPSGD for Medical Image Segmentation

의료 이미지 분할은 질병 탐지에 널리 쓰이지만 민감한 데이터에 의존하며, 학습된 모델이 정보를 유출할 수 있어 프라이버시 우려를 야기한다. 차등 프라이버시(differential privacy)는 일반적으로 차등 프라이빗 확률적 경사하강법(DPSGD)으로 구현되어 해결책을 제공하지만, 유틸리티 감소라는 대가를 수반한다. Automatic clipping(Auto-S), Normalised SGD with perturbation(NSGD), Per-sample adaptive clipping(PSAC) 등 최근 DPSGD 변형들은 이미지 분류에서 유망한 결과를 보였으나, 의료 이미지 분할에서의 동작은 아직 충분히 탐구되지 않았다. 본 연구는 이진 및 다중 클래스 과제 전반에 걸쳐 이들 방법을 평가하고 그래디언트 정렬(gradient alignment)을 분석하여, 특히 PSAC에 대한 기존 가정이 일관되게 성립하지 않음을 보인다. 또한 클리핑 전략과 형태학적 정제(morphological refinement)를 결합하면 프라이버시 제약 하에서 분할 품질이 개선됨을 보인다. 마지막으로, 클래스별 구조를 포착하고 다중 클래스 설정에서 성능을 향상시키는 적응형 DP-Morph 변형을 제안한다.

arXiv:2606.13287v1cs.LG

그라디언트 클리핑은 분산 및 연합 비동기 확률적 경사하강법(SGD)을 낙오자(stragglers)에 대해 강건하게 만든다

Clipping Makes Distributed and Federated Asynchronous SGD Robust to Stragglers

비동기 확률적 경사 하강법(ASGD)에서 지연된 워커(stragglers)로 인한 성능 저하 문제를 해결하기 위해, 그라디언트 클리핑(gradient clipping)이 오라클 복잡도(oracle complexity)에서 최대 지연 의존성을 제거함을 이론적으로 입증합니다. 또한 서브-바이불(sub-Weibull) 노이즈 모델을 기반으로 비동기 최적화 분야에서 최초로 높은 확률로의 수렴을 보장합니다.

arXiv:2506.01396v2cs.LG

유계 적응형 클리핑을 통한 차등 사설 학습의 차별적 영향 완화

Mitigating Disparate Impact of Differentially Private Learning through Bounded Adaptive Clipping

차등 사설(DP)은 프라이버시 보호 머신러닝을 위한 필수적인 프레임워크가 되었습니다. 그러나 기존 DP 학습 방법들은 모델 예측에 차별적 영향을 미치는 경우가 잦습니다(예: 소수 그룹에 대하여). DP 학습에서 자주 사용되는 그래디언트 클리핑은 어려운 샘플에서 발생하는 큰 그래디언트를 억제할 수 있습니다. 본 연구는 이 문제가 적응형 클리핑에 의해 심화됨을 보여줍니다. 적응형 클리핑은 잘 맞는 다수 그룹에 맞추기 위해 클리핑 경계를 매우 작은 값으로 축소하여, 다른 그룹의 정확도를 현저히 저하시키는 경향이 있기 때문입니다. 우리는 과도한 그래디언트 억제를 방지하기 위해 조정 가능한 하한을 도입하는 유계 적응형 클리핑(bounded adaptive clipping)을 제안합니다. 제안하는 방법은 Skewed 및 Fashion MNIST 데이터셋에서 무제한 적응형 클리핑 대비 최소 클래스 정확도를 10%p 이상, 자동 클리핑 대비 7%p, 고정 클리핑 대비 5%p 향상시켰습니다. 코드는 https://github.com/TrustworthyMLHelsinki/adaptive-clipping-fairness 에서 확인할 수 있습니다.