본 논문에서는 $m$개의 컴퓨팅 에이전트(agent) 네트워크가 피어 투 피어 통신을 통해 협업하며, 원시 변수(primal variable)와 쌍대 변수(dual variable) 모두에 비매끄러운(nonsmooth) 정규화 항이 존재하는 분산 확률적 비볼록-강오목(NCSC) 미니맥스 문제를 다룹니다. 결합 함수가 기댓값 또는 유한합(finite-sum) 형태이고, 원시 및 쌍대 변수에 각각 적용되는 이중 정규화 항이 볼록 함수인 경우를 고려합니다. 본 연구의 알고리즘 프레임워크는 라그랑주 승수(Lagrangian multiplier)를 도입하여 쌍대 변수에 대한 합의(consensus) 제약 조건을 제거합니다. 이를 분산 감소(VR) 기법과 결합한 제안 방법 VRLM은 반복(iteration)당 단 한 번의 이웃 통신만으로, 대규모 배치 또는 소규모 배치 VR 옵션 모두에서 일반적인 확률적 설정 하에 $\mathcal{O}(κ^3\varepsilon^{-3})$ 표본 복잡도(sample complexity)를 달성합니다. 여기서 $κ$는 문제의 조건수(condition number)이며 $\varepsilon$은 목표 해 정확도입니다. 대규모 배치 VR을 적용하면 추가로 $\mathcal{O}(κ^2\varepsilon^{-2})$의 통신 복잡도를 달성할 수 있습니다. 특수한 유한합 설정 하에서는 대규모 배치 VR을 사용하는 본 방법이 $\mathcal{O}(n + \sqrt{n} κ^2\varepsilon^{-2})$의 표본 복잡도와 $\mathcal{O}(κ^2\varepsilon^{-2})$의 통신 복잡도를 달성할 수 있으며, 여기서 $n$은 유한합의 성분 개수입니다. 모든 복잡도 결과는 본 연구에서 다루는 문제의 특수한 경우를 해결하는 소수의 기존 방법들이 달성한 최고 수준(best-known)의 결과와 일치합니다. 우리가 아는 한, 본 연구는 분산 확률적 설정에서 원시 및 쌍대 변수 모두에 일반적인 볼록 비매끄러운 정규화 항이 적용된 NCSC 미니맥스 문제에 대해 수렴 보장을 제공하는 최초의 연구입니다. 두 가지 머신러닝 문제에 대해 수치 실험을 수행하였으며, 코드는 https://github.com/RPI-OPT/VRLM 에서 다운로드할 수 있습니다.
본 연구는 데이터에서 관측된 시나리오와 다른 가설적 시나리오 하에서 특징을 결과에 대응시키는 반사실 회귀(counterfactual regression)를 다룬다. 이 문제는 분포 이동(distribution shift) 하에서의 의사결정에 핵심이며, 배포 시 처치(treatment) 패턴이 달라질 수 있다. 우리는 사전에 지정된 점증적 개입(incremental-intervention) 경로를 따르는 반사실 회귀를 위한 반모수(semiparametric) 프레임워크를 개발한다. 목표는 반사실 위험(counterfactual risk)의 유한차원 제약 투영(constrained projection)이며, 프로그램 구성요소의 cross-fitted 영향함수(influence-function) 표현을 사용해 추정한다. 고정 제약을 갖는 매끄러운(smooth) 프로그램과 추정된 선형 제약을 갖는 유한차원 프로그램에 대해, 클래스별 조건 하에서 옵티마이저의 일치성(consistency)과 국소 안정성(local stability)을 확립하고, 점별(pointwise) 및 균일(uniform) 1차 전개(first-order expansions)를 도출한다. 이 결과는 반사실 회귀 경로에 대한 동시 신뢰구간(simultaneous confidence bands)을 포함하여 점근적으로 유효한 추론을 제공한다. 시뮬레이션과 SMS 알림(SMS reminders) 적용이 제안 방법의 유한 표본(finite-sample) 성능과 실용적 적용 가능성을 보여준다.
엔트로픽 정규화(entropic regularization)된 Wasserstein 중심점(barycenter) 문제에서, 본 연구는 반쌍대 유한합 구조를 활용한 가속 확률적 분산 감소 쌍대(primal-dual) 알고리즘 PDASGD-BC를 제안하여 기존 결정론적 가속 그래디언트 대비 지지 크기 의존성을 $\sqrt{n}$ 만큼 개선한 $\widetilde{\mathcal{O}}_\eta(mn^2/\sqrt{\epsilon})$ 복잡도를 달성한다. DOTmark 이미지, 형상 집합(shape aggregation), 숫자 평균화 등 다양한 실험에서 이론적 복잡도와 일치하며 기존 1차(first-order) 기준선보다 낮은 연산 비용을 보였다.
데이터 기반 의사결정을 위한 경험적 위험 최소화 접근법은 결정 규칙이 배포될 때 직면하게 될 조건과 동일한 조건에서 추출된 학습 데이터에 대한 접근을 필요로 합니다. 그러나 일부 상황에서는, (관측 가능하거나 관측 불가능한 속성으로 특징지어지는) 일부 집단이 일반 모집단에 비해 과소 또는 과대 표현된다는 의미에서 학습 샘플에 바이어스가 있을 수 있으며, 이 경우 학습 세트에 대한 경험적 위험 최소화는 배포 시 잘 작동하는 규칙을 도출하지 못할 수 있습니다. 우리는 조건부 Γ-편향 샘플링이라는 샘플링 바이어스 모델을 제안하는데, 여기서 관측된 공변량은 샘플 선택 확률에 임의로 크게 영향을 미칠 수 있지만 샘플 선택 확률의 설명되지 않는 변동량은 상수 인자로 제한됩니다. 분포적 강건 최적화(distributionally robust optimization) 프레임워크를 적용하여, Γ-편향 샘플링 하에서 학습 분포를 생성할 수 있는 테스트 분포 집합에서 발생하는 최악의 위험을 최소화하는 결정 규칙을 학습하는 방법을 제안합니다. Rockafellar와 Uryasev의 결과를 적용하여 이 문제가 증강된 볼록 위험 최소화 문제와 동치임을 보입니다. 체 방법(method of sieves)을 통해 샘플링 바이어스에 강건한 모델 학습에 대한 통계적 보장을 제공하고, 손실 함수가 강건 학습 목표를 포착하는 심층 학습 알고리즘을 제안합니다. 건강 설문 데이터로부터 정신 건강 점수 예측에 관한 사례 연구와 ICU 재원 기간 예측에 관한 사례 연구를 통해 제안된 방법을 실증적으로 검증합니다.
기존 PnP 알고리즘의 비표준적인 디노이저 사용 방식을 개선하여, 적절한 수준의 노이즈가 있는 이미지에만 디노이저를 적용하는 확률적 디노이징 정규화(SNORE) 프레임워크를 제안한다. 이 방법은 명시적 확률적 정규화를 통해 악조건 역문제를 해결하며, 블러 제거 및 인페인팅 작업에서 최신 방법과 대등한 성능을 달성한다.
본 논문에서는 AdaGrad, RMSProp, Adam 최적화 알고리즘을 1차 적분-미분 방정식으로 모델링하여 연속 시간 공식을 제안한다. 이 방정식들에 대해 수치 시뮬레이션을 수행하고, 안정성 및 수렴(convergence) 분석을 통해 원본 알고리즘의 정확한 근사로서의 유효성을 입증한다. 실험 결과, 연속 시간 모델의 동작과 이산 구현 간의 높은 일치도를 확인하였으며, 이를 통해 적응형 최적화 방법의 이론적 이해에 새로운 관점을 제시한다.