PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.11773v1math.OC

낙관적 곱셈 가중치 갱신의 마지막 반복 수렴

Last-Iterate Convergence of Optimistic Multiplicative Weight Update

낙관적 경사하강상승법(OGDA)과 낙관적 곱셈 가중치 갱신(OMWU)은 볼록/오목 안장점 문제를 해결하는 두 가지 매우 인기 있는 알고리즘으로, OMWU는 OGDA의 비유클리드이며 엔트로피 기반 버전입니다. 1980년대부터 OGDA의 마지막 반복이 매끄러운 문제에서 안장점으로 점근적으로 수렴한다는 사실이 알려져 왔습니다. 반면, OMWU가 동일한 성질을 갖는지는 여전히 알려져 있지 않습니다. 본 논문에서는 충분히 작은 상수 학습률을 사용할 때, OMWU가 매끄러운 볼록-오목 안장점 문제에 대해 점근적으로 수렴함을 보입니다. 이 결과는 해의 유일성, 엄격한 상보성, 오차 한계, 또는 해 근처에서의 초기화를 요구하지 않습니다. 주요한 새로운 요소는 모든 집적점이 비활성 좌표 KKT 부등식을 만족한다는 것을 보여주는 경계 논증입니다. 이 경계 논증은 ChatGPT의 도움을 받아 발견되었으며, 부록에 기록되어 있습니다.