PyTorchKR Papers

최신 논문

총 5편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2604.06039v2math.OC

강화학습을 위한 가치 미러 하강법

Value Mirror Descent for Reinforcement Learning

강화학습(RL)에서 준최적(nearly optimal) 가치 함수를 계산하기 위한 가치 반복(value iteration) 형태의 방법들은 광범위하게 연구되어 왔다. 생성 모델(generative model) 샘플링 환경에서 이러한 방법들은 특히 할인율(discount factor)에 대한 의존도 측면에서 정책 최적화(policy optimization) 접근법보다 더 우수한 샘플 복잡도(sample complexity)를 달성할 수 있다. 실제로는 오프라인 학습(offline training)에 주로 사용된다. 본 논문에서는 상태 공간 S, 행동 공간 A, 할인율 $\gamma\in(0,1)$ 및 $[0,1]$ 범위의 비용을 갖는 할인된 마르코프 결정 과정(discounted Markov decision process)을 고려한다. 우리는 볼록 최적화(convex optimization)의 미러 하강법(mirror descent)을 고전적인 가치 반복 프레임워크에 통합한 새로운 가치 최적화 방법인 가치 미러 하강법(value mirror descent, VMD)을 도입한다. 전이 커널(transition kernel)을 알고 있는 결정론적 환경에서 VMD가 선형 수렴함을 보인다. 생성 모델을 갖는 확률적 환경을 위해, 확률적 가치 반복 형태의 방법에서 흔히 사용되는 분산 감소(variance reduction) 기법을 통합한 확률적 변형인 SVMD를 개발한다. 일반적인 볼록 정규화 항을 갖는 강화학습 문제에 대해, SVMD는 $\tilde{O}(|S||A|(1-\gamma)^{-3}\epsilon^{-2})$의 최적에 가까운 샘플 복잡도를 달성한다. 나아가, 모델 오지정(model misspecification)이 존재하는 경우에도 생성된 정책과 최적 정책 사이의 브레그만 다이버전스(Bregman divergence)가 반복(iteration) 전반에 걸쳐 유계(bounded)로 유지됨을 규명한다. 이 특성은 기존의 확률적 가치 반복 형태의 방법들에는 없지만, 오프라인 학습 이후 효과적인 온라인(지속) 학습(online/continual learning)을 가능하게 하는 데 중요하다. 강볼록(strongly convex) 정규화 항 하에서 SVMD는 $\tilde{O}(|S||A|(1-\gamma)^{-5}\epsilon^{-1})$의 샘플 복잡도를 달성하여 고정밀 영역에서의 성능을 향상시킨다. 또한, 생성된 정책이 최적 정책으로 수렴함을 증명한다. 종합적으로 제안된 방법과 그 분석, 그리고 이에 따른 이론적 보장은 강화학습 및 최적화 분야 문헌에 새로운 기여를 제시한다.

arXiv:2607.06013v1cs.LG

Stability Annealing Selects the Implicit Bias of Smoothed Sign Descent: A Rate-Indexed Barrier Path on Separable Data

수치 안정 상수를 지수적으로 어닐링(annealing)하는 smoothed-sign descent의 암묵적 편향(implicit bias)을 분리 가능 데이터의 선형 분류 설정에서 이론적으로 분석하여, 정규화 반복이 마진 슬라이스 위의 Burg-type 볼록 장벽 최소화 문제의 해로 수렴함을 증명하였다. 이 수렴은 오목 쌍대 목적 함수에 대한 엔트로픽 미러 어센트(entropic mirror ascent)와 KL 재귀를 통해 엄밀히 규명되며, 실험을 통해 부동소수점 수준의 쌍대 항등식 검증과 rate-indexed 장벽 경로를 확인하였다.

arXiv:2606.18679v1cs.DS

공정한 온라인 자원 할당

Fair Online Resource Allocation

우리는 난민 정착이나 항공 스케줄링과 같은 응용을 동기로 한 공정한 온라인 자원 할당 문제를 연구한다. 여기서 에이전트(agent)는 순차적으로 도착하며 용량이 제한된 시설에 배정되어야 한다. 우리는 자원 제약과 리프시츠(Lipschitz) 공정성 요구 조건 하에서 전체 복지(welfare)를 극대화하는 모델을 제안한다. 이 요구 조건은 같은 배치에 도착한 유사한 에이전트가 유사한 기대 결과를 받도록 보장한다. 먼저 오프라인 문제를 분석하여, 최적 공정 할당의 값이 최적 비공정 할당의 최소 $Ω(1/γ)$ 비율임을 증명한다. 여기서 $γ$는 공정성 계수이며, 이를 통해 공정성의 대가(price of fairness)를 한정한다. 온라인 설정에서는 배치 내에서 공정성 제약을 강제하면서 최적 이중 변수(dual variables)를 추정하는 이중 미러 하강(dual mirror descent) 기반 알고리즘을 제안한다. 이 알고리즘이 최적 오프라인 유체(fluid) 벤치마크에 대해 아선형(sublinear) 후회(regret)를 달성함을 증명한다. 마지막으로 Refugee Economies Programme의 실제 데이터를 사용하여 이론적 결과를 검증하고, 알고리즘의 성능을 보여 주며 복지 극대화와 공정성 강제 사이의 트레이드오프를 분석한다.

arXiv:2603.17527v2stat.ML

리만 다양체 상의 Mirror Descent

Mirror Descent on Riemannian Manifolds

대규모 최적화에 널리 쓰이는 Mirror Descent(MD)를 리만 다양체(Riemannian manifold)로 일반화하여 Riemannian Mirror Descent(RMD) 프레임워크와 확률적 변형을 제안한다. RMD와 확률적 RMD의 비점근적 수렴성을 증명하고, Stiefel 다양체에서 Curvilinear Gradient Descent(CGD)로 귀결됨을 보여 대규모 다양체 최적화 문제를 효과적으로 해결한다.

arXiv:2606.11431v1cs.LG

유클리드 안정성을 넘어선 미러 디센트(Mirror Descent): 초기화 민감도에서의 지수적 격차

Mirror Descent Beyond Euclidean Stability: An Exponential Separation in Initialization Sensitivity

미러 디센트(MD)는 경사하강법(GD)을 유클리드 기하학 너머로 확장하며, 최근 강화학습 및 대규모 언어 모델(LLM) 사후학습에서 KL 정규화된 정책 최적화를 위한 관점으로 재조명되었습니다. 이는 재현성과 신뢰성에 필수적인 기본적인 견고성 질문을 제기합니다: MD 동역학은 입력에 얼마나 민감한가? 우리는 종종 사전학습되거나 이전에 정렬된 모델 그 자체인 초기화에 초점을 맞춥니다. GD와 마할라노비스 기하학을 포함한 이차 정규화된 MD는 볼록하고 매끄러운 목적 함수에 대해 안정적인 것으로 잘 알려져 있습니다. 우리는 뚜렷한 대조를 보여줍니다: 정규화기가 비이차적이 되면, 유클리드 노름으로 잘 조건화된 정규화기가 있더라도 MD는 GD보다 초기화에 대해 지수적으로 더 민감할 수 있습니다. 우리는 볼록하고 매끄러운 목적 함수와 강하게 볼록하고 매끄러우며 잘 조건화된 정규화기를 갖는 3차원 구성을 제시합니다. 여기서 스텝 사이즈 $\eta$를 갖는 MD의 $T$번 반복 후 초기 $\varepsilon$ 섭동은 $\min\{\text{polylog}^{-1}(1/\varepsilon), \varepsilon e^{\Omega(\eta T)}\}$로 빠르게 증폭됩니다. 심플렉스 상의 표준적인 KL 정규화된 MD의 경우, 고차원이거나 경계 근처 영역에서 선형 목적 함수조차도 초기 $\varepsilon$ 섭동을 지수적으로 빠르게 증폭할 수 있음을 보여줍니다. 마지막으로, 앵커 포인트(anchor point)를 향한 브레그만 정규화 항을 추가하면 최적화 보장을 대부분 유지하면서 동역학을 안정화할 수 있음을 보여줍니다. 또한 앵커의 선택이 중요하다는 점을 보여줍니다: 초기화에 앵커링하는 것은 불안정성을 부분적으로만 완화하는 반면, 고정점에 앵커링하는 것은 더 안정적인 메커니즘을 제공합니다.