PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.11711v2cs.LG

용량 제약이 있는 지연 피드백 온라인 볼록 최적화

Capacity-Constrained Online Convex Optimization with Delayed Feedback

지연된 피드백을 갖는 온라인 학습은 일반적으로 학습자가 피드백이 도착할 때까지 보류 중인 모든 라운드를 추적할 수 있다고 가정한다. 실제로는 추적 자원이 유한하며, 추적할 수 없는 라운드의 피드백은 영구적으로 손실된다. 본 논문에서는 어느 시점에서든 최대 $C$개의 보류 라운드만 추적할 수 있는 엄격한 용량 제약 아래의 지연 온라인 볼록 최적화(OCO)를 연구한다. 지연 정보를 모형화하기 위해 선행 연구의 선견(clairvoyant) 가정을 정교화한 준선견(semi-clairvoyant) 모델을 도입한다. 이는 예측 시점에 지연을 알아야 한다고 요구하는 대신, 제약 없는 고전적 지연 설정과 마찬가지로 학습자가 지연 만료를 온라인으로 관측하도록 한다. 우리의 접근은 어느 라운드를 추적할지 무작위로 정하고 그 결과 관측값에 중요도 가중치를 부여하는 스케줄러를 사용하여, 새로운 ``지연 및 가중'' OCO 문제로 환원하는 방식으로 진행된다. 기본 문제에 대해 Delayed-Weighted FTRL과 그 밴딧 유사 알고리즘을 제안하고 분석하며, 두 설정 모두에서 가중치가 지연된 피드백과 어떻게 상호작용하는지 특성화하는 후회 한계를 얻는다. 이 한계를 스케줄러와 결합하면 볼록 및 강볼록 손실, 1차 및 밴딧 피드백 모두에 대해 용량 제약 OCO의 후회 보장을 얻는다. 1차 피드백에서는 용량 $C = \Omega(\log T)$이면 로그 인자를 제외하고 표준 지연 OCO 비율을 회복하기에 충분하다. 밴딧 피드백에서는 표준 지연 BCO 비율이 $(1 + \sigma_{\text{max}}/C)$ 인자로 조절되며, 여기서 $\sigma_{\text{max}}$는 미해결 관측의 최대 개수이다. 이로써 $C < \sigma_{\text{max}}$일 때에도 후회 한계가 점진적으로 나빠진다. 분석을 수치 실험으로 보완한다.

arXiv:2606.13604v1cs.AI

3면 디스패치에서 지연된 마켓플레이스 피드백 기반 다중 에이전트 강화학습을 통한 목적 함수 가중치 적응

Multi-Agent Reinforcement Learning from Delayed Marketplace Feedback for Objective-Weight Adaptation in Three-Sided Dispatch

3면 시장(three-sided marketplace)의 디스패치(dispatch) 환경에서 지연된 피드백을 통해 목적 함수 가중치를 적응적으로 조절하는 강화학습 시스템을 소개한다. 기존 최적화 도구를 대체하지 않고 상점 수준의 정책이 이산형 승수를 선택하도록 학습하여 배칭(batching) 효율을 개선하고 배달 품질을 저하시키지 않음을 입증했다.