PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2604.00241v2cs.LG

분산 최소화 및 위험 회피 다중 팔 밴딧을 위한 소프트맥스 그래디언트 정책

Softmax gradient policy for variance minimization and risk-averse multi armed bandits

다중 팔 밴딧(MAB) 문제를 위한 알고리즘은 순차적 의사결정에서 핵심적인 역할을 하며, 이론적으로와 수치적으로 광범위하게 연구되어 왔다. 대부분의 고전적 접근법은 기대 보상이 가장 높은 팔을 식별하는 것을 목표로 하는 반면, 우리는 분산이 가장 낮은 팔을 선택하는 것을 목표로 하는 위험 인식(risk-aware) 설정에 초점을 맞춘다. 이는 잠재적으로 높지만 불확실한 수익보다 안정성을 선호한다. 의사결정 과정을 모델링하기 위해 정책의 소프트맥스 매개변화를 고려하고, 최소 분산(또는 최소 위험) 팔을 선택하기 위한 새로운 알고리즘을 제안하며 자연스러운 조건 하에서 그 수렴을 증명한다. 이 알고리즘은 선택된 팔의 분포에서 두 번의 독립적인 추출을 사용하여 목적 함수의 불편 추정량을 구성한다. 우리는 이러한 알고리즘의 실용적 거동을 보여주는 수치 실험을 제공하고 구현 선택에 대한 안내를 제시한다. 이 설정은 또한 평균 보상을 최대화하는 것과 그 분산을 최소화하는 것 사이에 상충 관계가 있는 일반적인 위험 인식 문제도 포괄한다.